Генератор файла robots.txt

Аватар автора
Документация 1С-Битрикс
Основной инструмент ограничения доступности информации для поисковых роботов – файл robots.txt. Файл robots.txt - служебный файл, расположенный на сайте и содержащий список ограничений для поисковых роботов (ботов). Роботы сначала анализируют инструкции в этом файле и только потом сканируют информацию на страницах сайта. Таймкоды: 0:00 - Вступление 0:29 - Форма создания файла robots 1:15 - Стартовый набор правил 1:30 - Добавление новых правил 2:26 - Правка файла вручную 2:46 - Как удалить правило 2:56 - Итоги

0/0


0/0

0/0

0/0