Файл robots.txt: зачем нужен и как настроить?

В этом видео обсудили, как файл robots.txt влияет на ранжирование страниц сайта поисковыми системами: 00:00 Введение 00:11 Зачем нужен файл robots.txt 00:38 Что такое файл robots.txt? 01:08 Как создать robots.txt 01:44 Пример, как может выглядеть файл 01:54 Какие страницы нужно исключать из индексации? 02:19 Как загрузить файл robots.txt в конструкторе сайтов RU-CENTER 02:57 Настройка файла robots.txt вручную 03:36 Параметр Sitemap 03:50 Параметр Clean Param 04:27 Где найти и настроить шаблон файла robots.txt ? 04:57 Сервисы для создание и настройки robots.txt 05:53 Как исправить ошибки при настройке файла robots.txt 07:10 Чек-лист настройки файла robots.txt @seo