2.Как работают поисковые системы Google и Яндекс

Как работают поисковики: индексация страниц Далее поисковик решает, какие страницы добавить в базу. Это называется индексацией. При этом в индекс не обязано попадать всё подряд. Наоборот, дубли, фильтры, служебные страницы и мусор обычно мешают. Поэтому грамотный robots.txt и карта сайта помогают контролировать, как работают поисковики именно с вашим проектом.