На каждом успешном сайте имеются специальные технические файлы которые отвечают за обход сайта поисковыми роботами и индексацию сайта поисковыми системами. Наиболее важными файлами являются robots.txt и sitemap.xml
Файл robots.txt - показывает поисковому роботу как правильно обходить страницы сайта, в какие каталоги заглядывать а в какие нет, что отображать в поисковой выдачи и что отображать не нужно. В следствии отсутствия данного файла или его неправильной настройке, данные сайта могут не индексироваться вообще и сайт не появится в выдаче поисковых систем, и как следствие переходов на ваш сайт из поисковых систем не будет.
По этому настройка данного файла является очень важным элементом при оптимизации любого сайта. Правильная настройка файлов индексации сайта позволит поисковым роботом обходить и показывать в поисковой выдаче только нужные страницы сайта.
Вторым и не менее значимым файлом является sitemap.xml
sitemap (карта сайта) - Чаще всего это специальная html страница на сайте или файл в формате xml, в котором содержаться ссылки на основные страницы сайта.
Карта сайта выполняет следующие функции:
- Если карта сайта открытая то помогает посетителю быстро найти необходимую страницу сайта.
- Карта для поисковых роботов, помогает роботу быстро сориентироваться на сайте и увидеть его структуру.
Стоимость настройки файлов индексации для сайта: 1 500 руб.
