Карта сайта и robots.txt
Два файла, которые управляют поведением робота
Робот заходит на сайт с ограниченным запасом времени. Если он потратит его на служебные страницы, корзину и результаты поиска по сайту, до важных разделов может не дойти.
Два файла управляют этим процессом. Sitemap показывает, что смотреть в первую очередь. Robots.txt говорит, куда не заходить вовсе.
Sitemap — карта сайта
- 1Это файл со списком всех страниц, которые должны попасть в поиск. Обычно лежит по адресу вашсайт.ру/sitemap.xml
- 2На большинстве движков создаётся автоматически — в WordPress через плагин, в конструкторах и коробочных CMS уже встроен
- 3Добавьте адрес карты в разделе «Индексирование → Файлы Sitemap» и дождитесь проверки
- 4Кабинет покажет ошибки: недоступные адреса, страницы с запретом, превышение лимита в 50 000 адресов на файл
- 5Карта должна обновляться сама при добавлении страниц — иначе смысла в ней мало
Robots.txt — что закрыть от робота
- 1Админку и личные кабинеты — там нет ничего для поиска
- 2Корзину, оформление заказа, страницы сравнения товаров
- 3Результаты внутреннего поиска по сайту — они плодят бесконечные дубли
- 4Служебные и технические разделы движка
- 5Проверить готовый файл можно прямо в кабинете: «Инструменты → Анализ robots.txt»
Разработчик закрывает сайт от индексации на время работ строкой Disallow: / и забывает убрать её после запуска. Сайт месяцами не появляется в поиске, а причина — одна строка. Если страницы массово не индексируются, проверьте этот файл первым делом.
Проверьте оба файла
- Sitemap открывается в браузере и содержит актуальные адреса
- Карта добавлена в кабинет и проверена без ошибок
- В robots.txt нет запрета на весь сайт
- Служебные разделы закрыты, важные — открыты
Откройте вашсайт.ру/robots.txt и проверьте файл через «Анализ robots.txt» в кабинете.
Результат: Робот тратит время на нужные страницы, а не на служебный мусор