Поисковым системам (самые известные — Яндекс и Google) нужно регулярно мониторить миллионы веб-страниц, чтобы выдавать самую актуальную и полезную информацию. Для этой работы они посылают роботов. Роботы опираются на приложенные к сайту документы, а также изучают ссылки. Начинают они с главной страницы, затем, следуя по ссылкам, переходят на внутренние. Роботы просматривают код страниц и извлекают информацию об их содержимом, заголовках и прочих SEO-вещах.
Документы для роботов — это файлики robots.txt и sitemap.xml. Их легко может посмотреть и человек, стоит лишь ввести в поисковую строку браузера ссылку на сайт и дописать к нему названия этих документов. Например, rikorda-group.ru/robots.txt и rikorda-group.ru/sitemap.xml.
В первом файлике — разрешения и запреты для роботов изучать те или иные страницы. Во втором — так называемая карта сайта.
Запреты нужны для сокрытия от роботов разных технических страниц, это необходимая процедура для SEO-оптимизации сайта. Карта же показывает роботам структуру сайта, чтобы они представляли, где какая страница находится.
Когда необходим переобход сайта
Зачастую полученной информации недостаточно, и сайт не выполняет полностью возложенной на него обязанности. Есть несколько ситуаций, когда может потребоваться призвать роботов и стребовать с них переобход сайта.
- Если сайт сложный, многоуровневый, то стандартные роботы не могут проникнуть глубоко внутрь его структуры из-за ограничений в алгоритмах сканирования. Многие страницы не видны поисковым системам. Например, если у интернет-магазина в каталоге есть подподразделы внутри подразделов внутри разделов, то робот даже при наличии карты сайта может не добраться до самих товаров.
- Если на сайт добавили что-то важное, и это важное нужно «вывести в люди». Если убавили что-то важное, и поисковые системы должны перестать его показывать. Например, появился новый раздел или исчезли страницы с устаревшей информацией.
- Если сайт перетерпел технические изменения и нужно срочно изменить информацию о нём у поисковых систем. Например, из-за обновлённого дизайна поменялась структура сайта.
- Если на сайте есть содержимое, которое роботы просто не могут прочитать. Например, часть содержимого вставлена хитрыми и непонятными для роботов способами: через изображения, видео, скрипты. В этом случае SEO-специалист напишет альтернативный текст, который нужно показать роботам.
- Если SEO-специалист обновил описание страниц. Например, как бы страшно это ни звучало, пересобрал семантическое ядро и сделал новые мета-теги.
Как заставить роботов работать
Рано или поздно роботы придут сами. Но и Яндекс, и Google заинтересованы в самой свежей и точной информации о сайтах, поэтому они придумали механизмы вызова роботов. В их инструментах (Вембастер у Яндекса и Search Console у Google) имеется возможность вписать список ссылок тех страниц, которые надо проверить. К сожалению, роботы хоть и не спят, но очень загружены работой, так что могут проверить сайт не сразу. Иногда приходится ждать две недели.
Памятка сайтовладельцу
Следите за актуальным состоянием robots.txt и sitemap.xml.
Усложнили структуру сайта — делайте переобход.
Изменили что-то значимое на сайте — делайте переобход.
И вам, и поисковым системам, и пользователям это очень надо. А роботы к работе привычны.