Рикорда Digital-агентство
  • Проекты
  • Услуги
  • О нас
  • Отзывы
  • Блог
  • Контакты
Оставить заявку
  • Ру
  • En
Оставить заявку
  • Главная/
  • Статьи/
  • Робот, ты заходи, если что.../

Робот, ты заходи, если что...

  • SEO
Иллюстрация к статье
17 августа 2023

Поисковым системам (самые известные — Яндекс и Google) нужно регулярно мониторить миллионы веб-страниц, чтобы выдавать самую актуальную и полезную информацию. Для этой работы они посылают роботов. Роботы опираются на приложенные к сайту документы, а также изучают ссылки. Начинают они с главной страницы, затем, следуя по ссылкам, переходят на внутренние. Роботы просматривают код страниц и извлекают информацию об их содержимом, заголовках и прочих SEO-вещах.

Документы для роботов — это файлики robots.txt и sitemap.xml. Их легко может посмотреть и человек, стоит лишь ввести в поисковую строку браузера ссылку на сайт и дописать к нему названия этих документов. Например, rikorda-group.ru/robots.txt и rikorda-group.ru/sitemap.xml.

В первом файлике — разрешения и запреты для роботов изучать те или иные страницы. Во втором — так называемая карта сайта.

Запреты нужны для сокрытия от роботов разных технических страниц, это необходимая процедура для SEO-оптимизации сайта. Карта же показывает роботам структуру сайта, чтобы они представляли, где какая страница находится.

Когда необходим переобход сайта

Зачастую полученной информации недостаточно, и сайт не выполняет полностью возложенной на него обязанности. Есть несколько ситуаций, когда может потребоваться призвать роботов и стребовать с них переобход сайта.

  • Если сайт сложный, многоуровневый, то стандартные роботы не могут проникнуть глубоко внутрь его структуры из-за ограничений в алгоритмах сканирования. Многие страницы не видны поисковым системам. Например, если у интернет-магазина в каталоге есть подподразделы внутри подразделов внутри разделов, то робот даже при наличии карты сайта может не добраться до самих товаров.
  • Если на сайт добавили что-то важное, и это важное нужно «вывести в люди». Если убавили что-то важное, и поисковые системы должны перестать его показывать. Например, появился новый раздел или исчезли страницы с устаревшей информацией.
  • Если сайт перетерпел технические изменения и нужно срочно изменить информацию о нём у поисковых систем. Например, из-за обновлённого дизайна поменялась структура сайта.
  • Если на сайте есть содержимое, которое роботы просто не могут прочитать. Например, часть содержимого вставлена хитрыми и непонятными для роботов способами: через изображения, видео, скрипты. В этом случае SEO-специалист напишет альтернативный текст, который нужно показать роботам.
  • Если SEO-специалист обновил описание страниц. Например, как бы страшно это ни звучало, пересобрал семантическое ядро и сделал новые мета-теги.

 Как заставить роботов работать

Рано или поздно роботы придут сами. Но и Яндекс, и Google заинтересованы в самой свежей и точной информации о сайтах, поэтому они придумали механизмы вызова роботов. В их инструментах (Вембастер у Яндекса и Search Console у Google) имеется возможность вписать список ссылок тех страниц, которые надо проверить. К сожалению, роботы хоть и не спят, но очень загружены работой, так что могут проверить сайт не сразу. Иногда приходится ждать две недели.

Памятка сайтовладельцу

Следите за актуальным состоянием robots.txt и sitemap.xml.

Усложнили структуру сайта — делайте переобход.

Изменили что-то значимое на сайте — делайте переобход.

И вам, и поисковым системам, и пользователям это очень надо. А роботы к работе привычны.

 

К списку
  • Проекты
  • Услуги
  • Битрикс24
  • О нас
  • Отзывы
  • Блог
  • Вакансии
  • Контакты

Присоединяйтесь к нам

  • vkontakte
  • telegram
Презентация20.5 МБ
  • Политика обработки персональных данных
  • Соглашение об использовании сайта
Made with
© Рикорда 2022–2025

Поговорим
о вашем бизнесе?

Оставьте контактные данные, и наш менеджер свяжется с вами в ближайшее время

Выберите удобные каналы связи


Заказать внедрение CRM Битрикс 24

Оставьте контактные данные, и наш менеджер свяжется с вами в ближайшее время


Отклик на вакансию


Сообщение успешно отправлено!

Спасибо! Мы получили ваше обращение. Менеджер свяжется с вами в самое ближайшее время.

Мы используем файлы cookie. Продолжая просмотр страниц нашего сайта, вы принимаете условия его использования. Более подробные сведения смотрите в нашей политике обработки персональных данных.