В 2008 году поисковая система позволила через тогда еще Google Webmaster Tools (сейчас – Google Search Console) владельцам сайтов влиять на сканирование контента ботами.

По умолчанию поисковик сам определял частоту сканирования с учетом возможностей сервера размещения ресурса. Однако, если такая частота по каким-то причинам не устраивала сеошника, то он мог сам задать нужную:

Сегодня такая возможность все еще остается, несмотря на прекращение поддержки старой версии консоли, в которой этот инструмент был реализован. При этом Джон Мюллер напоминает о том, как долго ждать изменений, если вы вручную задаете необходимую частоту посещений Гуглботом:

«Обычно требуются сутки, чтобы изменения в частоте сканирования сайта нашим ботом вступили в силу. Если вам нужно повлиять на скорость, я бы также советовал использовать код ответа 503 для чрезмерных запросов с нашей стороны».

Подробное описание кодов ответа сервера – выложено здесь.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Adblock
detector