В 2008 году поисковая система позволила через тогда еще Google Webmaster Tools (сейчас – Google Search Console) владельцам сайтов влиять на сканирование контента ботами.
По умолчанию поисковик сам определял частоту сканирования с учетом возможностей сервера размещения ресурса. Однако, если такая частота по каким-то причинам не устраивала сеошника, то он мог сам задать нужную:
Сегодня такая возможность все еще остается, несмотря на прекращение поддержки старой версии консоли, в которой этот инструмент был реализован. При этом Джон Мюллер напоминает о том, как долго ждать изменений, если вы вручную задаете необходимую частоту посещений Гуглботом:
«Обычно требуются сутки, чтобы изменения в частоте сканирования сайта нашим ботом вступили в силу. Если вам нужно повлиять на скорость, я бы также советовал использовать код ответа 503 для чрезмерных запросов с нашей стороны».
Подробное описание кодов ответа сервера – выложено здесь.