Общаясь с представителем Google, один сеошник признался:
«Мой сайт автоматически блокирует все юзер-агенты, которые фиксируют свыше десяти ошибок 404, в том числе это касается и поисковых ботов Google.
Параллельно я использую редирект 301, чтобы перенаправлять пользователей с таких страниц на другие сайты с релевантным контентом».
Ответ эксперта поисковой системы не заставил себя долго ждать:
«Такое решение выглядит весьма неудачным, поскольку способно привести к разного рода проблемам. Вы не можете запретить Гуглботу или другим поисковикам сканировать страницы 404».
Чуть позже Гуглмен добавил:
«Миллиарды страниц с кодом ответа 404 сканируются нами ежедневно. Это обычная практика для сети. Только так наши боты способны определить, что конкретный URL больше не существует. Вы не должны намеренно препятствовать этому процессу».
В этой статье детально разбираем коды ответов серверов.