РНК заявил, что начиная с сегодняшнего дня, работа Twitter на территории РФ замедлится. Причиной тому послужило невыполнение требований по удалению контента.
По статистике с 2017 года в соцсеть было направлено более 28 тысяч требований об удалении контента, незаконного на территории РФ. Twitter удалял не более 10% от всей информации.
Также соцсеть внесена в новый список цифровых угроз, который появился минувшим летом и которым занимается особая комиссия Роскомнадзора.
Работа Twitter замедлится на всех мобильных и примерно половине десктопных устройств. Если соцсеть не примет меры по удалению контента, РНК грозится мерами вплоть до блокировки.
Примечательно также, что вместе с мерами насчет Твиттера перестали работать некоторые правительственные ресурсы, например, сайт Госдумы, Совета Федерации, Совета Безопасности РФ и даже самого РНК. В интернете уже вовсю связывают две эти линии в одну, однако РНК связь с падением государственных ресурсов отрицает. А как вы считаете, это простое совпадение или нет? Делитесь своим мнением в комментариях.
Как добавить регистрацию через профиль в соцсети на сайт:
вручную настроить формы для каждой сети;
использовать сервисы;
установить плагины для CMS.
Пользователь регистрируется на сайте и попадает в базу, которую владелец сайта может использовать в свою пользу: делать стимулирующие продажи рассылки, повышать лояльность и трафик, собирать статистику заказов и налаживать обратную связь с клиентами. А еще регистрация улучшает поведенческие факторы, пока пользователь находится на сайте и совершает какие-то действия.
Но для пользователя регистрация на сайте — дополнительная нагрузка, так что веб-мастер должен предложить ему удобные и быстрые варианты. Обычно дают на выбор авторизоваться в системе через email, номер телефона или профиль в социальной сети.
Регистрация на asos.com
В этом материале разберем, какими способами можно настроить регистрацию через профили в популярных в России соцсетях. Материал актуален для начинающих веб-мастеров.
Чем так хороши соцсети для регистрации
От этого способа авторизации выигрывают и клиенты, и владелец сайта.
Удобно клиентам: меньше заполнять, быстрее регистрация, учетка не теряется
Еще в 2013 году исследование показало, что 77% пользователей считают вход через соцсети хорошим решением. А в 2016 году другие исследователи выяснили, что 93% пользователей чаще выбирают способ авторизации через соцсеть. Остальные опрошенные либо не были зарегистрированы в соцсетях, либо не хотят передавать сайту личные данные профиля, для них нужно оставить возможность авторизации через email.
Регистрация по почте или телефону требует больше действий вручную, а при каждом входе придется вводить данные, если не сохранить их в браузере. Вход через соцсеть быстрее, надо только выбрать соцсеть и нажать «войти».
После того, как платформа для email-рассылок Mailchimp внедрила авторизацию через соцсети, количество неудачных попыток входа в систему снизилось на 66%. С этим способом меньше вероятность забыть логин и пароль, потому что не нужно запоминать отдельную учетку.
Полезно компании: можно собирать данные, больше вероятность репостов
Если пользователь авторизовывается через соцсеть, веб-мастер получает информацию о нем из профиля. Это может быть рабочий адрес почты, возраст, геоданные, семейное положение, интересы — то, что заполнено в профиле. А еще это значит, что пользователь точно не ввел для регистрации одноразовую почту, так что рассылка не пропадет.
Также авторизация через соцсети упрощает репосты материалов с сайта, а значит увеличивает конверсию и реферальный трафик.
Поскольку регистрация на сайте подразумевает сбор личных данных пользователей, их нужно защитить. Подготовьте сайт к работе с такими данными.
Требования к сайту по защите личных данных
В ФЗ N152-ФЗ «О персональных данных» описаны правила для законного сбора и обработки данных пользователей. За нарушения предусмотрены штрафы.
Список требований:
Сайт должен работать на HTTPS, то есть ему нужен ssl-сертификат.
Хостинг сайта по закону должен находиться на территории РФ.
До публикации сайта владелец или разработчик должен подать в Роскомнадзор уведомление об обработке персональных данных в бумажном или электронном виде.
На сайте должны быть:
согласие на обработку персональных данных в свободной форме;
либо ссылка на единую публичную оферту, но тогда придется хранить логи на случай требования Роскомнадзора доказать посещение сайта пользователем;
документ с политикой в отношении обработки персональных данных с перечислением информации, которые собирает сайт, и обоснованием необходимости;
уведомление о сборе cookies и других данных.
Google намерен прекратить поддержку в Chrome сторонних файлов cookie. Как это повлияет на работу сайтов, разбирали в статье.
Ссылки на документы на сайте ikea.ru
С 1 марта 2021 года вступил в силу ФЗ от 30.12.2020 № 519-ФЗ об изменении правил обработки общедоступных персональных данных, которые есть в профилях соцсетей и на сайтах объявлений. Это имя, город проживания, контакты, личные фото и другая информация.
Владельцам сайтов придется дополнить согласия на обработку персональных данных. Теперь до начала обработки нужно взять с пользователя отдельное согласие, в котором он определит конкретный перечень данных, который разрешает использовать.
Настройки cookie на booking.com
Если владелец сайта — юридическое лицо, к нему есть дополнительные требования относительно документации, штрафы за несоблюдение закона сильно выше.
Как добавить на сайт регистрацию через профили в соцсетях
Если вы предложите пользователям все существующие соцсети плюс вариант с электронной почтой, форма регистрации разрастется и будет выглядеть громоздко. Изучите вашу аудиторию и выделите парочку соцсетей, которыми пользуется большинство, добавьте регистрацию по почте или телефону и достаточно.
Регистрация на сайте lamoda.ru
Авторизация через соцсети идет по цепочке:
Пользователь выбирает регистрацию через одну из предложенных соцсетей и кликает на ее кнопку.
В приложение социальной сети приходит запрос.
Пользователя перебрасывает в закрытое защищенное приложение соцсети, которое создал веб-мастер. На экране появляется кнопка «Продолжить как…» или «Разрешить».
По клику пользователь разрешает войти в систему через учетную запись соцсети. Кликнул — разрешил передать данные.
Соцсеть отправляет сайту ключ доступа к личным данным пользователя.
Сайт отправляет соцсети запрос на получение данных и подтверждает его полученным ранее ключом доступа.
Соцсеть передает данные сайту. Количество данных может быть разным из-за того, что пользователь разрешит передать.
Для добавления регистрации через соцсети есть несколько способов — ручной и автоматизированные.
Способ 1. Ручная настройка форм для каждой социальной сети
Каждая соцсеть требует отдельных настроек:
со стороны соцсети нужно зарегистрировать сайт в системе и получить ключи;
со стороны сайта нужно настроить интеграцию с социальной сетью.
ВКонтакте
Настроить авторизацию на сайте через ВКонтакте можно с помощью API. На странице создания приложения заполните поля, в качестве платформы выберите «Сайт».
Создание приложения
Нажмите «Подключить сайт», действие нужно подтвердить через телефон или устройство с приложением. В настройках вы увидите id приложения и ключ — эти данные понадобятся для работы с API.
Список дальнейших действий подробно разобран на странице Документации для разработчиков.
Если вам нужен только ВКонтакте, можно использовать официальный виджет авторизации. На странице создания виджета нужно заполнить поля и скопировать код для вставки на сайт. Подробная документация расскажет, как правильно его вставить.
Виджет для входа через сайт ВКонтакте
Фейсбук
Зарегистрируйтесь в системе Фейсбука для разработчиков, кликните на «Создать приложение» и выберите «Создание кросс-сервисных функций:
Дальше после заполнения полей и клика на «Создать приложение» откроются настройки. Выберите «Настроить» у плашки «Вход через Facebook»:
Дальше выберите платформу — Веб, введите адрес сайта, сохраните и нажмите продолжить.
Теперь надо все настроить. Откройте настройки приложения на боковой панели, добавьте добавьте домен сайта, URL политики конфиденциальности и пользовательского соглашения.
Фейсбук придерживается общего регламента по защите данных (GDPR), согласно ему у пользователей должна быть возможность сделать запрос на удаление данных. В пункте «Удаление данных пользователей» выберите «URL инструкций для удаления данных» и вставьте ссылку на описание таких инструкций. Это обязательный пункт.
Все сохраните, Скопируйте ID приложения и секрет.
В меню настроек вашего сайта нужно найти настройку авторизации через соцсети, выбрать Фейсбук и ввести ID приложения и код секрета.
Дальше откройте настройки главы «Вход через Фейсбук»:
В настройках должны быть отметки «Да» у опций «Клиентская авторизация Oauth», «Веб-авторизация Oauth», «Требовать HTTPS» и «Использовать строгий режим для URI перенаправления». В поле «Действительные URI перенаправления для OAuth» нужна ссылка в формате http://site.ru/auth/facebook/callback. OAuth — это единый стандарт авторизации.
Сохраните изменения. Вверху вы увидите «Статус: в разработке», его нужно активировать, чтобы он сменился на «Опубликовано».
Другие соцсети настраиваются по похожему механизму с помощью API. К примеру, в Одноклассниках тоже надо начать с создания приложения, у Твиттера также есть платформа для разработчиков. Быстрее это можно сделать через инструменты или плагины.
Способ 2. Сервисы для настройки авторизации через соцсети
Это не все существующие сервисы, но более-менее популярные из тех, что нам встретились, по большей части платные. Если вы используете что-то из перечисленного, дайте свой отзыв в комментариях!
ULogin
Простой генератор универсального кода для вставки виджета авторизации через соцсети. Нужно выбрать внешний вид, найти из списка CMS вашего сайта или выбрать универсальный вариант для всех и код виджета готов. Русскояызчный..
Akamai
Более серьезный сервис. Поможет настроить авторизацию через Фейсбук, LinkedIn, PayPal, Твиттер и Yahoo!, есть функциональность для сбора и анализа информации из пользовательских профилей. Интерфейс на английском.
Gigya
Подходит для установки регистрации через ВКонтакте, Facebook, Twitter и LinkedIn,интеграции с другими сервисами и платформами, а также для обработки статистики по зарегистрированным пользователям. Интерфейс на английском.
Способ 3. CMS-плагины для регистрации на сайте через соцсети
Если пользуетесь CMS, можно поискать решение через модули и расширения в каталогах.
WordPress
Для этого движка есть много расширений, к примеру:
miniOrange Social Login для регистрации через ВКонтакте, Твиттер, Инстаграм, Фейсбук и другие соцсети. Есть дополнительные премиальные возможности, например, отправка приветственных писем зарегистрировавшимся;
Social Login & Register тоже предлагает много соцсетей, среди которых ВКонтакте, Фейсбук, Инстаграм, Твиттер и другие. Есть возможность аналитики данных пользователей;
Social Login by BestWebSoft для добавления формы авторизации через соцсети и комментирования. Работает с Фейсбуком, Твиттером, аккаунтом Google и LinkedIn;
Super Socializer включает в себя не только авторизацию, но и возможность делать репосты и комментировать контент на сайте через профили в соцсетях.
Joomla
Модулей авторизации довольно много, а работа с ними одинаковая: установить модуль, зарегистрировать специальное приложение в соцсети и получить ключи, как мы писали в примерах с ВКонтакте и Фейсбуком, добавить эти данные в настройки модуля и опубликовать.
Модули можно найти в разделе Расширения — Менеджер расширений. Например:
Slogin для регистрации через ВКонтакте, Твиттер, Фейсбук, Одноклассники, Инстаграм, Twitch, Telegram, Github и другие платформы;
Social Login — ВКонтакте, Фейсбук, Твиттер, Pinterest, LinkedIn, Инстаграм, GitHub, WordPress, Reddit, Vimeo, Steam, Mail.ru, Яндекс, Одноклассники и другие соцсети;
Instant Facebook Login для Фейсбука, Твиттераи LinkedIn, дополнительно с его помощью можно работать с комментариями, чатом и другими функциями;
BT Social Login для Фейсбука и Твиттера;
Akeeba SocialLogin для регистрации с помощью Фейсбука и Твиттера или через профили в GitHub, Google и Microsoft.
OpenCart
Для OpenCart тоже есть модули, к примеру:
бесплатный модуль авторизации через социальные сети Фейсбук и Инстаграм для версий OpenCart 2.1, 2.2, 2.3;
платный модуль для регистрации через Вконтакте, Фейсбук, Одноклассники, Твиттер, Gmail.com, Mail.ru.
Битрикс
У CMS Битрикс авторизация на сайте через социальные сети входит в функциональность основного модуля входа на сайт.
Нужно только настроить:
В выбранных вами соцсетях нужно зарегистрировать приложение и получить ключи.
В настройках Битрикса открыть Настройки модулей — Социальные сервисы — Внешние сервисы, выбрать нужные соцсети и внести данные в настройки панели администрирования.
Посоветуйте плагины и сервисы, которые вам нравится использовать для настройки авторизации через соцсети! Ждем в комментариях.
16 марта на площадке Collaborator сооснователь и технический директор PR-CY Евгений Баранов рассказал о том, как защитить сайт: какие методы есть у злоумышленников в 2021 году, какие способы защиты уже не работают и что делать.
В программе вебинара:
Почему информационная безопасность важна
Что угрожает владельцам сайтов
Как решать проблемы безопасности
Выводы, разбор сайтов
Смотреть презентацию спикера со ссылками
Для всех зрителей в презентации есть промокод на продвинутые тарифы Анализа сайта
Это необязательный для заполнения заголовок. Но боты смотрят на заголовок Last-modified, когда индексируют страницу, чтобы понимать, есть ли смысл посещать ее повторно.
Как это работает:
При первом запросе документа сервер сообщает текущее время и дату с точным временем последнего изменения документа в http-заголовке Last-Modified.
При повторном обращении к документу бот или браузер отправят на сервер, где лежит кэшированная страница, запрос If-Modified-Since — не изменилась ли страница после даты, полученной в Last-Modified? Если изменилась, нужна новая версия.
В ответ боты и браузер получают информацию, когда страницу изменили. Дальше возможны два варианта:
если после посещения бота на странице что-то поменяли, сервер возвратит 200 ОК и будет загружать новое содержимое страницы, а робот поймет, что ему нужно обработать изменения;
если с последнего посещения страница не изменилась, сервер возвращает заголовок «304 Not Modified» и не будет загружать сайт. Страница загрузится из кэша, боты поймут, что изменений нет, и переобходить ее не будут.
Чем полезен Last-modified
Яндекс советует настроить отправку заголовка Last-Modified и обработку запроса If-Modified-Since:
«Следите за корректностью HTTP-заголовков. В частности, важно содержание ответа, который сервер отдает на запрос «if-modified-since». Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа». Яндекс.Справка
Чем это полезно для сайта:
Сократить нагрузку роботам — ускорить индексацию
Число страниц, которые поисковый робот может проанализировать за один заход, ограничено. Last-modified позволяет оптимизировать краулинговый бюджет сайта.
Поисковые боты благодаря датам изменений контента могут расставить приоритеты в обходе: начать с важных страниц, где что-то изменилось. Это повысит индексацию новых материалов.
Отобразить новую дату материала
Если веб-мастер указал дату в корректном формате, страницы сайта будут участвовать в сортировке по датам в выдаче. Поисковики и пользователи любят свежие материалы: выше шанс, что информация будет актуальной. Указывать даты последних изменений на страницах крупных сайтов советует и представитель Google Джон Мюллер.
Ускорить загрузку и сэкономить трафик
Пользователю не нужно каждый раз заново загружать страницу, если есть кэш. Страницы, которые никак не поменялись с последнего обращения, загрузятся из кэша — это позволит сэкономить трафик пользователей и ускорить загрузку страницы.
Как настроить кэширование
Снизить нагрузку на сервер
Серверу нужно будет передавать пользователю только те страницы, где что-то обновили. Если изменений не было, в дело пойдут версии из кэша.
Особенно это важно страницам с высокой посещаемостью некоторых тематик. Например, пользователь ждет письмо, обновление результатов матча или появление новых вакансий и постоянно обновляет обновлять страницу. Если таких пользователей много, возрастет нагрузка на сервер из-за постоянных запросов страницы и ее отрисовки. Если правильно настроить Last-Modified, сервер передаст страницу один раз, и пока на ней ничего не изменилось, на запросы будет отвечать «304 Not Modified» — изменений нет, повторно загружать не надо.
Как настроить Last-modified
Перед настройкой Last Modified нужно убедиться, что ваш сервер вообще его поддерживает.
Настройка Last-modified через плагины или вручную
У популярных CMS есть готовые решения, к примеру:
WordPress — плагины Clearfy, WP Super Cache, WP Last Modified Info, Last Modified Timestamp, If Modified Since и другие;
Drupal — модуль lastmodified_since;
Joomla — модуль Last Modified Any, Last Modified Products for JoomShopping.
Часто для того же результата достаточно реализованного кэширования на CMS.
Если сайт статический, достаточно на каждой странице указать Last-Modified с датой последнего изменения. А после обновлений менять дату вручную.
<meta http-equiv=»Last-Modified» content=»Sat, 14 Feb 2021 12:45:26 GMT»>
Если динамическая, то есть постоянно обновляется, можно настроить отправку http-заголовка Last-Modified на php, добавив в head страницы код:
<!—?php
$LastModified_unix = strtotime(date(«D, d M Y H:i:s», filectime($_SERVER[‘SCRIPT_FILENAME’]))); $LastModified = gmdate(«D, d M Y H:i:s GMT», $LastModified_unix); $IfModifiedSince = false;
if (isset($_ENV[‘HTTP_IF_MODIFIED_SINCE’])) $IfModifiedSince = strtotime(substr ($_ENV[‘HTTP_IF_MODIFIED_SINCE’], 5));
if (isset($_SERVER[‘HTTP_IF_MODIFIED_SINCE’])) $IfModifiedSince = strtotime(substr ($_SERVER[‘HTTP_IF_MODIFIED_SINCE’], 5));
if ($IfModifiedSince && $IfModifiedSince —>= $LastModified_unix) { header($_SERVER[‘SERVER_PROTOCOL’] . ‘ 304 Not Modified’); exit; }
header(‘Last-Modified: ‘. $LastModified);
?>
Первая строка преобразует дату в метку в формате Unix Time Stamp, используя время изменения текущей страницы, которое определяет автоматически.
Функция gmdate возвращает текущее время в формате <день недели>, <число> <название месяца> <год> <час>:<минута>:<секунда> GMT.
Дальше проверяем If-Modified-Since, если изменений нет — отдаем 304 Not Modified и останавливаем работу скрипта, если есть — ответ сервера 200 ОК, отдаем страницу целиком.
Как указать дату правильно
Если указать дату обновления некорректно, боты все равно проиндексируют страницу, но она не сможет участвовать в сортировке результатов по дате.
Порядок должен быть таким, используется GMT — время по Гринвичу:
Невзирая на все трудности и даже попытки ограничить весь австралийский новостной контент в соцсети, Facebook пошел на мировое соглашение с издателями.
Причина несогласия — обновленное законодательство Австралии, согласно которому все интернет-гиганты обязуются платить новостным изданиям за публикации в своих сервисах. И если Google пытался решить все мирно и предлагал компромиссные решения, то Facebook отреагировал гораздо более агрессивно.
Однако сегодня зарубежные издания подтвердили, что Facebook заключил многолетний договор с двумя самыми крупными медиакомпаниями Австралии — News Corp и Nine Entertainment. Согласно тем же источникам, Facebook будет платить издателям за публикации на своей новостной платформе, а также Facebook Watch. Как соцсеть поступит с остальными издателями, не входящих в эти медиахолдинги, пока неясно.
А еще сегодня на axious вышла статья о том, что Facebook разрабатывает собственную платформу для публикаций с возможностью монетизации контента для авторов. Проект разрабатывается как условно-бесплатный с возможностью оформления платных подписок в дальнейшем.
Как сообщается в материалах статьи, в ближайшее время Facebook собирается начать тестирование этой платформы с ограниченным числом авторов. Платформа подойдет как для журналистов, так и для блоггеров, и у нее будет возможность прямой интеграции с Facebook.
Напоминаем, что в прошлом месяце свой сервис платных подписок для блоггеров анонсировал Twitter.
Владельцы сайтов обычно тратят много времени на создание и размещение нового контента на сайт или на улучшение уже выложенного, чтобы поднять его позиции. Очень жалко удалять из поискового индекса страницы, в которые вложено много сил и времени, но иногда это стоит сделать.
Зачем удалять устаревший контент
Рассмотрим несколько ситуаций, когда вам может понадобиться удалить устаревший контент:
Обновления в ассортименте интернет-магазина
В интернет-магазине с огромным ассортиментом товаров внушительная часть позиций может быть недоступна. Какие-то будут временно отсутствовать на складе, часть снимут с производства или заменят другими. Образуются десятки или сотни неактуальных товарных страниц
В зависимости от потребностей бизнеса и особенностей технологий может потребоваться удалить их из индекса — временно или навсегда. К примеру, чтобы на них не тратился краулинговый бюджет сайта. Тогда роботы не будут тратить ресурсы на сканирование неактуальных страниц, а сразу пойдут на важные.
Устаревшие новости и статьи
Новости по своей природе быстро устаревают. Многие новостные сайты выпускают заметки часто и регулярно, в некоторых СМИ это несколько в час. Из-за этого сайт сильно разрастается. Многие устаревшие новости никогда больше не понадобятся и не принесут трафик — такие можно и удалить.
Статьи также устаревают. Если советы из материала больше не работают, их можно актуализировать. Если в этом нет смысла, можно поставить редирект на другой материал по той же теме. Но иногда тема уходит в прошлое в принципе, как продвижение в Google+, так что нет смысла дорабатывать статью и не на что ее редиректить. Тогда материал можно удалить.
Читать по теме: Продвижение новостных сайтов в 2021
Строгое регулирование отрасли
Есть отрасли, которые строго регулируются законами, к примеру, медицина или финансы. Когда появляются новые законные требования к этим сайтам, приходится добавлять какие-то документы и соглашения, обновлять сайт и менять контент. Иногда нужно срочно что-то удалять, чтобы не попасть на штрафы или даже блокировку.
К примеру, особые требования к медицинским статьям для широкого круга читателей существовали не всегда, и когда они появились, пришлось добавлять плашки с напоминанием обратиться к врачу, переписывать рекламные материалы, а что-то наверняка и удалять.
Акции с ограничением по времени
Многие интернет-магазины делают отдельные страницы к специальным распродажам. К регулярным распродажам типа Черной пятницы страница может понадобиться и через год, но в целом с окончанием акции такие страницы перестают быть нужны.
Есть мнение, что если клиенты видят закончившуюся распродажу с выгодными скидками, им становится менее интересно покупать товар, поскольку они расстраиваются из-за упущенной выгоды и думают, что теперь переплатят.
Как удалить устаревший контент
Удаление контента — это не всегда история о безвозвратном удалении страницы. Есть несколько уровней: можно удалить ее только из индекса, оставив на сайте, тогда пользователи не найдут ее в выдаче, но смогут перейти на нее по ссылкам с других страниц или из закладок. А можно удалить и с сайта — навсегда или временно отправив ее в архив.
Некоторые из наиболее распространенных методов удаления устаревшего контента:
Тег noindex
Можно не удалять страницу с сайта, а дать роботам сигнал не индексировать ее с помощью тега noindex. Если она уже есть в индексе, при следующем обходе боты должны увидеть тег и убрать ее из индекса.
<meta name=»robots» content=»noindex»/>
Почитать по теме: Как составить robots.txt самостоятельно
Тег noindex можно настроить с помощью SEO-плагинов для CMS, эта функция часто в них встречается.
Пользователи по-прежнему смогут зайти на страницу, если на нее ведут внутренние ссылки на сайте или если они посещали ее раньше и сохранили в закладках адрес.
Удаление страницы из индекса с помощью noindex не будет необратимым действием. Если вы захотите вернуть страницу, удалите тег и при следующем сканировании поисковый бот это увидит.
Обратите внимание, что если вы удалили из индекса страницу с хорошими позициями, не факт, что если вы уберете noindex, она вернется на ту же строчку выдачи.
Инструмент удаления URL-адресов в Яндекс.Вебмастере
Можно ускорить процесс удаления из Яндекса. Сначала нужно запретить их индексирование: прописать disallow в файле robots.txt и указать на странице метатег robots с директивой noindex. Это обязательно. При следующем обходе робот увидит эти сигналы.
Для ускорения процесса в Вебмастере есть инструмент «Удалить URL». Чтобы удалить отдельные страницы, выберите «По URL» и введите адрес. В сутки можно удалять до 500 адресов одного сайта.
Удаление страницы в Яндекс.Вебмастере
На этой же странице будут отображаться статусы URL — «В очереди на удаление», «В процессе», «Удалена» или «Отклонено», если не указан запрет на индексирование или если бот получает какой-то другой ответ сервера, кроме 404 Not Found, 403 Forbidden или 410 Gone.
Чтобы удалить целую группу страниц, нужно выбрать «По префиксу», тогда будут удалены страницы, содержащие в URL указанный шаблон. К примеру, https://site.com/catalogue/ для всех страниц каталога, https://site.com/page? для URL с параметрами.
В сутки можно ввести до 20 префиксов для одного сайта.
Есть момент: страницу, запрещенную с помощью disallow, все равно могут проиндексировать, если на нее будут ссылаться другие страницы сайта. Бот может решить, что раз есть ссылки, то страница важна.
Инструмент удаления URL-адресов Google Search Console
У Google тоже есть такой инструмент — это «Инструмент удаления URL» в консоли Google.
Инструмент в Google Search Console
Он позволяет временно удалить URL-адрес или адреса по вашему выбору.
Можно удалить все URL с определенным префиксом. Например, удаление site.com/products/ приведет к удалению всех других URL-адресов с /products/ в пути URL:
site.com/products/alarm-clocks/
site.com/products/house-plants/
site.com/products/flasks/
Также можно удалить только кэшированную версию URL или ее фрагмент — тег заголовка и описания, которые отображаются в результатах поиска. Это может быть полезно, если в этих фрагментах цены, телефоны или предложения, которые поменялись, и вам нужно быстро изменить отображение страницы.
Работа с инструментом
301 или 302 редирект
Еще вариант — настроить со страницы перенаправление на другую. К примеру, если производство одного вашего продукта остановлено на неопределенный срок, можно настроить редирект на страницу с аналогами. Это позволит не терять пользователей, а предложить им другое решение, к тому же страница не выпадет из поиска. Когда товар снова появится в наличии, редирект нужно просто удалить.
Также и с информационными страницами: если статья нетрафиковая или потеряла актуальность, можно перенаправлять пользователя на другую по той же теме.
Почитать по теме: Как настроить 301 редирект самостоятельно
Удаление страницы с сайта
Другое быстрое решение — просто удалить страницу с сайта, если она не нужна. Если робот получит 404, 403 или 410 HTTP-код ответа сервера при обращении, он исключит ее из индекса.
Если удаляете страницу, на других страницах сайта удалите или замените и ссылки на нее, чтобы пользователи на натыкались на недоступную страницу по ссылкам с другого контента или из закладок.
Если страница сейчас получает трафик, имеет потенциал для получения трафика в будущем или приносит хорошие обратные ссылки, лучше все-таки не удалять ее, а настроить редирект на другую.
Почитать по теме: Настройка отслеживания 404 ошибок с помощью Google Tag Manager Чем вредят сайту битые ссылки? Поиск и способы исправить
Не удаляйте вообще
В некоторых случаях можно не удалять неактуальную страницу, если она будет нужна через какое-то время. Когда дело доходит до регулярных распродаж, таких как Черная пятница, разумным решением может быть просто оставить страницу активной на неопределенный срок, разместив на ней сообщение о том, что распродажа начнется через «xxx месяцев или дней». Тогда не придется каждый раз развивать новую страницу, а старая будет прокачиваться со временем.
Пример — страница Черной пятницы на сайте Argos. В январе 2021 года она работает и занимает место на первой странице Google по запросу «распродажа в черную пятницу», хотя акция начнется в ноябре.
Пример страницы для ежегодной распродажи
Ненадежные способы
Для удаления страниц из индекса поисковых систем иногда используют канонические теги, но их лучше использовать для отметки похожего контента, а не устаревшего. Нет гарантии, что поисковые боты будут обращать внимания на канонический тег, часто они принимают свои решения о показе страницы.
Кто-то использует указания об индексировании в файле robots.txt, но этот файл боты Google воспринимают как рекомендации, а не как правила. Если использовать robots.txt для удаления страниц из индекса, то в совокупности с другими способами.
Метод, который вы выбрали для удаления контента из индекса поисковых систем, должен зависеть от ценности контента и от того, на какой срок вы хотите его удалить — навсегда или временно. Выбирайте с умом!
На основе статьи «How To Remove Outdated Content From Search Engines» Joe Johnson