В статье:

1. Что такое Last-modified

2. Чем он полезен

3. Как настроить

4. Как проверить

Продолжаем разбирать базу: на очереди смысл заголовка Last-modified и что с ним делать веб-мастеру.

Last-modified — что это

Last-modified — это http-заголовок с датой и временем последнего изменения страницы по мнению сервера. Шаблон такой:

Last-Modified: <день недели>, <число> <название месяца> <год> <час>:<минута>:<секунда> GMT

К примеру:

Last-Modified: Wed, 21 Oct 2020 09:48:00 GMT

Это необязательный для заполнения заголовок. Но боты смотрят на заголовок Last-modified, когда индексируют страницу, чтобы понимать, есть ли смысл посещать ее повторно.

Как это работает:

1. При первом запросе документа сервер сообщает текущее время и дату с точным временем последнего изменения документа в http-заголовке Last-Modified.

2. При повторном обращении к документу бот или браузер отправят на сервер, где лежит кэшированная страница, запрос If-Modified-Since — не изменилась ли страница после даты, полученной в Last-Modified? Если изменилась, нужна новая версия.

3. В ответ боты и браузер получают информацию, когда страницу изменили. Дальше возможны два варианта:

• если после посещения бота на странице что-то поменяли, сервер возвратит 200 ОК и будет загружать новое содержимое страницы, а робот поймет, что ему нужно обработать изменения;

• если с последнего посещения страница не изменилась, сервер возвращает заголовок «304 Not Modified» и не будет загружать сайт. Страница загрузится из кэша, боты поймут, что изменений нет, и переобходить ее не будут.

Чем полезен Last-modified

Яндекс советует настроить отправку заголовка Last-Modified и обработку запроса If-Modified-Since:

«Следите за корректностью HTTP-заголовков. В частности, важно содержание ответа, который сервер отдает на запрос «if-modified-since». Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа». Яндекс.Справка

Чем это полезно для сайта:

Сократить нагрузку роботам — ускорить индексацию

Число страниц, которые поисковый робот может проанализировать за один заход, ограничено. Last-modified позволяет оптимизировать краулинговый бюджет сайта.

Поисковые боты благодаря датам изменений контента могут расставить приоритеты в обходе: начать с важных страниц, где что-то изменилось. Это повысит индексацию новых материалов.

Отобразить новую дату материала

Если веб-мастер указал дату в корректном формате, страницы сайта будут участвовать в сортировке по датам в выдаче. Поисковики и пользователи любят свежие материалы: выше шанс, что информация будет актуальной. Указывать даты последних изменений на страницах крупных сайтов советует и представитель Google Джон Мюллер.

Ускорить загрузку и сэкономить трафик

Пользователю не нужно каждый раз заново загружать страницу, если есть кэш. Страницы, которые никак не поменялись с последнего обращения, загрузятся из кэша — это позволит сэкономить трафик пользователей и ускорить загрузку страницы.

Как настроить кэширование

Снизить нагрузку на сервер

Серверу нужно будет передавать пользователю только те страницы, где что-то обновили. Если изменений не было, в дело пойдут версии из кэша.

Особенно это важно страницам с высокой посещаемостью некоторых тематик. Например, пользователь ждет письмо, обновление результатов матча или появление новых вакансий и постоянно обновляет обновлять страницу. Если таких пользователей много, возрастет нагрузка на сервер из-за постоянных запросов страницы и ее отрисовки. Если правильно настроить Last-Modified, сервер передаст страницу один раз, и пока на ней ничего не изменилось, на запросы будет отвечать «304 Not Modified» — изменений нет, повторно загружать не надо.

Как настроить Last-modified

Перед настройкой Last Modified нужно убедиться, что ваш сервер вообще его поддерживает.

Настройка Last-modified через плагины или вручную

У популярных CMS есть готовые решения, к примеру:

• WordPress — плагины Clearfy, WP Super Cache, WP Last Modified Info, Last Modified Timestamp, If Modified Since и другие;

• Drupal — модуль lastmodified_since;

• Joomla — модуль Last Modified Any, Last Modified Products for JoomShopping.

Часто для того же результата достаточно реализованного кэширования на CMS.

Если сайт статический, достаточно на каждой странице указать Last-Modified с датой последнего изменения. А после обновлений менять дату вручную.

<meta http-equiv=»Last-Modified» content=»Sat, 14 Feb 2021 12:45:26 GMT»>

Если динамическая, то есть постоянно обновляется, можно настроить отправку http-заголовка Last-Modified на php, добавив в head страницы код:

<!—?php

$LastModified_unix = strtotime(date(«D, d M Y H:i:s», filectime($_SERVER[‘SCRIPT_FILENAME’])));
$LastModified = gmdate(«D, d M Y H:i:s GMT», $LastModified_unix);
$IfModifiedSince = false;

if (isset($_ENV[‘HTTP_IF_MODIFIED_SINCE’]))
$IfModifiedSince = strtotime(substr ($_ENV[‘HTTP_IF_MODIFIED_SINCE’], 5));

if (isset($_SERVER[‘HTTP_IF_MODIFIED_SINCE’]))
$IfModifiedSince = strtotime(substr ($_SERVER[‘HTTP_IF_MODIFIED_SINCE’], 5));

if ($IfModifiedSince && $IfModifiedSince —>= $LastModified_unix) {
header($_SERVER[‘SERVER_PROTOCOL’] . ‘ 304 Not Modified’);
exit;
}

header(‘Last-Modified: ‘. $LastModified);

?>

Первая строка преобразует дату в метку в формате Unix Time Stamp, используя время изменения текущей страницы, которое определяет автоматически.

Функция gmdate возвращает текущее время в формате <день недели>, <число> <название месяца> <год> <час>:<минута>:<секунда> GMT.

Дальше проверяем If-Modified-Since, если изменений нет — отдаем 304 Not Modified и останавливаем работу скрипта, если есть — ответ сервера 200 ОК, отдаем страницу целиком.

Как указать дату правильно

Если указать дату обновления некорректно, боты все равно проиндексируют страницу, но она не сможет участвовать в сортировке результатов по дате.

Порядок должен быть таким, используется GMT — время по Гринвичу:

Last-Modified: <день недели>, <число> <название месяца> <год> <час>:<минута>:<секунда> GMT

Как проверить Last-Modified

У PR-CY есть бесплатный инструмент, позволяющий взглянуть на сайт глазами поискового робота. Если Last-Modified есть, инструмент его покажет:

Проверка страницы в сервисе PR-CY

В панели Яндекс.Вебмастера есть инструмент «Проверка ответа сервера»:

Проверка ответа сервера

Сервер будет отдавать 304 Not Modified в случае, когда страница не изменилась с последнего посещения, и 200 ОК, если на ней что-то меняли.

Вы используете Last-Modified, видите в нем смысл? Расскажите в комментариях!

Источник

В статье:

1. Зачем удалять устаревший контент

2. Как это сделать

Владельцы сайтов обычно тратят много времени на создание и размещение нового контента на сайт или на улучшение уже выложенного, чтобы поднять его позиции. Очень жалко удалять из поискового индекса страницы, в которые вложено много сил и времени, но иногда это стоит сделать.

Зачем удалять устаревший контент

Рассмотрим несколько ситуаций, когда вам может понадобиться удалить устаревший контент:

Обновления в ассортименте интернет-магазина

В интернет-магазине с огромным ассортиментом товаров внушительная часть позиций может быть недоступна. Какие-то будут временно отсутствовать на складе, часть снимут с производства или заменят другими. Образуются десятки или сотни неактуальных товарных страниц

В зависимости от потребностей бизнеса и особенностей технологий может потребоваться удалить их из индекса — временно или навсегда. К примеру, чтобы на них не тратился краулинговый бюджет сайта. Тогда роботы не будут тратить ресурсы на сканирование неактуальных страниц, а сразу пойдут на важные.

Устаревшие новости и статьи

Новости по своей природе быстро устаревают. Многие новостные сайты выпускают заметки часто и регулярно, в некоторых СМИ это несколько в час. Из-за этого сайт сильно разрастается. Многие устаревшие новости никогда больше не понадобятся и не принесут трафик — такие можно и удалить.

Статьи также устаревают. Если советы из материала больше не работают, их можно актуализировать. Если в этом нет смысла, можно поставить редирект на другой материал по той же теме. Но иногда тема уходит в прошлое в принципе, как продвижение в Google+, так что нет смысла дорабатывать статью и не на что ее редиректить. Тогда материал можно удалить.

Читать по теме:
Продвижение новостных сайтов в 2021

Строгое регулирование отрасли

Есть отрасли, которые строго регулируются законами, к примеру, медицина или финансы. Когда появляются новые законные требования к этим сайтам, приходится добавлять какие-то документы и соглашения, обновлять сайт и менять контент. Иногда нужно срочно что-то удалять, чтобы не попасть на штрафы или даже блокировку.

К примеру, особые требования к медицинским статьям для широкого круга читателей существовали не всегда, и когда они появились, пришлось добавлять плашки с напоминанием обратиться к врачу, переписывать рекламные материалы, а что-то наверняка и удалять.

Акции с ограничением по времени

Многие интернет-магазины делают отдельные страницы к специальным распродажам. К регулярным распродажам типа Черной пятницы страница может понадобиться и через год, но в целом с окончанием акции такие страницы перестают быть нужны.

Есть мнение, что если клиенты видят закончившуюся распродажу с выгодными скидками, им становится менее интересно покупать товар, поскольку они расстраиваются из-за упущенной выгоды и думают, что теперь переплатят.

Как удалить устаревший контент

Удаление контента — это не всегда история о безвозвратном удалении страницы. Есть несколько уровней: можно удалить ее только из индекса, оставив на сайте, тогда пользователи не найдут ее в выдаче, но смогут перейти на нее по ссылкам с других страниц или из закладок. А можно удалить и с сайта — навсегда или временно отправив ее в архив. 

Некоторые из наиболее распространенных методов удаления устаревшего контента:

Тег noindex

Можно не удалять страницу с сайта, а дать роботам сигнал не индексировать ее с помощью тега noindex. Если она уже есть в индексе, при следующем обходе боты должны увидеть тег и убрать ее из индекса. 

<meta name=»robots» content=»noindex»/>

Почитать по теме:
Как составить robots.txt самостоятельно

Тег noindex можно настроить с помощью SEO-плагинов для CMS, эта функция часто в них встречается.

Пользователи по-прежнему смогут зайти на страницу, если на нее ведут внутренние ссылки на сайте или если они посещали ее раньше и сохранили в закладках адрес.

Удаление страницы из индекса с помощью noindex не будет необратимым действием. Если вы захотите вернуть страницу, удалите тег и при следующем сканировании поисковый бот это увидит.

Обратите внимание, что если вы удалили из индекса страницу с хорошими позициями, не факт, что если вы уберете noindex, она вернется на ту же строчку выдачи.

Инструмент удаления URL-адресов в Яндекс.Вебмастере

Можно ускорить процесс удаления из Яндекса. Сначала нужно запретить их индексирование: прописать disallow в файле robots.txt и указать на странице метатег robots с директивой noindex. Это обязательно. При следующем обходе робот увидит эти сигналы.

Для ускорения процесса в Вебмастере есть инструмент «Удалить URL». Чтобы удалить отдельные страницы, выберите «По URL» и введите адрес. В сутки можно удалять до 500 адресов одного сайта.

Удаление страницы в Яндекс.Вебмастере

На этой же странице будут отображаться статусы URL — «В очереди на удаление», «В процессе», «Удалена» или «Отклонено», если не указан запрет на индексирование или если бот получает какой-то другой ответ сервера, кроме 404 Not Found, 403 Forbidden или 410 Gone.

Чтобы удалить целую группу страниц, нужно выбрать «По префиксу», тогда будут удалены страницы, содержащие в URL указанный шаблон. К примеру, https://site.com/catalogue/ для всех страниц каталога, https://site.com/page? для URL с параметрами.

В сутки можно ввести до 20 префиксов для одного сайта.

Есть момент: страницу, запрещенную с помощью disallow, все равно могут проиндексировать, если на нее будут ссылаться другие страницы сайта. Бот может решить, что раз есть ссылки, то страница важна.

Инструмент удаления URL-адресов Google Search Console

У Google тоже есть такой инструмент — это «Инструмент удаления URL» в консоли Google.

Инструмент в Google Search Console

Он позволяет временно удалить URL-адрес или адреса по вашему выбору.

Можно удалить все URL с определенным префиксом. Например, удаление site.com/products/ приведет к удалению всех других URL-адресов с /products/ в пути URL:

• site.com/products/alarm-clocks/
• site.com/products/house-plants/
• site.com/products/flasks/

Также можно удалить только кэшированную версию URL или ее фрагмент — тег заголовка и описания, которые отображаются в результатах поиска. Это может быть полезно, если в этих фрагментах цены, телефоны или предложения, которые поменялись, и вам нужно быстро изменить отображение страницы.

Работа с инструментом

301 или 302 редирект

Еще вариант — настроить со страницы перенаправление на другую. К примеру, если производство одного вашего продукта остановлено на неопределенный срок, можно настроить редирект на страницу с аналогами. Это позволит не терять пользователей, а предложить им другое решение, к тому же страница не выпадет из поиска. Когда товар снова появится в наличии, редирект нужно просто удалить.

Также и с информационными страницами: если статья нетрафиковая или потеряла актуальность, можно перенаправлять пользователя на другую по той же теме.

Почитать по теме:
Как настроить 301 редирект самостоятельно

Удаление страницы с сайта

Другое быстрое решение — просто удалить страницу с сайта, если она не нужна. Если робот получит 404, 403 или 410 HTTP-код ответа сервера при обращении, он исключит ее из индекса.

Если удаляете страницу, на других страницах сайта удалите или замените и ссылки на нее, чтобы пользователи на натыкались на недоступную страницу по ссылкам с другого контента или из закладок.

Если страница сейчас получает трафик, имеет потенциал для получения трафика в будущем или приносит хорошие обратные ссылки, лучше все-таки не удалять ее, а настроить редирект на другую.

Почитать по теме:
Настройка отслеживания 404 ошибок с помощью Google Tag Manager
Чем вредят сайту битые ссылки? Поиск и способы исправить

Не удаляйте вообще

В некоторых случаях можно не удалять неактуальную страницу, если она будет нужна через какое-то время. Когда дело доходит до регулярных распродаж, таких как Черная пятница, разумным решением может быть просто оставить страницу активной на неопределенный срок, разместив на ней сообщение о том, что распродажа начнется через «xxx месяцев или дней». Тогда не придется каждый раз развивать новую страницу, а старая будет прокачиваться со временем.

Пример — страница Черной пятницы на сайте Argos. В январе 2021 года она работает и занимает место на первой странице Google по запросу «распродажа в черную пятницу», хотя акция начнется в ноябре.

Пример страницы для ежегодной распродажи

Ненадежные способы

Для удаления страниц из индекса поисковых систем иногда используют канонические теги, но их лучше использовать для отметки похожего контента, а не устаревшего. Нет гарантии, что поисковые боты будут обращать внимания на канонический тег, часто они принимают свои решения о показе страницы.

Кто-то использует указания об индексировании в файле robots.txt, но этот файл боты Google воспринимают как рекомендации, а не как правила. Если использовать robots.txt для удаления страниц из индекса, то в совокупности с другими способами.

Метод, который вы выбрали для удаления контента из индекса поисковых систем, должен зависеть от ценности контента и от того, на какой срок вы хотите его удалить — навсегда или временно. Выбирайте с умом!

На основе статьи «How To Remove Outdated Content From Search Engines» Joe Johnson

Источник

Разработчики Дзена рассказали в своем блоге о большом обновлении в социальной коммерции. Теперь товары из обзоров появятся прямо в ленте, а товарные виджеты станут отображаться под статьями.

Товары в ленте

Товары из обзоров блогеров теперь можно купить напрямую, перейдя в магазин, даже не читая статью. Товары появятся на карточках статей прямо в ленте, а при покупке блогер получит вознаграждение, причем вне зависимости от того, читал пользователь статью или нет.

Количество товаров на карточке зависит от количества товаров в виджетах в самой статье. Обновление коснется всех товаров из Маркета и Joom.

Новые виджеты с рекомендациями

Товарные виджеты внизу статьи предлагают пользователям самые популярные товары по теме. Они формируются в зависимости от тематики блогера и конкретного текста статьи. Если текст про новинки техники, то под статьей появится соответствующая обзору подборка товаров. Эта функция появится только у Маркета.

Разработчики гарантируют, что виджеты не станут раздражать пользователей, ведь они призваны дополнять статьи и помочь сделать пользователю правильный выбор.

Количество товаров в виджетах будет зависеть от предложений Маркета и региона пользователя.

Как оцениваете нововведения от Яндекса?

Источник

Разработчики соцсети анонсировали запуск маркетплейса Instagram Shopping в России. С его помощью бизнес-аккаунты могут помечать в постах и сторис товары, у каждого из которых будет отдельная карточка. На карточках товарах будут указаны цена, материал, размер и прочее. Кликнув на значок товара в публикации, пользователь перейдет на карточку, откуда уже сможет либо добавить товар в корзину, либо перейти на сайт и оформить покупку.

Как сообщает Facebook, функция будет внедряться в течение нескольких месяцев. Первыми доступ получит ограниченное число бизнес-аккаунтов, которые выберут случайным образом. Таким образом маркетплейс протестирует все модели бизнеса и естественным путем придет к расширению.

Для настройки магазина вам потребуется инструмент Commerce Manager для управления продажами на Facebook и Instagram. С помощью сервиса вы сможете создать каталог товаров, обрабатывать заказы и совершать прочие действия для электронной коммерции. Сервис доступен только для десктопа.

Напоминаем, что сервис для создания магазинов внутри соцсети Instagram анонсировал прошлым летом.

Источник