Коллеги-оптимизаторы поделились в своем Telegram-канале наблюдением о новой кнопке, возникшей в разделе товаров. В случае, если вы пересекались по геоданным с каким-либо заведением или магазином, Instagram фиксирует это и дает возможность оценить качество товаров и услуг.

С помощью новой кнопки «Оставить отзыв о покупке» вы можете поделиться своим мнением о магазине или месте, а также присудить одну из трех рейтинговых оценок. В данном случае, это «Удовлетворительно», «Неудовлетворительно» и «Нейтрально».

Не до конца понятно, как эта система будет функционировать в будущем, однако это однозначный плюс для продвижения. Как показывает практика, высокие оценки и отзывы привлекают больше посетителей.

Источник

Принято думать, что в России авторское право не очень развито, мало кто подает в суд за использование своих фото или иллюстраций без разрешения. Даже если таких дел действительно немного, не очень приятно будет оказаться в числе ответчиков и платить компенсацию.

2 кейса с доказательствами, что картинки для сайта воровать нельзя

В 2016 году фотограф из Сургута подал в суд на глянцевый журнал, который разместил фотографию его авторства. Сначала он написал им в соцсетях, но они не ответили, тогда фотограф пошел в суд. По решению суда журнал должен выплатить фотографу 50 тысяч рублей и опубликовать официальные извинения на страницах издания.

В 2017 году был суд с участием интернет-магазинов. Пермский мебельный магазин скопировал 82 фотографии товара со страниц мебельного магазина в Екатеринбурге, которые они делали сами. По решению суда за использование 82 фотографий магазин выплатит 820 000 рублей компенсации. Платить будут совместно и владелец магазина, и администратор домена, который выложил эти фото.

В этом материале разберемся, где лучше брать изображения, чтобы избежать споров и судов.

В нашем блоге есть статья о изображениях, написанная совместно с магистром частного права, в ней разобрали юридические вопросы:

• когда можно использовать картинки без разрешения;

• что делать, если украли ваши фото или иллюстрации;

• какие санкции за это предусмотрены;

• как правильно заключить договор с дизайнером, фотографом или художником.

Об оптимизации изображений есть подробное руководство, там о требованиях к картинкам для SEO, способах сжатия и правильном заполнении метатегов.

Где брать картинки для оформления сайта и иллюстраций

Скачать с фотостоков и фотобанков с бесплатными картинками

Backlinko выложили исследование блогов компаний из сферы B2B. Оказалось, что только 21% блогов специально заказывает уникальные изображения, 14% обходятся без картинок, а стоками пользуется 65% компаний.

Исследователи заметили, что одни и те же картинки часто повторялись на разных площадках. Иногда веб-мастеры ленятся листать страницы фотобанков и берут первые подходящие картинки из топа. В итоге на нескольких сайтах сходных тематик появляются одинаковые картинки.

Иногда они даже становятся узнаваемыми, а персонажи обретают имя. К примеру, сейчас уже никто не стал бы использовать Гарольда, скрывающего боль, без юмористического умысла:

Персонаж, которого за выражение лица прозвали «Гарольд, скрывающий боль»

Или картинку с неверным парнем, ставшую мемом:

Картинка из фотобанка, ставшая шаблоном для мемов

Так что советуем не брать популярные изображения, подходящие под многие темы, и не качать картинки из топа выдачи поисковиков, а хорошенько покопаться в том, что предлагают фотобанки.

Фотостоки с лицензиями

• Stock Up, Pexels, Foter, Pixabay, StockSnap, Unsplash, Picjumbo, Freestockimages — изображения и работы фотографов;

• Gratisography — фото и графические иллюстрации;

• ISO Republic — фото и видео;

• Styled Stock — изображения, много фоновых для дизайна сайта или мокапов;

• Foodie’s Feed — картинки только с едой и продуктами и готовыми блюдами;

• Mazwai — картинки, видеоклипы и футажи;

• All The Free Stock — иллюстрации, иконки и видео.

Проверяйте, есть ли у картинки лицензия с правом на коммерческое использование. Коммерческим использованием можно назвать размещение в статье, которая опубликована для стимулирования продаж. E-commerce проектам точно нужно быть внимательнее.

Обычно лицензии указаны у описании изображения на стоках, иногда там есть и ссылка на автора, чтобы с ним можно было связаться.

Указание лицензии на фотостоке

Советуем перестраховаться и прогнать картинку через поиск по изображениям в Google или Яндекс. Так вы увидите, на каких еще площадках она выложена, и совпадают ли авторы. Кто-то мог залить чужую картинку на фотобанк, а настоящий автор против коммерческого использования.

С точки зрения закона РФ вы будете сами виноваты, что не проверили лицензию и авторство, так что компенсацию придется заплатить. Но ее размер может быть поменьше, если суд примет во внимание, что вы заблуждались добросовестно.

Изображения из общественного достояния

Если автор рисунка, гравюры, фотографии или другого предмета умер и со дня смерти прошло 70 лет, его творчество переходит в общественное достояние. Его можно использовать, разрешения спрашивать не у кого. Распознать такие изображения можно по лицензии «Public Domain».

New Old Stock, Flickr.com/commons — старые фото с лицензией «Public Domain».

К примеру, паблик «Страдающее Средневековье» для мерча и настольных игр использует средневековые книжные иллюстрации и фрески из общественного достояния.

Настольная игра с использованием средневековых иллюстраций

Но обратите внимание, не весь винтаж доступен для использования. Рисунки, коллекции фотографий, гравюры могли перейти в собственность государственного архива или музея, или их могли выкупить коллекционеры, так что права на использование перешли к ним. Проверяйте наличие лицензии «Public Domain».

Если вы не хотите беспокоиться насчет лицензий, есть еще вариант, который займет чуть больше времени и сил, но круто поднимет индивидуальность вашего проекта.

Нарисовать самим. Можно плохо

Пересмотрите свое отношение к картинкам. Нет смысла иллюстрировать очевидные вещи или вставлять первое попавшееся изображение, только чтобы оно было в статье. Цель иллюстрации — помочь объяснить материал. Если картинка забавная, она может сделать чтение приятнее и дать пару секунд передышки в серьезной статье.

Картинки не обязательно должны быть красивыми, небрежность может выглядеть как индивидуальность. Даже если вы плохо рисуете, вы наверняка справитесь со схемами, графиками и примитивными комиксами.

К примеру, блогер Вастрик, который пишет про IT, сам рисует такие незатейливые схемы почти в каждой статье. Это позволяет выдержать общий стиль публикаций, помогает читателю понять смысл и удерживает за счет юмора.

Иллюстрация к статье блога vas3k.ru

Зарубежное SEO-агентство на собственном опыте пришло к выводу, что в некоторых тематиках поисковику важно содержание картинки и ее уникальность. Об этом в материале.

Где брать фото людей для отзывов и профилей

Фотографии людей могут понадобиться для создания иллюстраций, образцов или даже создания отзывов. Реальные отзывы от клиентов всегда лучше, но не все готовы показать лицо на чужом сайте. Иногда приходится написать хотя бы парочку искусственных отзывов с фото, чтобы раздел с рекомендациями не пустовал.

Не советуем брать фотографии случайных людей из интернета:

• Неэтично по отношению к людям, фото которых вы берете. Неприятно обнаружить себя на сайте под другим именем с отзывом, которого не писал.

• Рушит доверие: если пользователь узнает, что вы взяли фото без разрешения, доверие к остальным отзывам и к вашей компании может упасть.

• Незаконно, нужно согласие изображенного на фото человека.

Если фото разместили без спроса, человек может подать в суд и добиться удаления с компенсацией морального вреда. Компенсации за моральный вред в РФ обычно небольшие, но скандал и потеря доверия обойдутся компании дороже.

Спрашивать согласия не нужно, если на фото толпа людей на публичном мероприятии или если человек позировал в качестве модели за деньги.

Сгенерировать фото человека нейросетью

Эти фотографии вполне могли бы использоваться как юзерпик в профиле или на отзывах:

Обычные фотографии с лицами людей

Но людей с этих фото на самом деле не существует, их создала нейросеть. Если запустить поиск по картинке, других фотографий персонажей вы не найдете, но зато использование таких фото не обидит ни одного реального человека.

Сгенерировать фото лица можно бесплатно:
— thispersondoesnotexist.com — можно создать одну фотографию, для создания новой обновите страницу;
— tools.seo-zona.ru/face.html — можно создать сразу до 10 фото.

Иногда на фоне могут попадаться артефакты, побочный эффект работы нейросети:

Размытое лицо человека рядом

Приходится внимательно рассматривать фото перед использованием, благо создать новое займет пару секунд.

Итак, какие картинки лучше брать для сайта

Лучший вариант — заказать у дизайнера или фотографа уникальные, созданные для вас картинки.

• Это освободит вас от риска получить штраф за нарушение авторских прав.

• Скорее всего немного поможет в SEO — даст поисковикам сигнал, что вы вкладываетесь в качество контента и создаете новое, а не воруете.

• Не даст попасть в просак перед пользователями и нечаянно использовать Гарольда с серьезным посылом.

Если вложения в дизайнера кажутся вам нерентабельными, попробуйте порисовать самостоятельно:

• Не страшно, если вы не очень хорошо рисуете — легкая небрежность добавит индивидуальности.

• Схемы рисовать несложно, а они зачастую полезнее бессодержательных картинок.

• Единый стиль иллюстраций объединит все статьи блога.

• Пользователи наверняка оценят старания и проникнутся уважением к автору.

Если и это не ваш вариант, можно брать картинки из публичного доступа:

• Фотостоки и фотобанки предлагают качественные, большие и красивые изображения бесплатно. Но проверяйте лицензии и не берите примелькавшиеся картинки.

Расскажите в комментариях, как вы поступаете с изображениями: откуда берете, видите ли смысл заказывать у дизайнера, пробовали ли рисовать сами?

Источник

Мы любим SEO-исследования Backlinko за большие выборки. Уже перевели для блога исследования факторов ранжирования Google, контент-маркетинга на рекордной выборке 912 млн статей, скорости загрузки и e-mail рассылок для поиска партнеров.

В этой работе, выложенной в январе 2021 года, Backlinko изучили блоги 512 компаний из сферы B2B, то есть работающих с бизнесом, и вывели общие тенденции в организации контент-маркетинга на западном рынке. Для этого анализа они углубились в каждый блог, поэтому было бы сложно проанализировать более 500 компаний.

Для блога PR-CY мы выбрали самые интересные выводы. Они могут быть полезны в качестве аргументов в разговорах с клиентами, помогут определить западные тенденции и подскажут, когда не стоит ждать улучшения результатов от параметров без корреляции.

Итоги исследования кратко:

1. Блог на своем сайте ведут 72% компаний из сферы B2B. У остальных его нет.

2. 8% компаний B2B публикуют в блоге только корпоративный PR-контент.

3. Для получения трафика больше подходит образовательный контент. Такие блоги имеют на 52% больше трафика, чем блоги с постами преимущественно о компании.

4. Комментарии к постам включены у 29% компаний.

5. Изображениями из фотостоков пользуются 65% компаний, 21% размещает уникальные картинки.

6. Только 24% компаний используют всплывающие окна на страницах статей из блога.

7. 35% компаний использовали «Подпишитесь на нашу рассылку новостей» как заметный призыв к действию в своих блогах.

8. Самый популярный призыв к действию в контенте B2B — предложение посмотреть связанный по теме контент.

9. Посты из топа выдачи получают большую часть органики, ссылок и социальных сигналов, а результаты внизу выдачи почти не получают ничего.

У 28% компаний B2B нет блога

Для компаний блог обычно выступает главным центром контент-маркетинга и ключевым источником органического трафика. 142 из 502 проанализированных компаний не имеют блога — то есть 28,3% не инвестируют в контент-маркетинг.

72% компаний B2B ведут блог, но многие из них не знают, как написать интересный для пользователей контент, который вызовет обратную связь и начнет взаимодействие с компанией.

Иногда компании вообще не используют контент в своем подходе к маркетингу или размещают статьи за пределами сайта — например, в популярной за рубежом соцсети LinkedIn. У нас это обычно VC, TJournal, Яндекс.Дзен и другие. 

Публиковать материалы на сторонних площадках полезно, но и на основном домене стоит что-то постить. Так авторитет домена, который будет расти благодаря блогу на сайте, может повлиять на связанные страницы с продуктами и услугами. Направлять пользователя на другие страницы внутри одного сайта проще, чем переманивать из соцсети на стороннюю площадку.

Почитайте по теме:
Нужен ли блог малому бизнесу?

Зачем B2B компаниям нужен блог

Согласно FocusVision, лица, принимающие решения в сфере B2B, обычно потребляют 13 единиц контента в течение цикла покупки. При этом большую часть этого контента они читают непосредственно на сайте поставщика. Для этого и нужен блог: хорошая возможность продемонстрировать экспертность и опыт, доказать качество продукта и стать ближе к потенциальным клиентам.

Вероятно, поэтому 46% маркетологов B2B планируют больше инвестировать в контент-маркетинг в будущем, по данным исследования маркетинга за 2020 год.

Остальные выводы отчета касаются большинства компаний, у которых есть блог.

61% компаний B2B используют WordPress

У 360 компаний, которые ведут блоги, исследователи определили 25 разных систем управления контентом. Самой популярной CMS оказался WordPress, которым пользуются 220 компаний, то есть 61%.

По данным BuiltWith, WordPress еще и самая популярная в мире CMS, так что результат не удивляет.

У 53 компаний CMS распознать не удалось, вероятно они используют специально разработанные решения или очень редкие CMS.

Образовательные блоги получают больше органического трафика

Образовательные блоги получают на 52% больше органического трафика, чем блоги, целиком посвященные новостям компании и PR-контенту.

Это логично: образовательный контент с большей вероятностью будет ранжироваться по широкому кругу ключевых слов. Бизнес, который публикует только новости, ограничен ранжированием по названию своей компании и некоторым другим связанным запросам.

Материал по теме:
12 практических советов для увеличения трафика

38% корпоративных блогов B2B публикуют обучающий контент

В компаниях из исследования было четыре сценария использования блога на сайте:

1. Новости компании: только события в компании и ее продукты.

2. Образовательный контент: полезный контент для решения проблем читателя.

3. Смешанный контент: в одном месте материалы о компании для прессы и обучающие статьи для клиентов.

4. Новости отрасли: только новостях отрасли, в которой работает компания.

38% компаний публикуют исключительно образовательный контент и только 8% используют блоги как площадку для PR-материалов и корпоративных новостей.

Самый популярный подход — смешанный, его использовали 51% компаний. Стратегия универсальная: большая часть контента помогает аудитории с проблемой, которую они хотят решить, но также есть корпоративный контент, который позиционирует компанию как лидера отрасли.

Пример смешанного подхода — блог компании Segment. Все посты лежат в одном каталоге segment.com/blog/, но каждый пост находится в своей категории по теме или формату. Две категории для образовательных постов о маркетинге и инжиниринге, отдельно новости о развитии компании.

Категории в блоге компании Segment

Советы для контент-маркетинга компании:
6 важных мыслей из 10-летнего опыта написания SEO-статей

Большинство компаний, занимающихся развитием блога, понимают: лучшие результаты даст площадка с полезным для аудитории контентом, а не только новостями организации, которые пользователям обычно не очень-то интересны.

Только 29% блогов B2B позволяют читателям комментировать посты

Большинство компаний B2B не развивают профессиональное сообщество на базе своего блога и предпочитают выкладывать статьи без функции комментирования. Комментарии включены только у 106 блогов из выборки, это 29%.

Включать комментарии или нет — решать владельцу площадки. Прошлогоднее исследование 100 000 постов в блогах показало, что нет корреляции между количеством комментариев и просмотрами материала, как и между количеством комментариев и числом обратных ссылок на пост. Но есть несколько других доводов в пользу комментариев:

• Дают возможность создать сообщество на вашей собственной платформе в отличие от соцсетей, которыми вы не владеете и не можете их контролировать. Слышали несколько историй, как Facebook банил группы без объяснения причин, а поддержка игнорировала обращения. Также могут быть ограничения по ссылкам и тональности постов.

• На сайте обычно более лояльная аудитория, чем в соцсетях, комментарии содержательнее и информативнее.

• Обычно комментарии доступны после регистрации на сайте, так что собранную базу emil по согласию пользователей можно использовать для рассылки.

Но есть и минусы включенных комментариев: веб-мастеру приходится тратить время на борьбу со спамом, думать над ответами, модерировать споры и отрабатывать негатив. 

Может быть интересно:
Как сделать комментарии и отзывы на сайте полезными для SEO

65% блогов B2B используют стоковые изображения

Для статей часто нужны картинки в качестве обложек и иллюстраций. Можно заказывать уникальные изображения, что делает 21% компаний, а можно скачивать их на фотостоках — так поступают 65%. У 14% компаний вовсе нет картинок в блогах.

Использование бесплатных фотостоков и фотобанков — простой способ найти обложку для статьи без проблем с правообладателем. Но копирайтерам бывает лень смотреть фотосток дальше второй страницы. Исследователи обратили внимание, что одни и те же стоковые изображения несколько раз повторялись в разных блогах.

Где брать картинки и фото людей для сайта: подборка ссылок и идей

На фотостоке можно быстро и бесплатно найти картинку, но уникальные изображения лучше. Эксперимент 2019 года показал, что при прочих равных использование уникальных изображений положительно влияет на позиции в органической выдаче по сравнению с сайтами, где использовали дублированные картинки из интернета. А еще созданные специально для блога изображения помогают выделиться визуально и создать блогу единый стиль.

24% компаний B2B используют всплывающие окна в своих блогах

Исследование показало, что только 24% B2B-компаний использовали разные всплывающие окна на страницах статей. Уведомления о файлах cookie исследователи не считали, они есть на всех сайтах, поскольку это требование закона.

Из всех используемых pop-up в блогах из выборки исследователи выделили девять типов в зависимости от действия:

Самые популярные типы всплывающих окон — предложение подписаться на рассылку (41%) и рекомендация, то есть продвижение какого-то контента, связанного по теме (28%). Большинство B2B-компаний сосредоточены на построении долгосрочных отношений со своей аудиторией, а не на немедленном продвижении продуктов.

Пример всплывающего окна — pop-up для ввода электронной почты на сайте Grammarly, чтобы попробовать бесплатную пробную версию.

Всплывающее окно для подписки

Еще пример — окно на сайте Pindrop, которое продвигает какой-то контент. Содержимое может меняться. В данном случае рекомендуют предстоящий вебинар:

Всплывающее окно для регистрации на вебинар

Когда вебинар прошел, они стали предлагать скачать материал для изучения:

Всплывающее окно для скачивания

Почитать по теме:
Топ-10 сервисов, чтобы сделать Pop-up форму подписки для сайта

Весь трафик получают B2B блоги из топа

Исследователи решили посмотреть на эффективность SEO-блогов в выборке с точки зрения органического трафика и ранжирования. Данные касаются анализа всего блога, а не отдельных статей.

Уровни органического трафика между сайтами в выборке значительно различаются. 10% блогов из топа получают в среднем 22 000 посещений из органики каждый месяц, но нижние 10% практически не имеют посетителей. 32 сайта из тех, что посмотрели исследователи, фактически не получали никакого органического трафика.

Исследователи также посчитали количество ключевых слов, по которым типичный блог B2B ранжируется в органическом поиске Google. В среднем блоги ранжируются по 784 ключевым словам, но, как и в случае с органическим трафиком, среднее значение не имеет смысла, потому что цифра искажена из-за огромной разницы между сайтами в зависимости от позиции.

Итог такой: всё достается тем, кто в топе.

Скорее всего, многие компании ведут блог, не осознавая выгоды для бизнеса, а просто потому что он есть у конкурентов и его как бы положено вести. Данные показывают, что большинство блогов B2B не получают трафика. Но если заниматься развитием блога, он будет полезен.

Такая же ситуация и с обратными ссылками, и с репостами в соцсетях — существенно большая часть принадлежит материалам из топа выдачи, до низов мало кто доходит.

Количество ссылающихся доменов коррелирует с трафиком из органики

Исследователи посмотрели связь между количеством обратных ссылок, ссылающихся доменов и объемом органического трафика.

Между количеством обратных ссылок и органическим трафиком корреляция слабая:

Но между количеством ссылающихся доменов и органическим трафиком наблюдается более сильная корреляция:

Вероятно, корреляция означает, что веб-мастерам лучше стремиться приобретать ссылки на разных источниках, чем зацикливаться на получении ссылок с привычного небольшого набора площадок.

В B2B длинный контент работает лучше

Исследователи посчитали количество слов в самых популярных постах. Их набралось четыре категории:

• Посты, генерирующие больше всего органического трафика — наиболее эффективные в среднем состоят из 855 слов.

• Посты, получающие наибольшее количество репостов в социальных сетях — у 10%, которые оказались самыми эффективными, средняя длина составляет 1116 слов.

• Посты, генерирующие наибольшее количество обратных dofollow-ссылок — в среднем наиболее эффективный пост содержит 780 слов.

• Посты, получающие обратные ссылки с наиболее релевантных доменов — 10% самых эффективных сообщений содержали в среднем 1552 слова. 10% с нижней границы были длиной в среднем всего 554 слова.

Получается, в сфере B2B длинный контент генерирует больше репостов в соцсетях, обратных ссылок, ссылающихся доменов и органического трафика. 10% постов, которые хорошо ранжируются в органическом поиске и занимают верхние позиции, почти в три раза длиннее нижних 10% постов. 

Это не значит, что дело только в длине. Длинные материалы обычно более подробно раскрывают мысль, содержат примеры, охватывают обширную тему. Материалы с выводами из исследований, которыми другие площадки могут подтверждать утверждения в своих статьях, тоже обычно длинные.

Один из самых интересных выводов исследования в том, что статьи, которые получают много репостов в социальных сетях, и статьи, получающие много обратных ссылок, обычно очень различаются по содержанию.

Если компании B2B важнее получить больше обратных ссылок для авторитетности, нужно будет сосредоточиться на контенте, на который чаще ссылаются. И обычно это не что-то сверхинтересное или спорное, что охотно обсуждают в соцсетях, а, например, исследования, мнения.

О том, какие посты чаще репостят в соцсетях, а какие получают больше ссылок, писали в этой статье.

Больше информации в оригинале исследования Backlinko

Расскажите в комментариях, какой вывод показался вам самым интересным, что запомнилось из исследования?

Источник

Статья полезна для общего понимания обработки сайтов поисковиком, но особенно актуальна тем, кто видит проблемы в сканировании сайта.

В статье:

1. Как поисковик обходит сайт
2. Кому нужно беспокоиться о краулинговом бюджете
3. Как посмотреть сканирование сайта ботами
4. Как оптимизировать краулинговый бюджет
5. Как оптимизировать рендеринговый бюджет

Как поисковик обходит сайт: что такое краулинговый и рендеринговый бюджет

Страница появится в поиске, будет ранжироваться по ключевым словам и получать трафик, если поисковый бот ее найдет и проиндексирует.

Процесс немного различается для статических HTML-страниц и динамических страниц с JavaScript.

Статические страницы

Боты, которые ищут и обрабатывают страницы, называются краулеры, процесс обработки — краулинг.

1. Поисковый бот формирует список URL сайта — их он находит по Карте сайта, внутренним и внешним ссылкам.

2. Сверяется с разрешениями на обход в файле robots.txt. В этом файле не строгие правила, а рекомендации, так что закрыть страницу от бота через запрет в robots.txt не получится. Если на страницу есть ссылки и редиректы, бот может решить, что она все-таки важна, и включить ее в свой список.

3. Дальше он сортирует ссылки по приоритетности и начинает сканировать. Приоритетность определяет по многим факторам: удаленность от главной, PageRank и другие.

У поисковых систем нет технических возможностей обрабатывать все страницы, появляющиеся у сайтов, так что для краулинга есть лимиты — краулинговый бюджет — это количество страниц, которое поисковый бот может проиндексировать за один ограниченный по времени визит на сайт.

Если количество регулярно обновляемых страниц больше бюджета сканирования сайта, на нем будут не проиндексированные страницы.

Динамические JS-страницы

Краулеры сканируют и индексируют контент статической HTML-страницы. Если страница динамическая, с визуализацией и JS-фреймворками, то процесс в целом такой же, но нужен еще промежуточный этап. После сканирования бот должен сначала отрисовать контент, закодированный через JavaScript, а уже потом отправить его в индекс. Этот этап называется рендеринг.

Поисковые боты обрабатывают код JavaScript с помощью последней версии Chromium. Количество страниц, которые бот может отобразить, называется рендеринговым бюджетом.

Получается, рендеринг — добавочный этап в обработке страницы, который требует ресурсов. Если страницу приходится долго отрисовывать из-за асинхронности и сложности JavaScript, индексирование займет больше времени.

Подробнее про обработку страниц на JavaScript Google рассказал в Центре поиска. Если страница или ее часть не отображаются в выдаче, причиной могут быть проблемы с кодом JavaScript. Руководство от Google поможет их устранить.

Скорость сканирования не относится к факторам ранжирования и сама по себе никак не влияет на позиции. Но важна для работы сайта — если бот не сможет просканировать новые страницы, они долго не появятся в выдаче и пользователи их не увидят. Разберемся, что делать, чтобы боты успевали сканировать все нужные страницы.

Кому нужно беспокоиться о краулинговом бюджете

На небольших проектах количество страниц, которым нужно сканирование, обычно меньше, чем лимит краулера. Так что владельцам маленьких сайтов о краулинговом бюджете можно не беспокоиться.

Если новые страницы месяцами не могут попасть в выдачу, стоит заняться оптимизацией: помочь боту не тратить краулинговый бюджет зря и находить страницы, которые вам нужны. Обычно это проблема крупных проектов.

Осталось понять, достаточно ли большой у вас проект, чтобы нужно было беспокоиться о лимитах краулера. Оптимизаторы называют разные цифры по объему страниц. Одни говорят, что у сайта до 50 тысяч страниц и четкой структурой не должно быть проблем с индексированием, другие называют цифру в 10 тысяч страниц. Проще проверить.

Как определить, что у вас проблемы с краулинговым бюджетом:

1. Найти, сколько страниц теоретически должно быть в индексе. Это страницы без тега noindex (актуален для Яндекса) и нет запрета в robots.txt.

2. Соотнести количество проиндексированных страниц с тем, что теоретически должно быть в индексе. Эти данные можно посмотреть в консоли Google и Яндекс.Вебмастере.

3. Если страниц, которые теоретически должны быть в индексе, во много раз больше, то есть проблемы.

Как посмотреть сканирование сайта поисковыми роботами

Динамика сайта

Динамику по обеим поисковым системам можно смотреть в сервисе Анализ сайта:

Индексация в Анализе сайта

В Яндекс.Вебмастере в разделе «Статистика обхода» можно посмотреть, какие страницы сайта обходит робот, а какие он не смог загрузить.

Статистика обхода в Яндекс.Вебмастере

В Google Search Console на вкладке Статистика сканирования можно увидеть общую картину — количество просканированных ботами страниц.

Запросы на сканирование страниц

Проблемы с индексацией могут повлечь и проблемы с ранжированием, а значит и с трафиком. Если вы заметили падение трафика, то проверьте данные отчета «Покрытие» в консоли Google. Нужно сравнить динамику изменения ранжирования и динамику на всех четырех вкладках отчета.

Отчет «Покрытие»

Особенно интересны разделы «Покрытие» — «Ошибки» и «Покрытие» — «Исключено». В «Исключено» будут страницы, которые Google считает некачественными: переадресации, закрытые от индексации и другие.

Список исключенных страниц

Проверка конкретной страницы

Узнать, на какой стадии конкретная страница, можно через Инструмент проверки URL. Он отобразит текущий статус индексирования страницы и даст знать, если что-то мешает обработке.

Проверка URL

Инструмент проверяет последнюю проиндексированную версию страницы. Если после последнего сканирования страницу изменили или удалили, он это не отобразит. Кликните на «Проверить страницу на сайте», чтобы получить данные о текущей версии страницы.

Есть еще момент: инструмент не учитывает санкции поисковика и временную блокировку URL. Так что даже если вы видите в результатах проверки «URL есть в индексе Google», страницы может не быть в выдаче. Проверить, есть ли она там, очень просто — нужно загуглить ее URL.

URL есть в выдаче Google

Посмотреть на страницу глазами поискового бота можно с помощью этого бесплатного инструмента. Он покажет Header ответ, код, который видит бот, а также соберет в список внутренние и внешние ссылки и укажет, какие из них индексируются.

Фрагмент результатов работы инструмента

Серверные логи

Проверить краулинговый бюджет можно в серверных логах, там можно проследить за тем, какие страницы посещает краулер, увидеть маршруты и расписание обходов сайта. Новичку может быть сложно, но можно разобраться.

Искать логи нужно в файле access.log в системной папке сервера или через панель управления хостинга, но не все типы хостинга это позволяют.

Если вы смотрите на поведение бота Google, вам нужен GoogleBot, но не все, что так называется, действительно относится к ботам поисковика — Как убедиться, что сайт сканируется роботом Googlebot.

Анализировать данные лучше за большой промежуток, не менее месяца. Так получится выявить общие принципы: как часто появляется бот, смотрит ли он Карту сайта, какие URL обходит часто, а какие игнорирует, какие возникают ошибки. Игнорируемый раздел можно усилить внутренними и внешними ссылками.

Регулярно анализировать логи стоит владельцам сайтов, у которых больше 100 тыс страниц, поскольку за ними сложно уследить.

Ориентироваться на больших массивах данных удобнее через программы. Для анализа логов есть программы: LogViewer, Screaming Frog Log Analyzer, JetOctopus, Loggly, GoAccess и другие.

Материал по теме:
Анализируем лог-файл веб-сервера для выявления SEO-проблем

Эффективные способы оптимизировать краулинговый бюджет сайта

Увеличить лимит на сканирование можно только двумя способами:

• выделить дополнительные ресурсы сервера для сканирования;

• повысить ценность контента для пользователей.

Разберем, как веб-мастеру работать со вторым.

Ускорить загрузку страниц

Долгая загрузка сайта отнимает время поискового бота. Увеличить скорость сканирования нельзя без ускорения сайта.

Проверить скорость загрузки можно в сервисе Анализ сайта. Он проверяет загрузку онлайн в соответствии параметру Core Web Vitals, который Google начал использовать в 2021 году. Если со скоростью будут проблемы, сервис их покажет и посоветует, что делать:

Фрагмент проверки скорости загрузки страницы

Проверить скорость сайта

Способов ускорения загрузки много, советуем посмотреть подборку материалов, в которой мы подробно разобрали самые эффективные.

Настроить Sitemap.xml

Обработать Карту сайта: очистить ее от дублей и ненужных ссылок с редиректами. В Карте должны быть только URL качественных страниц, которые нужны в индексе. Служебные там ни к чему.

Как составить файл Sitemap.xml правильно

Обработать robots.txt

Хоть это файл не с правилами, а рекомендациями для поисковых ботов, все равно он может повлиять на решение о сканировании. Чтобы роботы не тратили краулинговый бюджет на обработку страниц, которые не изменились со времени последнего сканирования, добавьте им значение last-modified.

Избавиться от редиректов

Очищайте длинные цепочки редиректов — это вредно и для пользователей, и для роботов-краулеров. Для пользователей увеличивается время загрузки итоговой страницы, приходится дольше ждать. Краулеры расходуют лимиты на редиректах, а если цепочка переадресаций затягивается, краулер может «потерять след» и не дойти до конечной страницы.

Разобраться с дублями контента

От дублей нужно избавиться, они в принципе бесполезны как пользователям, так и ботам. Поисковики не любят дублирующийся контент, роботы реже сканируют повторяющиеся страницы.

Выявить такие страницы поможет технический аудит. Проанализируйте совпадения и либо удалите более слабые страницы с повторениями, либо настройте редирект, если удалить не получится.

Настроить внутреннюю перелинковку

Бот назначает ссылкам приоритетность в сканировании в том числе по отдаленности страницы от главной. Чем меньше кликов нужно, чтобы перейти с главной до искомой страницы, тем она важнее. Поэтому важные для работы пользователей страницы располагайте ближе к главной.

Выстроить архитектуру сайта поможет материал 15 советов по seo-архитектуре сайта

Бот переходит по ссылкам на страницах и таким образом находит другие страницы,которые нужно просканировать. Кстати, это не позволяет запретить сканирование страницы в robots — если бот найдет ее по внутренним ссылкам, то может решить, что она важна, и добавить в свой список для сканирования.

Без внутренних ссылок на страницу боту будет проблематично на нее попасть, поэтому важно перелинковывать новые страницы с существующими.

Направление ссылочного веса по внутренним ссылкам подробно разобрали в статье Эффективная перелинковка: как работать с внутренними ссылками

Наращивать внешние ссылки

Также в определении приоритета страницы важен ее авторитет: чем больше качественных ссылок с релевантных площадок на нее ведет, тем она кажется важнее. Поэтому важные страницы нужно подпитывать ссылками с подходящих по теме площадок.

Без покупки обратных ссылок сложно обойтись, но есть и бесплатные способы, как можно их получить.

Проблемы с индексацией и советы о том, как ее ускорить, мы собрали в этом материале.

Как оптимизировать рендеринговый бюджет

Если вы используете динамические страницы, то нужно позаботиться о том, чтобы поисковым ботам было легко взаимодействовать и с ними. К индексированию добавляется рендеринг — «вторая волна индексирования», которая увеличивает время обработки страниц.

Рассмотрим, что можно внедрить, чтобы оптимизировать этот процесс.

Большую часть контента не визуализировать

JS-решения нужны не для всего контента, не усердствуйте с визуализацией, чтобы не перегружать страницы и дать роботу возможность понять большую часть смысла страницы при первом сканировании, до рендеринга.

Сократить JS

В коде часто бывает мусор: ненужные фрагменты, неиспользуемые библиотеки, разрывы и разделители. Можно уменьшить размер кода, то есть минифицировать JavaScript. Для минификации есть много бесплатных онлайн инструментов, ссылки и больше теории есть в статье.

Ускорить загрузку страницы

Нужно ускорить отображение контента, чтобы страница быстрее загружалась. Есть много возможностей, например, кэширование на длительный срок. Подойдет страницам, содержание которых нечасто изменяется.

Настройку кэширования и другие способы ускорить загрузку разобрали в этой же статье.

Применить динамическое отображение контента

Не все боты поисковиков могут обрабатывать JavaScript, и не все делают это быстро и качественно. Пока проблема существует, Google советует использовать динамический рендеринг.

Сервер должен распознавать поисковых роботов и при необходимости предоставлять им контент, уже обработанный на сервере — в виде HTML-страницы. Запросы от пользователей обрабатываются обычным образом как JS на стороне клиента. Динамический рендеринг можно настроить для всех страниц или только для некоторых.

О том, как это работает, Google рассказал в материале (на русском языке)

Беспокоиться о лимитах для краулеров нужно владельцам больших сайтов, если страницы долго не появляются в индексе. Проблемы с индексированием можно решить, для этого подойдут описанные в материале способы.

Расскажите в комментариях, какие способы мы зря не упомянули в статье? Что работает лучше всего по вашему опыту?

Источник