От автора: частое сканирование сайта поисковым ботом может быть связано с проблемами в структуре URL-адресов. А также с тем, что ресурс состоит из страниц, содержащих уникальный, но похожий контент. Об это рассказал представитель поиска Google.
Недавно на форуме поддержки поисковой системы обсуждался вопрос, связанный с изменением скорости прохождения краулером Google множества поддоменов за раз. Один из вебмастеров обратился в Google Webmaster Central Help с просьбой помочь решить эту проблему.
Он пояснил, что его сайт состоит из тысячи различных поддоменов, работающих на одной группе серверов. Ежедневно поисковый робот Google делает более 8 млн. проходов по сайту, что негативно сказывается на производительности ресурса.
Чтобы уменьшить нагрузку на систему, вебмастеру необходимо изменять настройки каждого из тысячи поддоменов. И повторять эту процедуру спустя з месяца.
Джон Мюллер посоветовал для решения этого вопроса отправить запрос команде, которая отвечает в Google за сканирование содержимого сайтов. Кроме этого можно осуществить настройку сервера, чтобы он возвращал поисковому роботу ошибку 503. А также проверить, какие URL-адреса сканирует краулер.
JavaScript. Быстрый старт
Изучите основы JavaScript на практическом примере по созданию веб-приложения
Узнать подробнееМюллер отметил, чтобы проблемы со сканированием часто возникают на тех ресурсах, страницы которых содержат уникальный, но во многом схожий контент. Или если структура URL сайта является проблемной.
Источник: https://www.seroundtable.com/
Редакция: Команда webformyself.
Хотите узнать, что необходимо для создания сайта?
Посмотрите видео и узнайте пошаговый план по созданию сайта с нуля!
Смотреть видео
