От автора: частое сканирование сайта поисковым ботом может быть связано с проблемами в структуре URL-адресов. А также с тем, что ресурс состоит из страниц, содержащих уникальный, но похожий контент. Об это рассказал представитель поиска Google.
Недавно на форуме поддержки поисковой системы обсуждался вопрос, связанный с изменением скорости прохождения краулером Google множества поддоменов за раз. Один из вебмастеров обратился в Google Webmaster Central Help с просьбой помочь решить эту проблему.
Он пояснил, что его сайт состоит из тысячи различных поддоменов, работающих на одной группе серверов. Ежедневно поисковый робот Google делает более 8 млн. проходов по сайту, что негативно сказывается на производительности ресурса.
Чтобы уменьшить нагрузку на систему, вебмастеру необходимо изменять настройки каждого из тысячи поддоменов. И повторять эту процедуру спустя з месяца.
Джон Мюллер посоветовал для решения этого вопроса отправить запрос команде, которая отвечает в Google за сканирование содержимого сайтов. Кроме этого можно осуществить настройку сервера, чтобы он возвращал поисковому роботу ошибку 503. А также проверить, какие URL-адреса сканирует краулер.
Профессия Frontend-разработчик PRO
Готовим Frontend-разработчиков с нуля
На курсе вы научитесь создавать интерфейсы веб-сервисов с помощью языков программирования и дополнительных технологий. Сможете разрабатывать планировщики задач, мессенджеры, интернет-магазины…
Мюллер отметил, чтобы проблемы со сканированием часто возникают на тех ресурсах, страницы которых содержат уникальный, но во многом схожий контент. Или если структура URL сайта является проблемной.
Источник: //www.seroundtable.com/
Редакция: Команда webformyself.
