От автора: частое сканирование сайта поисковым ботом может быть связано с проблемами в структуре URL-адресов. А также с тем, что ресурс состоит из страниц, содержащих уникальный, но похожий контент. Об это рассказал представитель поиска Google.
Недавно на форуме поддержки поисковой системы обсуждался вопрос, связанный с изменением скорости прохождения краулером Google множества поддоменов за раз. Один из вебмастеров обратился в Google Webmaster Central Help с просьбой помочь решить эту проблему.
Он пояснил, что его сайт состоит из тысячи различных поддоменов, работающих на одной группе серверов. Ежедневно поисковый робот Google делает более 8 млн. проходов по сайту, что негативно сказывается на производительности ресурса.
Чтобы уменьшить нагрузку на систему, вебмастеру необходимо изменять настройки каждого из тысячи поддоменов. И повторять эту процедуру спустя з месяца.
Джон Мюллер посоветовал для решения этого вопроса отправить запрос команде, которая отвечает в Google за сканирование содержимого сайтов. Кроме этого можно осуществить настройку сервера, чтобы он возвращал поисковому роботу ошибку 503. А также проверить, какие URL-адреса сканирует краулер.
Мюллер отметил, чтобы проблемы со сканированием часто возникают на тех ресурсах, страницы которых содержат уникальный, но во многом схожий контент. Или если структура URL сайта является проблемной.
Источник: //www.seroundtable.com/
Редакция: Команда webformyself.
