От автора: частое сканирование сайта поисковым ботом может быть связано с проблемами в структуре URL-адресов. А также с тем, что ресурс состоит из страниц, содержащих уникальный, но похожий контент. Об это рассказал представитель поиска Google.
Недавно на форуме поддержки поисковой системы обсуждался вопрос, связанный с изменением скорости прохождения краулером Google множества поддоменов за раз. Один из вебмастеров обратился в Google Webmaster Central Help с просьбой помочь решить эту проблему.
Он пояснил, что его сайт состоит из тысячи различных поддоменов, работающих на одной группе серверов. Ежедневно поисковый робот Google делает более 8 млн. проходов по сайту, что негативно сказывается на производительности ресурса.
Чтобы уменьшить нагрузку на систему, вебмастеру необходимо изменять настройки каждого из тысячи поддоменов. И повторять эту процедуру спустя з месяца.
Джон Мюллер посоветовал для решения этого вопроса отправить запрос команде, которая отвечает в Google за сканирование содержимого сайтов. Кроме этого можно осуществить настройку сервера, чтобы он возвращал поисковому роботу ошибку 503. А также проверить, какие URL-адреса сканирует краулер.
Современные тенденции и подходы в веб-разработке
Узнайте алгоритм быстрого профессионального роста с нуля в сайтостроении
Узнать подробнееМюллер отметил, чтобы проблемы со сканированием часто возникают на тех ресурсах, страницы которых содержат уникальный, но во многом схожий контент. Или если структура URL сайта является проблемной.
Источник: https://www.seroundtable.com/
Редакция: Команда webformyself.
Современные тенденции веб-разработки
За ближайшие 5 дней мы составим ваш пошаговый алгоритм профессионального роста с нуля в сайтостроении...
Получить
