Что такое краулинговый бюджет, и каким ресурсам стоит о нем беспокоиться

От автора: представитель Google пояснил, что такое скорость сканирования, краулинговый спрос и краулинговый бюджет. А также рассказал о факторах, влияющих на него.

Аналитик отдела, отвечающего за качественный показатель поискового сервиса Google, Гэри Илш пояснил основные понятия, касающиеся краулингового бюджета. Публикация, посвященная этой теме, размещена на официальном ресурсе Google для вебмастеров.

Илш отметил, что краулинговый бюджет важен только для крупных или динамически создаваемых ресурсов. С его помощью сайты могут расставить приоритеты над тем, сколько веб-страниц нужно сканировать, установить сроки сканирования. А также, какой лимит мощностей может предоставить сервер на этот процесс.

Возможность влияния на скорость сканирования реализована для того, чтобы вебмастер мог снизить интенсивность обработки страниц ресурса поисковым роботом и таким образом уменьшить потребление серверных мощностей.

Под краулинговым спросом понимается то количество веб-страниц сайта, которое готов просканировать поисковик. Данный показатель формируется на основе востребованности страниц ресурса пользователями и актуальности публикуемого контента относительно других проиндексированных в Google ресурсов.

Краулинговый бюджет – это то количество URL, которое готов и может проанализировать поисковый робот Google.

Гэри Илш пояснил, что наличие на сайте большого объема «низкосортных» страниц негативно влияет на показатели анализа и индексирования. Под такими страницами Google понимает:

Источник: //webmasters.googleblog.com/

Редакция: Команда webformyself.

Комментарии Вконтакте: