От автора: представитель Google пояснил, что такое скорость сканирования, краулинговый спрос и краулинговый бюджет. А также рассказал о факторах, влияющих на него.
Аналитик отдела, отвечающего за качественный показатель поискового сервиса Google, Гэри Илш пояснил основные понятия, касающиеся краулингового бюджета. Публикация, посвященная этой теме, размещена на официальном ресурсе Google для вебмастеров.
Илш отметил, что краулинговый бюджет важен только для крупных или динамически создаваемых ресурсов. С его помощью сайты могут расставить приоритеты над тем, сколько веб-страниц нужно сканировать, установить сроки сканирования. А также, какой лимит мощностей может предоставить сервер на этот процесс.
Возможность влияния на скорость сканирования реализована для того, чтобы вебмастер мог снизить интенсивность обработки страниц ресурса поисковым роботом и таким образом уменьшить потребление серверных мощностей.
Под краулинговым спросом понимается то количество веб-страниц сайта, которое готов просканировать поисковик. Данный показатель формируется на основе востребованности страниц ресурса пользователями и актуальности публикуемого контента относительно других проиндексированных в Google ресурсов.

JavaScript. Быстрый старт
Изучите основы JavaScript на практическом примере по созданию веб-приложения
Узнать подробнееКраулинговый бюджет – это то количество URL, которое готов и может проанализировать поисковый робот Google.
Гэри Илш пояснил, что наличие на сайте большого объема «низкосортных» страниц негативно влияет на показатели анализа и индексирования. Под такими страницами Google понимает:
Содержащие низкокачественный и спамный контент.
Дубликаты страниц.
Возвращающие «Soft 404».
Взломанные веб-страницы.
Использующие идентификаторы сессий и наличие фасетной навигации.
Источник: //webmasters.googleblog.com/
Редакция: Команда webformyself.

JavaScript. Быстрый старт
Изучите основы JavaScript на практическом примере по созданию веб-приложения
Узнать подробнее
Хотите узнать, что необходимо для создания сайта?
Посмотрите видео и узнайте пошаговый план по созданию сайта с нуля!
Смотреть видео