Глупый способ блокировки индексации и сканирования страниц сайта

Глупый способ блокировки индексации и сканирования страниц сайта

От автора: повторная блокировка и разблокировка страниц для индексирования не всегда оправдана. Особенно если это делается для того, чтобы GoogleBot увидел при сканировании noindex.

Сотрудник Гэри Илш назвал «глупой» одну из практик, которую часто используют вебмастера. Речь идет о ситуации, когда страницы сайта сначала блокируются для сканирования и индексация с помощью директив файла robot.txt. После чего на время эта блокировка снимается только для того, чтобы поисковый робот смог просканировать страницы и учесть атрибуты noindex.

Илш отметил, что данный механизм является тупиковым. Поскольку после перечисленных выше действий вебмастер получает тот же результат, что и вначале: заблокированные для индексирования и проходов GoogleBot страницы сайта.

Источник: www.seroundtable.com

JavaScript. Быстрый старт

Изучите основы JavaScript на практическом примере по созданию веб-приложения

Узнать подробнее

Хотите узнать, что необходимо для создания сайта?

Посмотрите видео и узнайте пошаговый план по созданию сайта с нуля!

Смотреть

Метки:

Похожие статьи:

Комментарии Вконтакте:

Комментарии запрещены.