Почему Google индексирует страницы, указанные в файле robots.txt

Почему Google индексирует страницы, указанные в файле robots.txt

От автора: Google может проиндексировать веб-страницу, даже если она заблокирована в файле robots.txt. Об этом рассказал представитель поисковой системы Джон Мюллер.

Инженер Google, отвечая на вопрос, заданный вебмастером в Twitter, разъяснил, что поисковый робот умеет индексировать даже те страницы, которые заблокированы в robots.txt. При этом Googlebot четко придерживается установленных в данном файле ограничений и не сканирует содержимое заблокированных разделов.

Первоначально вебмастер попросил пояснить Мюллера, почему в поисковой выдаче отображаются адреса и заголовки страниц ресурса, сканирование которого полностью запрещено в robots.txt. На что Джон ответил, что URL могут индексироваться даже в том случае, если они внесены в этот файл. Для представления заблокированных страниц поисковик использует ссылки. Из них Google формирует заголовки для выдачи.

Другой эксперт отрасли Барри Адамс, участвующий в обсуждении, добавил, что для запрета индексации следует использовать другие средства. Например, заголовки X-Robots-Tag.

Источник: https://www.searchengines.ru

JavaScript. Быстрый старт

Изучите основы JavaScript на практическом примере по созданию веб-приложения

Узнать подробнее

JavaScript. Быстрый старт

Изучите основы JavaScript на практическом примере по созданию веб-приложения

Получить

Метки:

Похожие статьи:

Комментарии Вконтакте:

Комментарии Facebook:

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">

Я не робот.

Spam Protection by WP-SpamFree