Яндекс: Пустая Allow не является запретом для роботов

Яндекс: Пустая Allow не является запретом для роботов

От автора: Яндекс анонсировал изменения в алгоритме анализа файла robots.txt. Теперь поисковые краулеры не будут распознавать директиву Allow с незаданным значением как запрет. Об этом сообщается на блоге компании для вебмастеров.

Представители отечественного поисковика сообщили об изменениях анализа содержимого robots.txt. Теперь роботы не будут воспринимать пустую Allow как запрещающий фактор.

В опубликованном материале отмечается, что часто поисковые краулеры не могут проиндексировать содержимое сайта из-за ошибочно установленного запрета в файле robots.txt. Иногда эта связано с неправильным написанием Allow.

Ранее пустая директива воспринималась роботами как запрещающий фактор для анализа ресурса. Из-за чего такие сайты не могли попасть в поисковую выдачу. При этом для установки явного запрета на прохождение ресурса вебмастера чаще используют запрещающую команду.

Учитывая сложившуюся ситуацию, теперь пустая Allow не будет восприниматься поисковыми краулерами как запрещающий фактор. Согласно новым правилам, для явного запрета прохождения роботами ресурса в robots.txt следует использовать директиву Disallow.

Источник: https://yandex.ru/

Редакция: Команда webformyself.

Хотите узнать, что необходимо для создания сайта?

Посмотрите 3-х минутное видео и у Вас будет четкий пошаговый план по созданию сайта с нуля!

Смотреть видео

Метки:

Комментарии Вконтакте:

Комментарии Facebook:

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Я не робот.

Spam Protection by WP-SpamFree