Яндекс: Пустая Allow не является запретом для роботов

Яндекс: Пустая Allow не является запретом для роботов

От автора: Яндекс анонсировал изменения в алгоритме анализа файла robots.txt. Теперь поисковые краулеры не будут распознавать директиву Allow с незаданным значением как запрет. Об этом сообщается на блоге компании для вебмастеров.

Представители отечественного поисковика сообщили об изменениях анализа содержимого robots.txt. Теперь роботы не будут воспринимать пустую Allow как запрещающий фактор.

В опубликованном материале отмечается, что часто поисковые краулеры не могут проиндексировать содержимое сайта из-за ошибочно установленного запрета в файле robots.txt. Иногда эта связано с неправильным написанием Allow.

Ранее пустая директива воспринималась роботами как запрещающий фактор для анализа ресурса. Из-за чего такие сайты не могли попасть в поисковую выдачу. При этом для установки явного запрета на прохождение ресурса вебмастера чаще используют запрещающую команду.

Учитывая сложившуюся ситуацию, теперь пустая Allow не будет восприниматься поисковыми краулерами как запрещающий фактор. Согласно новым правилам, для явного запрета прохождения роботами ресурса в robots.txt следует использовать директиву Disallow.

Источник: //yandex.ru/

Редакция: Команда webformyself.

Метки:

Похожие статьи:

Комментарии Вконтакте: