От автора: стало известно, что файл Sitemap может индексироваться в Google по обычным пользовательским запросам. Но это является признаком наличия у сайта проблем с SEO.
В ходе дискуссии в Twitter выяснилось, что robots.txt может ранжироваться в Google. В своем твите Гэри Илш отметил, что поисковик воспринимает данный файл просто как URL, по которому находится доступный для индексации контент.
Затем к обсуждению подключился еще один представитель поисковой системы. Джон Мюллер подчеркнул, что для запрета индексации файлов robots.txt и Sitemap следует использовать HTTP-заголовок X-Robots-Tag. А также директиву Disallow.
Также Мюллер добавил, что индексация этих файлов по обычным запросам (без оператора :site) говорит о наличии у площадки больших проблем с SEO-оптимизацией.
Файл карты сайта не должен индексироваться и участвовать в ранжировании. Так как Sitemap предназначен, прежде всего, для использования веб-приложениями.
Источник: //www.seroundtable.com
