От автора: представитель Google признал тот факт, что поисковик индексирует не все веб-страницы, перечисленные в файле Sitemap.
Общаясь с вебмастерами во время последней видеовстречи, представитель Google признался, что поисковая система индексирует не все веб-страницы, перечисленные в Sitemap. Джон Мюллер пояснил, что такое «поведение» Google позволяет поисковику сосредоточиться именно на важных разделах сайтов.
Джон подчеркнул, что многие веб-страницы содержат спам или низкокачественный контент. Кроме этого некоторые из них выполняют служебные (вспомогательные) функции.
В конце Мюллер подытожил, что проиндексировать весь интернет (все веб-страницы) практически невозможно. К тому же реализовать это было бы нецелесообразно и ресурсозатратно.
Источник: //www.seroundtable.com