Почему сайт не индексируется в Яндексе?

От автора: вы пишете полезный и интересный контент. А может быть неполезный и неинтересный – это ваше дело. Но почему сайт не индексируется в яндексе на протяжении долгого времени? Давайте рассмотрим все основные причина.

Посмотрите на эту картинку. Да наверняка вы ее уже не раз видели. Действительно в яндексе может найтись все. Но то, что не проиндексировано, никогда не найдется, потому что поисковик просто не знает о нем. А раз так, то вопрос индексации является очень важным для любого веб-мастера, владельца сайта и оптимизатора. Сегодня я напишу как минимум о нескольких причинах, почему у вас могут быть проблемы с индексацией.

Первая и наиболее вероятная причина – возраст сайта

Дело в том, что большинство веб-мастеров, которых заботит вопрос быстрой индексации – владельцы молодых сайтов. Я уверен в этом потому, что сам развивал два сайта с нуля с первых же дней их существования. Нужно понимать, что Яндекс относится к только что вылупившимся на свет сайтам с недоверием, и в этом его нельзя упрекнуть – уж больно много появилось ГС.

Итак, чем моложе ваш сайт, тем меньше шанс быстрой индексации страниц сайта. Как правило, более менее быстро можно загнать в индекс главную страницу, так как у нее наивысший приоритет, а вот остальные в любом случае не так быстро попадут в индекс.

Если вы хотите проиндексировать хотя бы главную страницу, добавьте сайт в Яндекс.Вебмастер, если вы еще не сделали этого. Также добавьте url проекта в addurl (Сообщить о новом сайте). После подтверждения прав на сайт я также рекомендую сразу сделать следующее:

Это то, что прямым или косвенным образом повлияет на скорость индексации. Если вы сделали все это, вам остается только ждать индексации, добавляя все новые url-адреса проекта с помощью того же addurl.

Хорошо, возможно, вы все это сделали и все равно не можете дождаться индексации. Неужели никак нельзя ускорить процесс? Тут нужно понимать, что многое от вас самих не зависит. Яндекс по умолчанию индексирует намного медленнее, чем Google. Тем более молодые сайты. Обычно в течение 1-3 недель новые страницы молодых сайтов появляются в индексе. Считайте этот временной отрезок вполне нормальным.

Я лишь хочу донести до вас, что если причина медленной индексации в возрасте сайта, то не стоит особо беспокоиться. Со временем ваш проект вырастет и из младенца превратится в рядовой интернет-ресурс, хорошо известный поисковикам. Тогда и настанет время, когда новые материалы будут влетать в индекс быстро, в течении нескольких дней.

Такую ситуацию я заметил на двух молодых сайтах, которые продвигал. Когда возраст сайта перевалил за 6 месяцев, скорость входа новой статьи в индекс увеличилась. По заявлениям самого яндекса, максимально долгий срок индексации – 2 недели. Если они прошли и в индексе ничего нет, значит, могут быть другие проблемы или ошибки. Конечно, 2 недели не стоит ждать, а лучше все проверить как только сможете. Далее я рассмотрю наиболее частые ошибки и факторы, из-за которых сайт или отдельные его страницы могут не попасть в индекс.

Запрет на индексирование в robots.txt

Это важный и полезный файл, но в нем могут быть ошибки, если вы прописывали инструкции сами, либо взяли на первом попавшемся сайте. Самое главное, чтобы не было такой команды: Disallow: /

Также проверьте, какие конкретные команды даются для бота Яндекса (user-agent: Yandex). Едва ли проблема именно в этом файле, но глупо будет его не проверить.

Использование мета-тега robots

К слову, в самом robots.txt вы можете не найти никаких опасных команд, которые закрывали бы обход к сайту и его конкретной странице. Но ведь помимо этого есть еще мета-тег robots, с помощью которого можно закрыть конкретную страницу от индексации, а также ссылки на ней.

Например, такой кусок кода явно свидетельствует о том, что страница будет закрыта. Проверьте, нет ли его у вас где-нибудь в шапке. Если вы хотите закрыть все ссылки, но открыть текст (тогда страница будет проиндексирована), используйте параметры index, nofollow, а если нужно открыть все – index, follow.

Запрет на индексирование в настройках движка

Насколько я помню, перед установкой wordpress можно отметить галочкой опцию, чтобы не индексировать сайт в поисковых системах. Это может быть полезно первое время на молодых сайтах, которые находятся в разработке, чтобы всякие тестовые страницы не попадали в индекс. Возможно, вы установили эту галочку случайно во время установки или позже из настроек. В таком случае просто снимите ее.

Неправильное использование тега noindex

Тег noindex – полезный, но опасный тег при его неправильном использовании. Он позволяет закрыть текст от индексации. То есть текст, помещенный в него, восприниматься поисковиком не будет. Соответственно, если вы случайно обернете всю статью в noindex, она не проиндексируется, так как нечего индексировать (все закрыто).

Едва ли вы можете допустить такую ошибку, но тег закрасться в сами файлы шаблона. Возможно, он у вас где-нибудь в header.php открывается, а потом нигде не закрывается. Получается забавная ситуация, что все закрыто. Иными словами, проверьте код своего сайта. На самом деле необязательно быть программистом и верстальщиком для этого.

Вы можете использовать программу вроде Архивариус для быстрого поиска по многим файлам (введите noindex), либо воспользоваться стандартным поиском по файлу. Также может помочь отладчик (F12 в Google Chrome), но это уже больше для разработчиков. Дополнительно вы можете проверить каждую конкретную страницу. Не случилось ли такого, что с помощью noindex вы хотели закрыть какой-то неуникальный фрагмент текста, но не закрыли тег в нужном месте?

Фильтры от поисковых систем

В данном случае нас интересуют фильтры от Яндекса. Хотя вы должны понимать, что они есть и у Google и они же могут быть причиной того, что ваш сайт и в этом поисковике не попадает в индекс.

В частности, у всех молодых сайтов есть фильтр песочница (sand-box). Это не проблема, это нормально. Как маленькие детки играют в песочнице, так молодые и зеленые интернет-проекты тоже туда попадают. Нет, обходить весь город в поисках своего сайта не нужно, просто знайте, что скорость индексации у молодых сайтов ниже. Об этом я уже говорил выше.

Но песочница – это временная мера поисковика. И вообще это не страшный фильтр, потому что он накладывается на всех. Другое дело, это санкции за использование недобросовестных приемов при продвижении сайта. Чаще всего это скрытый или явный спам ключевыми словами в тексте, а также в мета тегах. Иными словами, играйте по правилам поисковых систем, и подобных проблем у вас не возникнет.

Плохая история домена

Этот пункт актуален для тех, кто купил домен и начал на нем развитие своего нового проекта, либо для тех, кто зарегистрировал покинутый прежним владельцем домен.

Конечно, перед покупкой любого домена я рекомендую вам проанализировать его. Частично это можно сделать с помощью таких сервисов, как ВебАрхив (снимки сайта) и linkpad.ru (анализ ссылочной массы). По снимкам вы можете определить, какой тематики был сайт и что за контент на нем был. По ссылочной массе можно также примерно понять тематику. Проверяйте также домен на наличие у него фильтров поисковых систем.

В общем, такой небольшой анализ убережет вас от покупки домена с плохой историей. Если вы все же приобрели такой, возможно, с помощью запросов в тех. поддержку со временем репутацию удастся восстановить. Но лучше уже начинать с нуля, чем так.

Язык сайта

Вы должны понимать, что в первую очередь Яндекс ориентирован на страны СНГ. Если вы хотите, чтобы индексировались страницы английских, немецких и другие иностранных сайтов, то это вполне возможно, но только при условии качественного контента. Для иностранных сайтов есть Google и много других поисковиков, так что в первую очередь вам туда.

Процент уникальности ваших текстов

Есть еще одна веская причина, почему ваш сайт может не индексироваться Яндексом. Эта причина – неуникальный контент. Например, скопировали вы текст с другого источника и вставили себе, никак не изменив. Практика показывает, что Яндекс может вообще не проиндексировать полностью неуникальный контент и может долго не обращать внимание на страницы, уникальность которых менее 50%. Лучше иметь уникальность от 90%.

Чтобы лучше понимать, почему у неуникального контента гораздо меньше шансов на успешную индексацию, вы должны примерно понимать алгоритм, по которому новые страницы попадают в индекс. В частности, перед попаданием роботом проводится некий анализ контента и если он оказывается низкого качества, страница просто может не попасть в индекс. Чтобы она все-таки попала, необходимо улучшить качество текста.

Ошибки сервера

Это последняя причина, которую мы рассмотрим. Она чисто технического характера. В частности, одним из показателей качества и надежности вашего ресурса является то, что он постоянно доступен в сети 24 часа в сутки, каждый день. Конечно, мелкие сбои могут быть и это нормально. Но когда ваш сайт выключается на несколько часов (или, еще хуже, дней), то поисковый робот, придя на новые страницы, просто не сможет их открыть и вынужден будет уйти.

Таким образом, могут даже выпасть из индекса те страницы, которые уже там были. Как не допустить всего этого? Прежде всего, выбирать хорошего хостера и более менее нормальный тариф. Экономить на своем сайте не стоит. Лучше платите 300-500 рублей в месяц, чем 50.

Также если вы покупаете тарифы VPS/VDS, то вам, скорее всего, придется самостоятельно настраивать сервер. В частности, выбирать OC виртуальной машины, ставить какие-нибудь утилиты и т.д. Если вы вообще полный ноль в серверной настройке, лучше пока не покупать VDS или выбирать тариф, где вам гарантируется тех. поддержка от провайдера.

В частности, к серверным ошибкам относятся все с кодом 4**, 5** (трехзначные с четверкой и пятеркой в начале). Например, из-за отсутствия оптимизации работы баз данных может возникать ошибка. Особенно, если по сайту гуляют десятки и сотни людей, а ресурсов у вас немного.

Итог

Что ж, мы рассмотрели все основные причины. Теперь вы знаете что делать, когда сайт не индексируется в Яндексе. Если вами проверено абсолютно все и не найдено никаких ошибок и проблем, значит, нужно просто ждать. Как я уже говорил, Яндекс индексирует не так быстро, как Google. Скорость захода в индекс колеблется от 1 дня до 3 недель.

Ну а другие фишки не только по индексации, но и в общем по продвижению и раскрутке блога, вы можете найти в этом курсе. Поверьте, этих фишек достаточно много, так что уже завтра (если вдруг начнете изучать курс) вы будете в шоке от того, как много вещей вы не знали!

Но знание спасает нас от неприятностей при продвижении сайта. А раз так, читайтe Webformyself, подписывайтесь на нас там, где вам удобно, и до скорых встреч!

Комментарии Вконтакте: