От автора: Google не использует в качестве пользовательских агентов решения, созданные с помощью фреймворка Apache Nutch. Это подтвердил Джон Мюллер.
Зарубежный SEO-специалист Бритни Мюллер заметила в журнале сканирования своего сайта нового агента пользовательского агента (Googlebot/Nutch-1.7). После чего спросила у Джона Мюллера в Twitter, принадлежит ли он Google?
Представитель поисковика ответил, что GoogleBot не применяет для сканирования решения, созданные с помощью модульного фреймворка. Поэтому указанный Бритни бот является фейковым и его нужно заблокировать.
Apache Nutch – специализированный фреймворк, написанный на Java. Используется для построения поисковых систем.
Источник: //www.seroundtable.com
JavaScript. Быстрый старт
Изучите основы JavaScript на практическом примере по созданию веб-приложения
Узнать подробнее
Хотите узнать, что необходимо для создания сайта?
Посмотрите видео и узнайте пошаговый план по созданию сайта с нуля!
Смотреть
