Серверная аутентификация – лучший способ блокировки сканирования сайта

Google представил новые средства для управления поисковыми сниппетами

От автора: представитель Google рассказал, как поисковому роботу блокировать доступ к тестовой версии сайта. Лучше всего для этого подходит аутентификация на стороне сервера.

Общаясь с вебмастерами, Джон Мюллер рассказал, как лучше всего блокировать доступ GoogleBot к тестовой версии сайта. Он отметил, что это можно реализовать несколькими способами. Традиционно для этого используется файл robot. txt, через директивы которого краулеру запрещается сканирование.

Но лучше всего для этого применять аутентификацию на стороне сервера, где размещается тестируемая площадка. Идентификацию можно осуществлять на основе IP-адресов, cookies. А также обычной авторизации.

Также Мюллер отметил, что использование блокировки файла robot.txt не столь эффективно. Поскольку GoogleBot может попадать на тестовый сайт через внешние страницы, ссылающиеся на него.

Источник: https://www.searchengines.ru

JavaScript. Быстрый старт

Изучите основы JavaScript на практическом примере по созданию веб-приложения

Узнать подробнее

Безопасность и защита сайта от угроз и взлома

Прямо сейчас посмотрите видео

Смотреть

Метки:

Похожие статьи:

Комментарии Вконтакте:

Комментарии Facebook:

Добавить комментарий