От автора: GoogleBot получил обновленную версию браузерного движка, который используется в пользовательском агенте поискового краулера. Это произошло через десять дней после выхода нового Chrome.
В конце октября Google выпустил 78 версию Chrome. Спустя примерно десять дней поисковый краулер обновил свой пользовательский агент до этой версии браузерного движка. Но, похоже, что это вызвало определенные технические проблемы.
Зарубежный SEO-эксперт Бастиан Гримм поделился своими наблюдениями. Он отметил, что после перехода на новый движок пользовательский агент краулера не присоединяет токены заголовка аутентификации, переданные через метод POST. Из-за этого происходит неправильная индексация контента. Для решения данной проблемы нужно отключить на сайте CRF-защиту. После чего GoogleBot начинает правильно анализировать содержимое площадки.
Источник: //www.seroundtable.com