Исходники парсера файлов robots.txt оказались в свободном доступе

Исходники парсера файлов robots.txt оказались в свободном доступе

От автора: Google выложил в открытый доступ исходники анализатора файлов robots.txt. Это второй шаг компании по переводу REP в статус официального международного стандарта.

Поисковик опубликовал на GitHub программные исходники парсера файлов robots.txt. В их состав входят библиотеки анализатора, написанные на C++. Они используются для парсинга и идентификации правил, указанных в robots.txt.

В посте, размещенном в Webmaster Central Blog, отмечается, что основной код библиотек парсера был написан больше двадцати лет назад. Но остальная часть исходников неоднократно модифицировалась. Все эти изменения также были добавлены в версию парсера, которую Google предоставил IETF для присвоения ему статуса интернет-стандарта.

В исходниках на GitHub также имеется специальный инструмент для тестирования. С его помощью веб-разработчики могут поэкспериментировать с различными настройками парсера.

Источник: https://webmasters.googleblog.com

JavaScript. Быстрый старт

Изучите основы JavaScript на практическом примере по созданию веб-приложения

Узнать подробнее

Хотите изучить регулярные выражения на PHP?

Посмотрите 12-ти часовой видео курс по регулярным выражениям на PHP!

Смотреть

Метки:

Похожие статьи:

Комментарии Вконтакте:

Комментарии Facebook:

Добавить комментарий