fastText от Facebook – новый open-source инструмент для анализа текста

fastText от Facebook – новый open-source инструмент для анализа текста

От автора: Facebook выложил в публичный доступ программные исходники своего «самообучающегося» инструмента fastText, который служит для распознавания и категоризации текстовых данных. Код средства размещен на платформе GitHub.

Зарубежная социалка выложила в открытый доступ исходники fastText. Как сообщается в описании инструмента, он представляет собой самообучающееся средства для анализа текста и категоризации предложений по множеству заданных параметров.

fastText может использоваться для обработки текстового контента на нескольких языках: английском, чешском, французском, испанском и немецком. Отмечается, что эта библиотека отличается от существующих аналогов (в том числе и построенных на основе нейронных сетей) более высокой скоростью обучения и анализа входящих данных.

Для обработки больших массивов поступающей информации и ее категоризации по множеству параметров fastText использует вместо традиционной (плоской) структуры идентификацию на основе иерархии. С ее помощью все обработанные данные располагаются в виде древовидной структуры, отражающей взаимосвязь каждого из элемента множества. Вот несколько «скоростных» показателей fastText:

За 10 мин инструмент способен обработать более чем 10 млрд. слов.

Для категоризации 500 тыс. предложений по 300 тыс. параметров fastText потребуется 5 мин.

Источник: https://techcrunch.com/

Редакция: Команда webformyself.

Хотите узнать, что необходимо для создания сайта?

Посмотрите 3-х минутное видео и у Вас будет четкий пошаговый план по созданию сайта с нуля!

Смотреть видео

Метки:

Комментарии Вконтакте:

Комментарии Facebook:

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Я не робот.

Spam Protection by WP-SpamFree