От автора: Facebook выложил в публичный доступ программные исходники своего «самообучающегося» инструмента fastText, который служит для распознавания и категоризации текстовых данных. Код средства размещен на платформе GitHub.
Зарубежная социалка выложила в открытый доступ исходники fastText. Как сообщается в описании инструмента, он представляет собой самообучающееся средства для анализа текста и категоризации предложений по множеству заданных параметров.
fastText может использоваться для обработки текстового контента на нескольких языках: английском, чешском, французском, испанском и немецком. Отмечается, что эта библиотека отличается от существующих аналогов (в том числе и построенных на основе нейронных сетей) более высокой скоростью обучения и анализа входящих данных.
Для обработки больших массивов поступающей информации и ее категоризации по множеству параметров fastText использует вместо традиционной (плоской) структуры идентификацию на основе иерархии. С ее помощью все обработанные данные располагаются в виде древовидной структуры, отражающей взаимосвязь каждого из элемента множества. Вот несколько «скоростных» показателей fastText:
За 10 мин инструмент способен обработать более чем 10 млрд. слов.
Для категоризации 500 тыс. предложений по 300 тыс. параметров fastText потребуется 5 мин.
Источник: https://techcrunch.com/
Редакция: Команда webformyself.
Хотите узнать, что необходимо для создания сайта?
Посмотрите 3-х минутное видео и у Вас будет четкий пошаговый план по созданию сайта с нуля!
Смотреть видео
