Facebook В разработке технологии единого кодировщика для перевода 93 языков

Facebook исследователи недавно опубликовали статью, основанную на Швенке (2018a), в которой предлагается архитектура для обучения совместному многоязычному представлению предложений на 93 языках с использованием одного кодера BiLSTM и словаря BPE, общего для всех языков. Были и другие исследования в этой области. Тем не менее, все они несколько ограничены с точки зрения производительности, прежде всего потому, что работают над отдельной моделью для каждого языка и перекрестная связь между разными языками запрещена.

Facebook Исследователи заинтересованы в представлении векторов предложений, общих как для входного языка, так и для задач НЛП. Цель этого исследования — помочь языкам с ограниченными ресурсами, добиться нулевой миграции моделей НЛП и реализовать преобразование кода. Что отличает это исследование от любых других НЛП, так это то, что оно направлено на изучение представления совместных предложений на 93 различных языках. Напротив, обычное НЛП фокусируется максимум на двух языках.

Исследование охватывает огромное количество 34 языков и 28 различных систем письменности. Эта титаническая задача решается за счет использования нулевого межъязыкового вывода на естественном языке (наборы данных XNLI), классификации (наборы данных MLDoc), интеллектуального анализа битов (наборы данных BUCC) и многоязычного поиска сходства (наборы данных Tatoeba). Новые данные, полученные в результате исследования на базе Tatoeba Corpus, служат базовыми результатами для 122 языков.

Архитектура исследования работает по принципу кодирования-декодирования. После внедрения предложения оно линейно преобразуется для инициализации декодера LSTM. В системе есть только один кодер и декодер, и исследователи использовали совместный словарь кодирования пар байтов, который позволит кодировщику изучать представления, независимые от языка. Кодировщик ограничен 1–5 уровнями, а каждый уровень каждого измерения ограничен 512 измерениями. Декодер генерирует значение, используя идентификатор языка, и имеет 2048-мерный слой.

Для предварительной обработки используется статистическая система машинного перевода Моисея, за исключением китайских и японских текстов, для разделения которых используются Jieba и Mecab соответственно.