Этот сайт может зарабатывать партнерские комиссии по ссылкам на этой странице. Условия эксплуатации. 
Теперь, когда почти каждое возможное мобильное устройство и устройство либо приняли, либо, по крайней мере, экспериментировали с голосовым управлением, диалоговый ИИ быстро становится новой границей. Вместо того, чтобы обрабатывать один запрос и предоставлять один ответ или действие, диалоговый ИИ стремится предоставить интерактивную систему в реальном времени, которая может охватывать несколько вопросов, ответов и комментариев. В то время как основные строительные блоки диалогового ИИ, такие как BERT и RoBERTa для языкового моделирования, аналогичны тем, которые используются для распознавания речи одним выстрелом, концепция поставляется с дополнительными требованиями к производительности для обучения, логического вывода и размера модели. Сегодня Nvidia выпустила три технологии с открытым исходным кодом, предназначенные для решения этих проблем.
Ускоренное обучение BERT
Хотя во многих случаях можно использовать предварительно обученную языковую модель для новых задач с некоторой настройкой, для оптимальной работы в конкретном контексте необходима повторная подготовка. Nvidia продемонстрировала, что теперь она может обучать BERT (модель эталонного языка Google) менее чем за час на DGX SuperPOD, состоящем из 1472 графических процессоров Tesla V100-SXM3-32GB, 92 серверов DGX-2H и 10 Mellanox Infiniband на узел. Нет, я не хочу даже пытаться оценить стоимость почасовой аренды для одного из них. Но поскольку таким моделям, как правило, требуются дни для обучения даже на высокопроизводительных кластерах графических процессоров, это, безусловно, поможет вовремя выйти на рынок для компаний, которые могут позволить себе такую стоимость.
Ускорение языковой модели
Для естественных разговоров отраслевой стандарт – время отклика 10 мс. Понимание запроса и получение предложенного ответа – это только одна часть процесса, поэтому для его выполнения требуется менее 10 мс. Оптимизируя BERT с помощью TensorRT 5.1, Nvidia получает его за 2,2 мс на Nvidia T4. Что круто, так это то, что T4 на самом деле доступен практически любому серьезному проекту. Я использовал их в Google Compute Cloud для моей системы генерации текста. Виртуальный сервер 4-vCPU с T4 арендовал чуть более $ 1 / час, когда я делал проект.
Поддержка даже более крупных моделей
Одним из ахиллесовых пяток нейронных сетей является требование, чтобы все параметры модели (включая большое количество весов) были одновременно сохранены в памяти. Это ограничивает сложность модели, которую можно обучить на графическом процессоре, размером ее оперативной памяти. В моем случае, например, мой рабочий стол Nvidia GTX 1080
можно тренировать только те модели, которые умещаются в его 8GB Я могу тренировать большие модели на моем процессоре, который имеет больше оперативной памяти, но это занимает намного больше времени. Например, полная языковая модель GPT-2 имеет 1,5 миллиарда параметров, а расширенная версия – 8,3 миллиарда.
Тем не менее, Nvidia разработала способ, позволяющий нескольким графическим процессорам параллельно работать над задачей моделирования языка. Как и в других сегодняшних анонсах, они сделали код открытым, чтобы это произошло. Мне будет очень любопытно, если этот метод специфичен для языковых моделей или может применяться для обучения нескольких графических процессоров для других классов нейронных сетей.
Наряду с этими разработками и выпуском кода для GitHub, Nvidia объявила, что будет сотрудничать с Microsoft для улучшения результатов поиска Bing, а также с Clinc для голосовых агентов, Passage AI для чат-ботов и RecordSure для диалоговой аналитики.
Теперь прочитайте:
