Наш суперкомпьютер с искусственным интеллектом в этом году станет самым быстрым в мире: Meta

Meta (ранее Facebook) построила суперкомпьютер с искусственным интеллектом, который, как утверждается, будет самым быстрым в мире, когда он будет полностью готов в середине 2022 года.

Эта машина, получившая название AI Research SuperCluster (RSC), уже используется исследователями Meta для обучения больших моделей обработке естественного языка (NLP) и компьютерного зрения для исследований с целью обучения моделей с триллионами параметров в ближайшем будущем.

RSC поможет исследователям искусственного интеллекта Meta создавать новые и более совершенные модели искусственного интеллекта, которые могут учиться на триллионах примеров; работать на сотнях разных языков; легко анализировать текст, изображения и видео вместе; разрабатывать новые инструменты дополненной реальности; и многое другое, — заявили инженеры Meta Кевин Ли и Шубхо Сенгупта в заявлении поздно вечером в понедельник.

Первое поколение этой инфраструктуры, разработанное в 2017 году, включает 22 000 графических процессоров NVIDIA V100 с тензорными ядрами в одном кластере, выполняющем 35 000 учебных заданий в день.

«Мы хотели, чтобы эта инфраструктура могла обучать модели с более чем триллионом параметров на наборах данных размером до эксабайта, что для обеспечения ощущения масштаба эквивалентно 36 000 лет высококачественного видео», — сказал Мета. исследователи.

Ранние тесты RSC по сравнению с устаревшей производственной и исследовательской инфраструктурой Meta показали, что он выполняет рабочие процессы компьютерного зрения до 20 раз быстрее и обучает крупномасштабные модели NLP в три раза быстрее.

Это означает, что модель с десятками миллиардов параметров может завершить обучение за три недели по сравнению с девятью неделями ранее.

RSC запущен и работает сегодня, но его разработка продолжается. Как только мы завершим второй этап создания RSC, мы считаем, что это будет самый быстрый суперкомпьютер с искусственным интеллектом в мире, выполняющий почти 5 экзафлопс вычислений со смешанной точностью, — сказал Мета.

К 2022 году Meta будет работать над увеличением количества графических процессоров с 6080 до 16 000, что повысит эффективность обучения ИИ более чем в 2,5 раза.

Система хранения данных будет иметь целевую пропускную способность 16 ТБ/с и эксабайтную емкость для удовлетворения растущего спроса, добавила компания.

Привлеките нашу аудиторию своей рекламой

Реклама на TechGenyz дает результаты. Создайте свой бренд, увеличьте посещаемость веб-сайта, привлекайте потенциальных клиентов и стимулируйте действия с нашей аудиторией. Выберите идеальные рекламные решения для вашего бренда.