Следующая статья поможет вам: Microsoft представляет Orca, компактную модель искусственного интеллекта, обучающуюся на GPT-4
Microsoft в сотрудничестве с OpenAI запустила Orca, новую модель искусственного интеллекта, которая имитирует и учится на более крупных языковых моделях, включая широко известную GPT-4.
Orca — мощная эффективная модель искусственного интеллекта
Исследования Майкрософт объявила о своей новой модели искусственного интеллекта Orca, предназначенной для имитации процессов обучения и рассуждений обширных базовых моделей, таких как GPT-4.
Однако уникальной особенностью Orca является его размер — это компактная модель с 13 миллиардами параметров, что значительно меньше, чем у ее более крупных аналогов.
.@Майкрософт только что выпустил новый #LLM модель под названием Orca, модель языка 13B, которая была обучена (модели большого фонда), например #GPT4! 🔥#косатка сокрушает современные модели, настроенные по инструкциям, такие как #Викунья-13B, демонстрируя улучшение более чем на 100% на BigBench Hard! pic.twitter.com/xbJnO7OcDu
— BadTech Bandit ∞ #AI, #дроны, web3 и не только (@BadTechBandit) 20 июня 2023 г.
Преимущество модели меньшего размера заключается в ее эффективности: для работы Orca требуется меньше вычислительных ресурсов, что позволяет исследователям адаптировать свои модели к конкретным потребностям, не полагаясь на большие центры обработки данных.
Процесс обучения и производительность Orca
Orca — это не просто уменьшенная модель ИИ; это также эффективный ученик.
Orca учится на насыщенных сигналах GPT-4, включая следы пояснений и сложные инструкции. Он также учится на пошаговых мыслительных процессах, руководствуясь помощью учителя из ChatGPT.
.@Майкрософт только что выпустил новый #LLM модель под названием Orca, модель языка 13B, которая была обучена (модели большого фонда), например #GPT4! 🔥#косатка сокрушает современные модели, настроенные по инструкциям, такие как #Викунья-13B, демонстрируя улучшение более чем на 100% на BigBench Hard!
— DataChazGPT 🤯 (не бот) (@DataChaz) 19 июня 2023 г.
Microsoft использует крупномасштабные и разнообразные имитационные данные для продвижения прогрессивного обучения с помощью косатка.
С точки зрения производительности, он уже на 100 % превзошел Vicuna, своего предшественника, в сложных тестах с нулевым результатом, таких как Big-Bench Hard (BBH).
Также сообщается, что новая модель на 42% быстрее, чем обычные модели ИИ на AGIEval.
Несмотря на то, что модель меньшего размера, Орка не уступает, когда речь заходит о способностях к рассуждению. Он показывает сравнимую с ChatGPT производительность в таких тестах, как BBH.
Он также хорошо конкурирует на академических экзаменах, таких как SAT, LSAT, GRE и GMAT, хотя все еще отстает от GPT-4.
С нетерпением жду
Исследовательская группа Microsoft предполагает, что Orca будет продолжать развиваться, изучая объяснения, созданные человеком, и расширенные языковые модели.
Они ожидают, что навыки и возможности модели будут улучшаться со временем, обеспечивая более эффективную альтернативу более крупным моделям, сохраняя при этом конкурентоспособные уровни производительности.
