Qualcomm уже захватила рынок Android smartphones и теперь компания уже давно выходит за рамки этого основного рынка и с нетерпением ожидает области Интернета вещей как одной из следующих основных областей роста. Ранее в этом году компания запустила новую встроенную платформу для разработчиков Интернета вещей. Теперь компания представляет две новые системы на кристалле для Интернета вещей — QCS605 и QCS603, которые сочетают в себе многоядерный процессор ARM с механизмом искусственного интеллекта компании и процессором сигналов изображения.
Компания представляет свое первое семейство систем на кристалле (SoC), специально созданных для Интернета вещей (IoT) с использованием передовой 10-нм техпроцесса FinFET. Теперь SoC QCS605 и QCS603 обладают огромной мощностью и тепловой эффективностью, обеспечивая мощные вычисления для обработки камер на устройстве и машинного обучения в широком спектре приложений IoT. SoC интегрируют самый передовой на сегодняшний день процессор сигналов изображения (ISP) от Qualcomm Technologies и механизм искусственного интеллекта (AI) Qualcomm, а также гетерогенную компьютерную архитектуру, включающую новейший многоядерный процессор на базе ARM, векторный процессор и графический процессор.
Платформа Vision Intelligence включает в себя множество функций, таких как передовое программное обеспечение для обработки камер Qualcomm Technologies, комплекты средств разработки (SDK) программного обеспечения для машинного обучения и компьютерного зрения, а также проверенные технологии подключения и безопасности Qualcomm Technologies. Эти чипы будут использоваться на нескольких платформах, таких как интеллектуальные камеры видеонаблюдения для потребителей и промышленности, спортивные камеры, носимые камеры, виртуальная реальность, робототехника и интеллектуальные дисплеи — это означает, что их можно использовать где угодно, когда есть потребность в большом количестве вычислительная мощность, а также способность интерпретировать изображения и запускать предварительно обученные модели машинного обучения.
Платформа Vision Intelligence намного полезнее и совершеннее, чем можно было бы подумать. Искусственный интеллект или возможности искусственного интеллекта полезны только тогда, когда есть хорошие данные для работы, поэтому команда также сосредоточилась на фактической части чипов, обрабатывающей изображения. Платформа объединяет Qualcomm AI Engine с несколькими интегрированными аппаратными и программными компонентами для ускорения искусственного интеллекта на устройстве.
Qualcomm AI Engine с программной платформой Qualcomm Snapdragon Neural Processing Engine (NPE) управляет множеством задач, таких как инструменты анализа, оптимизации и отладки, для разработки с помощью платформ Tensorflow, Caffe и Caffe2, Open Neural Network. Формат обмена Exchange, а также API нейронных сетей Android и библиотека нейронных сетей Qualcomm Hexagon. Благодаря процессору Qualcomm AI Engine и программной платформе Snapdragon NPE платформа Vision Intelligence Platform обеспечивает производительность вычислений до 2,1 TOPS* для глубоких выводов нейронных сетей, что более чем вдвое превышает характеристики некоторых ведущих альтернативных решений.
Что касается качества изображения, то тут гораздо больше сюрпризов, поскольку платформа Vision Intelligence поддерживает разрешение видео до 4K со скоростью 60 кадров в секунду (fps) или 5,7K со скоростью 30 кадров в секунду, что позволяет передавать несколько видео в потоковом режиме с более низким разрешением. А чтобы обеспечить потрясающее качество изображения, платформа включает в себя самый мощный процессор камеры, когда-либо созданный Qualcomm Technologies, двойной 14-битный процессор Qualcomm Spectra 270 ISP, поддерживающий два 16-мегапиксельных сенсора. Эволюция возможностей интернет-провайдеров премиум-класса, которые на протяжении многих поколений превосходили тесты DxOMark. в недавнем прошлом. Некоторые дополнительные функции Vision Intelligence Platform включают в себя расширенные возможности обработки изображения, необходимые для сегментов Интернета вещей, такие как ступенчатый HDR для предотвращения «призрачного» эффекта в видео с высоким динамическим диапазоном, усовершенствованная электронная стабилизация изображения, устранение искажений, шумоподавление, хроматика. коррекция аберраций и аппаратные временные фильтры с компенсацией движения.
Наша цель — сделать устройства Интернета вещей значительно умнее, поскольку мы помогаем клиентам внедрить мощные интеллектуальные функции на устройстве, обработку камер и безопасность. Искусственный интеллект уже позволяет камерам обнаруживать, отслеживать, классифицировать объекты и распознавать лица, роботам, которые самостоятельно обходят препятствия, а также экшн-камерам, которые обучаются и создают видеоотчет о вашем последнем приключении, но на самом деле это только начало. Это предприятие станет потрясающим событием для всех. Интеллектуальная платформа Qualcomm Vision — это кульминация многолетних передовых исследований и разработок, объединяющих прорывные достижения в области камер, искусственного интеллекта на устройствах и гетерогенных вычислений. Платформа является главной стартовой площадкой для производителей и разработчиков для создания нового мира интеллектуальных устройств Интернета вещей. – Джозеф Бусаба, вице-президент по управлению продуктами Qualcomm Technologies, Inc.
Еще одной особенностью платформы Vision Intelligence является гетерогенная вычислительная архитектура QCS605 с восемью ядрами процессора Qualcomm Kryo 360, графическим процессором Qualcomm Adreno 615 и векторным процессором Hexagon 685. Наряду с этим, интегрированный процессор дисплея платформы Vision Intelligence обеспечивает ряд вариантов отображения сенсорного дисплея с разрешением до WQHD с аппаратным ускорением композиции, 3D-наложениями и поддержкой основных графических API, включая OpenGL, OpenCL и Vulkan. Эта архитектура выступает в качестве поддержки различных операционных систем высокого уровня, позволяя разработчикам и производителям использовать в своих решениях необычные функции, такие как объединение на устройстве камер VR 360, автономная навигация робота и обход препятствий, а также обобщение видео для действий. камеры.
Сообщается, что платформа Vision Intelligence поддерживает до 2×2 Wi-Fi 802.11ac с MU-MIMO и одновременной двухдиапазонной передачей, Bluetooth® 5.1, Qualcomm 3D Audio Suite, Qualcomm Aqstic Audio Technologies и Qualcomm apt Audio. Платформа также оснащена Qualcomm Noise и Echo Cancellation, а также расширенными функциями аудиоаналитики и обработки на устройстве, чтобы она могла поддерживать обработку естественного языка, распознавание аудио речи и возможность «вмешательства» для надежного голосового интерфейса даже в громких или шумных условиях. средах или когда пользователи находятся вдали от устройства.
Даже аппаратная безопасность платформы предназначена для поддержки надежных устройств Интернета вещей, которые включают в себя такие функции, как безопасная загрузка из аппаратного корня доверия, доверенная среда выполнения, аппаратные криптографические механизмы, безопасность хранения, безопасность отладки с контролем жизненного цикла, предоставление ключей и безопасность беспроводного протокола. Кроме того, для дальнейшего ускорения разработки производители могут положиться на экосистему поставщиков технологий, предлагающих решения, дополняющие платформу Vision Intelligence. К ним относятся поставщики искусственного интеллекта, такие как SenseTime для распознавания лиц, изображений и объектов, Pilot.ai для различных задач машинного зрения, таких как обнаружение, классификация и отслеживание действий и объектов, а также MM Solutions для передовых услуг по настройке качества изображения.
Эталонные конструкции камер VR 360 на базе QCS605 от Qualcomm Technologies и Altek Corporation, ведущего производителя оригинальных разработок для камер, уже доступны. В то время как эталонные конструкции камер промышленной безопасности на базе QCS603 должны появиться во второй половине 2018 года.
