Эта статья была первоначально опубликована на M Liquido.com 23 января 2020 года и написана Радославом Холевой.
В связи с растущим глобальным спросом на улучшенные и более персонализированные мобильные приложения неизбежно повсеместное использование ИИ и адаптация к глубокому обучению в индустрии разработки мобильных приложений. Забудьте о проблемах с задержкой, которые возникают из-за мобильного зондирования и облачных вычислений. Время отклика практически равно нулю, а скорость обработки данных в реальном времени для достижения наилучших результатов.
Усовершенствованный чипсет Apple Bionic для смартфонов со встроенными нейронными процессорами помогает нейронным сетям работать на устройстве с невероятной скоростью. Благодаря Apple Core ML, платформам Google ML Kit и библиотекам глубокого обучения, таким как TensorFlow Lite и Keras, разработчики мобильных приложений могут создавать приложения с меньшим временем отклика, меньшим количеством ошибок и более быстрой обработкой данных.
Основным преимуществом машинного обучения на устройстве является то, что оно обеспечивает пользователям плавное и точное взаимодействие с пользователем. Поскольку отправка данных на внешние серверы для обработки не вызывает проблем, вы получаете улучшенную защиту данных, безопасность пользователей и конфиденциальность. Кроме того, благодаря использованию нейронных сетей на мобильных устройствах вам не требуется подключение к Интернету для доступа ко всем функциям ваших приложений. Конечно, вам все еще понадобится Интернет для большинства стандартных функций.
Использование вычислительных возможностей мобильных устройств для реализации алгоритмов глубокого обучения позволило повысить удобство использования мобильных устройств. Вот как:
1. Распознавание речи на устройстве
Распознавание речи включает в себя преобразование или преобразование входных последовательностей в выходные последовательности с использованием повторяющихся нейронных сетей (RNN), сверточных нейронных сетей (CNN), глубоких нейронных сетей (DNN) и других структур. У разработчиков была проблема с задержкой – создание задержек между вашим запросом и автоматическим ответом – но теперь мы можем преодолеть их, используя технологию RNN-T, встроенную в мобильные устройства.
RNN-Ts являются последовательностями моделей последовательностей. Вместо того, чтобы следовать обычному методу обработки полной входной последовательности перед созданием вывода, он поддерживает последовательную непрерывность обработки ввода и потока вывода. Это облегчает распознавание и обработку речи в режиме реального времени. Вы видите это с Google Assistant, Который может обрабатывать последовательные голосовые команды без отключения и без запроса вызова «Привет, Google» после каждого запроса.
Это делает более естественным двусторонний разговор, и помощник будет следовать вашим инструкциям для T. Хотите установить тему электронной почты, найти фотографию в одной из ваших папок и направить вас к месту вашей сестры? Выполнена.
В будущем, благодаря новому Google Pixel 4, Live Caption может предоставлять переводы голосовых заметок, подкастов и видео в режиме реального времени – а также потому, что обработка на устройстве – также в режиме полета. Так, например, если видео появляется на Twitter Таким образом, вы можете увидеть, о чем идет речь, без отключения звука. Live Caption пока не работает с музыкой, телефонными и видеозвонками.
2. Увеличьте эффективность, распознавая жесты
Используя модели конвейера машинного обучения на устройстве, вы можете обучить мобильное устройство распознавать, отслеживать и распознавать жесты рук и тела. Камера вашего устройства записывает и сохраняет ваши жесты и движения в виде данных трехмерного изображения. Далее, алгоритмы глубокого обучения для нейронных сетей используют эту библиотеку жестов для идентификации и декодирования определенных статических и динамических жестов. Затем они сопоставляют их в реальном времени с вашими намерениями и выполняют нужные вам заказы.
Google Pixel 4 smartphones Он поставляется с чипом Soli, который облегчает сложное и невербальное взаимодействие с вашим телефоном. Этот мини-радар в верхней части телефона оснащен технологией Motion Sense, которая может определять ваше присутствие и жесты рук и тела, чтобы обеспечить взаимодействие вашего телефона. Одним взмахом руки, даже не касаясь телефона, вы можете сказать ему, чтобы он отключился, отключил звуковой сигнал или перешел к следующей песне в вашем плейлисте.
3. Погружающие возможности дополненной реальности
Используя ARCore и Google Apple с платформ ARKit, разработчики могут создавать приложения дополненной реальности, которые могут комбинировать объекты и цифровую среду с реалистичными настройками. Погружающие возможности дополненной реальности оказывают огромное влияние на розничную торговлю, развлечения, путешествия и другие отрасли. Такие бренды, как Lacoste и Sephora, теперь позволяют своим клиентам попробовать или просмотреть продукты с помощью приложений дополненной реальности, и все большее число покупателей предпочитают проверять продукты на своих телефонах, прежде чем принять решение о их покупке.
Интерактивные игры с дополненной реальностью, такие как Pokemon, Ingress и Ghostbusters World, получили широкое распространение в прессе и последователей. Если вы хотите ориентироваться в городе, Google Maps Live View обеспечит вам навигацию в реальном времени.
4. Высокое качество изображения
Высокое качество изображения является важным критерием для покупателей при выборе smartphonesЧто они могут получить со многими из последних моделей. Они оснащены аппаратными компонентами – центральными процессорами (ЦП), процессорами обработки сигналов изображений, алгоритмами глубокого изучения изображений и нейронными процессорами – которые перепрыгнули smartphones В мире, полностью отличающемся от традиционных камер, когда дело доходит до съемки. С этим, smartphones На уровне пикселей они могут лучше понимать, что они видят при съемке изображений с высоким разрешением.
Пиксельные телефоны Google Apple IP-телефоны используют множество камер и сложные алгоритмы машинного обучения, чтобы идентифицировать людей и объекты, создавать карты глубины, легко объединять длинные выдержки и вычислять точный цветовой баланс.
Обучая нейронные сети на наборе данных изображений, алгоритмы учатся реагировать на индивидуальные требования к изображениям и улучшать изображения в режиме реального времени. Система автоматической коррекции, разработанная исследователями из MIT и Google, позволяет фотографам применять различные стили к изображению перед съемкой.
После того, как сверточная сетка обрабатывает изображения с низким разрешением, известный способ сопоставления для преобразования цветов регулирует цвета пикселей изображения. Сетка сохраняет эти форматы преобразования в трехмерной сетке, которая затем позволяет выводить изображение высокого разрешения. Все это происходит в течение миллисекунд.
Смартфоны теперь также превосходят зеркальные камеры при слабом и ночном освещении. Благодаря интеграции сетей и глубоких нейронных датчиков камеры смартфонов могут получать более четкие изображения в большем количестве цветов, чем может видеть человеческий глаз.
Компания Huawei, которая сделала работоспособные снимки в условиях слабого освещения с помощью P20 Pro, использует фильтры RYYB, большие датчики и обработку AI-изображений в серии Mate 30 для обеспечения высококачественного изображения при слабом освещении, а также видеосъемки при слабом освещении. Google Pixel 4 поставляется с режимом ночного видения, который позволяет снимать фотографии в диапазоне 0,3-3 люкс, а астрофотография может снимать темное звездное небо. Помимо ночного режима, который автоматически активируется в темноте, новая система Apple Deep Fusion адаптируется к уровням освещения и поднимает фотографии iPhone на более впечатляющий уровень.
Даже если у вас нет понимания фотографии, вы сможете делать отличные снимки с этими smartphones,
5. Повышенная безопасность и конфиденциальность
Соблюдение GDPR и Закона о защите прав потребителей в Калифорнии (CCPA) упрощается благодаря машинному обучению. Обеспечивает безопасность данных, так как вам не нужно загружать биометрические данные, шифрование или данные в реальном времени на сервер или в облако для обработки.
Автоматическое шифрование на устройстве – это еще одна полезная функция смартфона, которая защищает ваш контент с помощью PIN-кода, пароля или шаблона и позволяет получить доступ к вашим данным только при разблокировке телефона. Таким образом, если ваше устройство потеряно или украдено, вероятность того, что кто-то получит ваши данные, ничтожна.
Одним из примеров более безопасного использования смартфона является Face ID для iPhone. Нейронные сети на устройстве в Apple Безопасно обрабатывать чипы смартфона и хранить данные о лицах пользователей. Идентификация происходит на вашем устройстве, поэтому ваша конфиденциальность и безопасность остаются беспрепятственными.
3D-глубокое ИК-картирование, созданное с помощью Google Pixel 4 при поддержке чипа Soli, используется для создания шаблонов распознавания лиц и сохранения их на чипе безопасности Titan M6 на устройстве. Face Unlock хорошо работает с 1Password, обеспечивая пользователям биометрическую безопасность, исключая вероятность мошенничества с идентификацией. Чтобы настроить приложение 1Password на Pixel 4, просто введите свои данные в режиме автозаполнения и используйте Face Unlock для входа вместо функции разблокировки отпечатков пальцев.
6. Большая точность в распознавании изображений
Сопрягая машинное обучение с устройством с технологией сортировки изображений, вы можете выбрать подробную информацию и получать ее в режиме реального времени практически обо всем, с чем вы сталкиваетесь. Вы хотите прочитать текст на иностранном языке? Сканируйте его с помощью телефона для мгновенного и точного перевода. Вы подобрали свою коллекцию воображения или предмет мебели? Отсканируйте его для получения информации о цене и где его купить. Есть ли в меню ресторана новое привлекательное блюдо? Вы можете использовать свой телефон, чтобы узнать его ингредиенты и информацию о питании.
Благодаря распознаванию изображений в реальном времени такие приложения, как Google Lens, Calorie Mama и Leafsnap, повышают удобство использования, учатся на мобильных устройствах и повышают удобство работы пользователей.
Потенциал машинного обучения на устройстве огромен. Обладая все более эффективными интеллектуальными алгоритмами, более глубокими нейронными сетями и более мощными микросхемами ИИ, мобильные приложения с глубоким обучением станут стандартом в банковском деле, розничной торговле, здравоохранении, анализе данных, информационных технологиях, коммуникациях, космосе и многих других отраслях. Согласно утвержденным исследованиям рынка, к 2026 году мировой рынок глубокого обучения, скорее всего, достигнет 26,64 млрд долларов, а рынок технологий чипов глубокого обучения достигнет 2,9 млрд долларов. По мере того как возможности глубокого обучения продолжают улучшаться, функциональные возможности мобильных устройств будут развиваться бок о бок и стимулировать новые инновации.
Что вы думаете об использовании глубокого обучения для улучшения мобильных устройств? Дайте нам знать в комментариях ниже или на Twitter, Facebook или MeWe.
Add comment