Как аудио позволяет контент следующего поколения в smartphones

С момента запуска первого смартфона более десяти лет назад научно-исследовательские группы, инженеры и промышленные дизайнеры были вовлечены в борьбу за наращивание инноваций с возрастающей скоростью.

Потребители увидели, что технологии в их устройстве быстро меняются. Теперь у них есть доступ к способностям и вычислительным возможностям, которые совсем недавно считалось невозможными в таком компактном форм-факторе. Теперь мы ежедневно используем искусственный интеллект, чтобы найти лучший маршрут для работы. Мы можем транслировать последние фильмы практически мгновенно.

Некоторые из самых больших скачков были в камере, встроенной в эти устройства. Из зернистых изображений, сделанных чуть более десяти лет назад, теперь мы можем брать изображения и видео 4K-качества, дополненные искусственным интеллектом, для создания контента профессионального уровня.

Исследовательские команды все чаще осознают возможности интеграции усовершенствованных сенсорных технологий в smartphones, Это очевидно в современных тенденциях AR и игр, но также во все большей степени в традиционных датчиках, таких как микрофоны. Что касается аудио, одна из задач на сегодня – это сопоставить аудио возможности с возможностями высокой четкости изображения и видео в современных камерах.

Аудио возможности открывают новые возможности

Помимо удаления традиционного аудиоразъема, инновации в аудио смартфоне были ограничены в последние годы.

В целом, акцент был сделан на улучшение общего качества. Тем не менее, со времен Walkman или MP3-плеера качество звука практически не изменилось – в лучшем случае стерео, но часто все еще монофоническое, а также некоторые параметры настройки воспроизведения.

Потребители часто также полагаются на покупку внешнего оборудования для повышения четкости воспроизведения. В последние годы мы наблюдаем положительную тенденцию в области интеллектуальных динамиков и улучшаем качество речи и звука на smartphonesЭто явно шаг в правильном направлении.

Большинство улучшений аудио устройства были в основном ограничены воспроизведением профессионального контента. У инновационных исследовательских групп есть возможность переосмыслить качество звука и сопоставить его с тем, чего можно достичь с помощью захвата изображений и видео.

Благодаря интеграции сенсорных технологий и интеллектуального программного обеспечения производители устройств могут радикально изменить дизайн звука, предоставляя пользователям больший контроль над тем, как они записывают звук. Давайте посмотрим на два примера:

1. Интеллектуальные алгоритмы аудио, которые обеспечивают пространственный захват звука, также могут включать функцию масштабирования аудио. Работая так же, как телеобъектив для звука, функция масштабирования позволяет пользователям изолировать и приблизиться к нужному источнику звука, заглушая нежелательный шум,
2. Эти же технологии могут также разблокировать возможность динамического отслеживания движущихся источников звука, а также автоматическое подавление нежелательных звуков, таких как шум ветра. Теперь может быть реализовано даже редактирование звуковой сцены после захвата, что дает больший контроль над захваченной сценой, создавая практически безграничные возможности, когда речь идет о том, как мы рассказываем наши истории.

Представьте, что родитель посещает школьную игру своего ребенка. Исторически сложилось так, что вам нужно было бороться со слабой акустикой и отвлекающими звуками членов аудитории, а также признать, что качество захваченного звука будет ограничено вашим удалением от сцены (не говоря уже о приглушенной работе нервных молодых актеров).

Сегодня инновационные аудиотехнологии способны смягчить эти обстоятельства, чтобы предоставить пользователям никогда ранее возможности. Хотя пространственный аудиозахват воспроизводит звуковую сцену при воспроизведении, он не решает проблему окружающего шума и не позволяет приблизиться к действию. Это где аудио зум и возможности отслеживания входят.

Используя интерфейс камеры смартфона, пользователь теперь может увеличивать звук вместе с видео, одновременно устраняя при этом окружающий звук зала – перетасовку стульев, разговоры в зале и беспокойных детей в аудитории. В дополнение к этому, можно выбрать и динамически отследить ключевую роль, позволяя получить представление об их производительности в полной, яркой и четкой детализации.

Объединение аппаратного и программного обеспечения на стадии НИОКР

Эти возможности достигаются с помощью программного обеспечения, которое работает с оборудованием. Это не требует значительного переосмысления существующих форм-факторов. Но это требует тесных отношений между разработчиками устройств и дизайнерами.

Работая с командой разработчиков, инженеры-программисты и R & D группы могут согласовать алгоритмы, которые захватывают пространственное аудио, с уникальными характеристиками форм-фактора устройства. Это тесное партнерство важно, так как размещение микрофонов на смартфоне будет способствовать повышению качества получаемых приложений. Это также решит, какие возможности могут быть достигнуты.

Хотя оптимальное размещение не всегда возможно без ущерба для форм-фактора, это в значительной степени может быть решено на ранней стадии НИОКР. Используя акустические лабораторные измерения, аудио алгоритмы, которые анализируют и обрабатывают несколько сигналов микрофона, могут быть откалиброваны для конкретного размещения. Это имеет большое значение для сохранения целостности форм-фактора, а также определяет, какие возможности могут быть созданы.

Они также должны гармонично сочетаться с вычислительной мощностью устройства. Это может включать в себя интеграцию с механизмами AI для распознавания звука по объектам, что дает пользователям возможность фокусировать звук или удалять отвлекающий фоновый шум.

Хотя демократизация доступа к иммерсивному звуку является одной из составляющих, обеспечение простоты использования этих возможностей является еще одним важным компонентом. Эффективный пользовательский интерфейс является еще одним ключевым преимуществом – он должен быть таким же интуитивно понятным, как и то, как мы используем захват видео сегодня. Опять же, разработчики программного обеспечения должны тесно сотрудничать с R & D и инженерами, чтобы эти возможности могли быть легко использованы.

Потребность в действительно захватывающем контенте

Производители устройств должны учитывать, почему и как люди используют их smartphones общаться сегодня. В цифровом мире, полном социальных каналов, по которым мы все ежедневно делимся своей жизнью, важность технологий, которые мы используем для записи и обмена ключевыми моментами, невозможно переоценить.

Это подтверждается тем фактом, что около 60% интернет-пользователей сегодня загружают и обмениваются видео онлайн, в то время как почти 80% всех цифровых зрителей видео используют этот контент через smartphones,

Предоставление нового опыта не должно сводиться к реагированию на спрос. Это должно быть об установлении стандарта для инноваций. Включение более значимых способов соединения с цифровыми медиа, будь то пользовательский или профессиональный контент, должно быть в центре внимания производителей смартфонов.

Разработка сенсорных технологий, которые отражают истинную картину нашего окружения, является ключевым моментом. Это потому, что когда мы не погружены в трансляцию последних сериалов, мы – сказочники. Устройства, которые позволяют нам создавать новые уровни погружения, углубляя связи с нашей семьей, друзьями и более широкой аудиторией, расширяют возможности нас как рассказчиков.

Производители оригинальных устройств, которые понимают роль аудио в продвижении цифрового контента, вероятно, будут на шаг впереди своих конкурентов. Они возьмут на себя ведущую роль в предоставлении продуктов, которые предлагают истинную дифференциацию рынка.

Это приобретает все большее значение для защиты от новых форм цифрового контента и технологических тенденций. Новые мобильные технологии, такие как 5G, а также развивающиеся возможности виртуальной и дополненной реальности призваны открыть все новые и новые захватывающие ощущения. Эти передовые аудио технологии будут ключевым компонентом в их доставке.

Jyri Huopaniemi – руководитель отдела лицензирования технологий в Nokia Technologies,