Tehnografi.com - Технологические новости, обзоры и советы

Является ли программное обеспечение ИИ быстрее (и лучше) при создании субтитров?

Примечание. Следующая статья поможет вам: Является ли программное обеспечение ИИ быстрее (и лучше) при создании субтитров?

Зачем вручную расшифровывать вещи, если вы можете использовать алгоритмы машинного обучения, чтобы выполнить работу? Давайте рассмотрим некоторые варианты.

В своем последнем видео я тестировал инструмент, который использует технологию искусственного интеллекта для удаления основных объектов. Результаты были весьма впечатляющими.

Сегодня я тестирую другой инструмент от той же компании (RunwayML), который предназначен для создания субтитров, что немного более удобно для широких масс. И, как и в прошлый раз, я собираюсь довести технологию до предела, чтобы увидеть, насколько хорошо она работает.

Зачем использовать субтитры?

Хотя не все хотят выполнять удаление объектов, почти все хотят создавать субтитры для своих видео. Не верите мне? Ну, почти все.

Недавний опрос клиентов в США показывает, что 92% просматривают видео с выключенным звуком на мобильных устройствах. Это имеет смысл, когда вы думаете обо всех этих людях, стоящих где-то в очереди и бездумно пролистывающих свои социальные сети.

Представьте себе миллионы людей в постели, игнорирующих свою вторую половинку через экран мобильного телефона. Или количество подростков в классе, игнорирующих учителя и переключающихся на видео.

Мужчина объясняет важность субтитров

Существует множество сценариев, когда включение звука неуместно, и субтитры здесь, чтобы помочь. Опрос также показывает, что 80% потребителей с большей вероятностью досмотрят видео до конца, если доступны субтитры. Это довольно большие цифры.

Текст может помочь привлечь внимание зрителя и поддерживать его интерес. Это может добавить контекст и помочь зрителю быстро зафиксировать ваше сообщение. Большинство людей могут пройти мимо без текста, чтобы никогда не вернуться.

Итак, как вы можете добавить субтитры к видео?

Технология есть. . . Там?

К счастью, технология наконец-то достигла такого уровня, когда создателям больше не нужно платить значительные суммы за расшифровку видео или, что еще хуже, пытаться расшифровать все вручную. Удачи с этим.

Как перетаскивать видеофайлы

Как будто этого было недостаточно, автоматические субтитры для прямых трансляций в настоящее время развертываются на англоязычных каналах.

В наши дни YouTube автоматически добавляет субтитры к видео вскоре после его загрузки. Более того, эта функция доступна более чем на десяти языках.

Надпись, говорящая о том, что визуально происходит на экране

Как это возможно? Что ж, Google использует алгоритмы машинного обучения для своей функции автозаголовков. Однако он все еще несовершенен, как пишет Google в своей документации:

…качество субтитров может быть разным. Мы рекомендуем создателям сначала добавлять профессиональные подписи. YouTube постоянно совершенствует свою технологию распознавания речи. Однако автоматические субтитры могут искажать разговорный контент из-за неправильного произношения, акцента, диалектов или фонового шума. Вы должны всегда просматривать автоматические субтитры и редактировать любые части, которые не были расшифрованы должным образом.

– Google

Теперь, когда вы немного узнали о субтитрах, давайте посмотрим, как их создавать.

Субтитры против титров

Прежде чем люди начнут отправлять гневные письма, позвольте мне прояснить одну вещь: подписи и субтитры — это не одно и то же.

Субтитры созданы специально для людей с нарушениями слуха. Они транскрибируют то, что происходит на экране, даже описывая звуки и различные визуальные явления в тексте.

Субтитры переводят произносимое слово. Подписи дают гораздо больше контекста сцене, чем субтитры.

Скриншот того, как редактировать подписи

Файлы Burn-In и SRT

Прежде чем создавать субтитры, вы сначала должны подумать об опыте зрителя.

Как они увидят субтитры? Придется ли им нажимать на кнопку, чтобы активировать их? Можете ли вы заставить их появляться на экране каждый раз для каждого зрителя?

Это может быть непросто, если вы делитесь видео на нескольких платформах социальных сетей.

Скриншот того, как выбрать скрытые субтитры

Несмотря на то, что существуют различные форматы субтитров, основное различие, которое должен понять неспециалист, заключается в том, как вы можете «вставить» некоторые субтитры в свое видео. Это означает, что текстовые элементы всегда будут на экране. Это навсегда. Это отличается от субтитров, которые вы можете включать и выключать, как вы видите на YouTube.

С таким огромным количеством людей, которые смотрят видео без звука, авторы выиграют от метода записи. Давайте прыгнем в Runway и посмотрим, как работает процесс записи.

Как создать субтитры в подиуме

Шаг 1: Загрузите клип

Скриншот, как загрузить клип

Отличительной чертой Runway является то, что это инструмент на основе браузера, позволяющий пользователям создавать субтитры, не имея ничего, кроме базового подключения к Интернету.

Шаг 2: Создайте субтитры

Скриншот выбора языка для ваших субтитров

Как только клип появится в видеоредакторе Runway, выберите его и перейдите к Подзаголовок вкладка Выберите вариант английского (или испанского) и нажмите Начинать.

Как и Google, Runway использует алгоритмы машинного обучения для автоматического создания субтитров. По моему опыту, процесс генерации был быстрее, чем в реальном времени.

Шаг 3: Редактировать и уточнить

Скриншот того, как редактировать субтитры

После создания субтитры отображаются на дорожке над вашим видеослоем. Их можно редактировать и перемещать по временной шкале, как и любой другой клип.

Чтобы настроить внешний вид субтитров, выберите клип и перейдите к Подзаголовок вкладка Пользователи могут изменить шрифт, толщину, размер, заливку и цвет фона.

Шаг 4: Экспорт

Скриншот того, как экспортировать видео

Чтобы записать субтитры в видео, экспортируйте клип. Чтобы создать файл SRT, выберите раскрывающееся меню справа от Свойства субтитров.

Скручивание языка

Мой первый тест инструмента подзаголовков Runway был почти безупречен, только одно слово было ошибочно продублировано. В отличие от функции автоматического создания субтитров на YouTube, Runway добавляет знаки препинания, придавая субтитрам чистый вид. Результаты были впечатляющими.

Действительно, я ожидал, что результаты будут почти идеальными, так как качество звука с моего профессионального микрофона довольно хорошее. Никаких реальных фоновых шумов или искажений в записи не было. Я также не использовал сленг и ясно произносил свои слова с нейтральным американским акцентом.

Чтобы проверить технологию машинного обучения, я решил записать несколько скороговорок, а также предложения с полусложной лексикой. В то время как пунктуация выглядит красиво на Runway, это была одна из областей, где алгоритмы не могли уследить.

В одном случае вопросительные знаки случайным образом украсили предложение. Это действительно несколько раз приводило к остановке генератора субтитров Runway.

Скриншот того, как подписи были неправильно истолкованы

Тем не менее, в целом технология работала на удивление хорошо.

Скриншот, показывающий правильно интерпретированные подписи

Мне интересно посмотреть, насколько продвинутой будет эта технология всего через пять лет. Я предполагаю, что алгоритмы машинного обучения смогут генерировать субтитры в режиме реального времени и обеспечивать мгновенный перевод практически на любой язык.

Это то, что я люблю в технике. Это становится лучше.

Еще несколько интересных для вас:

Изображение на обложке через Vector Point Studio.