Google делает шаг дальше. Исследователи из Google с помощью искусственного интеллекта представили сверточную сеть, которая может не только добавлять цвет к черно-белым видео, но также может ограничивать эти цвета конкретными объектами, людьми и домашними животными в данном кадре, как ребенок, раскрашивающий линии. перевернутой книги.
Для пользователей всегда было проблемой отслеживать объекты на видео с помощью компьютерного зрения. Визуальное отслеживание объектов является сложной задачей, поскольку для обучения требуются большие помеченные наборы данных отслеживания, которые нецелесообразно аннотировать в масштабе. Поэтому Google использует сверточную сеть, которая может помещать цветную рамку в полутоновые видео.
Мы представляем сверточную сеть, которая раскрашивает видео в оттенках серого, но ограничена копированием цветов из одного опорного кадра. – Карл Вондрик, научный сотрудник Machine Perception.
Раскрашивание видео Google, как описывают ученые, представляет собой сверточную нейронную сеть, своего рода нейронную сеть, которая архитектурно хорошо подходит для отслеживания объектов и стабилизации видео. Это помогает учиться и следить за несколькими объектами через препятствия.
Первым шагом было научить алгоритм раскрашивать полутоновые фильмы. Исследователи берут клипы из наборов кинетических данных, например видео из YouTube который охватывает широкий спектр человеческих действий, преобразует первый кадр в черно-белый. Затем они обучили нейронную сеть предсказывать исходные цвета в последующих кадрах.
Связанный
[mnky_related_posts num=”2″]
Обучить нейронную сеть было непросто, поскольку модель должна была раскрашивать движущиеся объекты и регионы и фактически была вынуждена учиться, чтобы отслеживать эти объекты и регионы.
Это заставляет модель изучить явный механизм, который мы можем использовать для отслеживания. – Вондрик
В результате модель может следить за любой областью, указанной в первом кадре видео, и, если ей даны ориентиры, может даже отслеживать позы людей. Очень впечатляет то, как он превосходит некоторые современные методы раскрашивания.
Источник: Блог Google AI.
