Компания DeepMind от Google представила новую технологию искусственного интеллекта, способную генерировать фоновую музыку и звуковые эффекты для немых видеороликов. Эта система «видео в аудио» разработана для оптимизации процесса редактирования видео, особенно для создателей контента.
Технология пока находится в стадии разработки, но уже демонстрирует интересные возможности. Вот как она работает:
Процесс
- Пользовательский ввод: Авторы загружают своё немое видео и могут добавлять ключевые слова или фразы, чтобы помочь ИИ создать нужный звуковой ландшафт. Например, для видео с человеком, идущим в темноте, можно использовать подсказки типа «кино, фильмы ужасов, музыка, напряжение, шаги по бетону», чтобы ИИ понял настроение и обстановку.
- Искусственный интеллект в действии: Модель искусственного интеллекта от DeepMind сначала анализирует видео, разбирая его на визуальные компоненты. Эти данные объединяются с текстовыми подсказками пользователя. Используя модель диффузии, ИИ итеративно обрабатывает эту информацию, генерируя фоновые звуки, которые дополняют видеоконтент.
- Настройка звукового ландшафта: Модель может создавать различные варианты звуков для одного видео, позволяя создателям выбирать наиболее подходящий. Система также учитывает эмоциональный тон подсказок, создавая, например, тревожную музыку для подсказок с «напряжением» или более оптимистичные звуки для «радостного праздника».
Будущие планы
DeepMind активно совершенствует эту технологию. В будущем планируется, что ИИ сможет автоматически генерировать звуки исключительно на основе видеоконтента, устраняя необходимость в пользовательских подсказках. Также ведутся работы над улучшением способности системы синхронизировать сгенерированный диалог с движениями губ персонажей на видео.
Эта технология «видео в аудио» может произвести революцию в редактировании видео, особенно для авторов, у которых нет доступа к профессиональным аудиоинструментам или опыта.