Изобретатели видео поделились следующей информацией:
Недавно мы выступали в Голливуде с докладом о будущем повествования, и нас попросили подготовить небольшую демонстрацию технологий. В результате получился очень короткий фильм, который мы сняли всего за несколько часов.
Примечательные моменты:
- Все образы, движения и голоса были сгенерированы искусственным интеллектом.
- ИИ придумал инопланетный язык примерно за 10 секунд. Мы подавали ему строки, а он выдавал язык со спряжениями глаголов, временами и т. д.
- Нет причин, по которым вы не могли бы использовать ту же технологию для создания длинного контента.
- Синхронизация губ все еще нуждается в улучшении, но благодаря последним инновациям осталось всего несколько месяцев до появления общедоступных инструментов синхронизации губ, которые будут выглядеть естественно и смогут накладываться на существующее видео. Мы использовали Wav2Lip, но другие инструменты, такие как lalamu, также очень полезны.
- Музыка и звуковые эффекты были взяты из стоковой библиотеки, но это было просто ограничение по времени. Мы могли бы легко использовать новые инструменты, такие как Stable Audio, для создания звука. Звуковые эффекты должны быть из библиотеки, на данный момент мы не нашли ни одного хорошего инструмента для создания звуковых эффектов AI.
- Генерация звука в Elevenlabs занимала около 2 итераций каждая.
- Итерации в Midjourney заняли около 20 рендеров на каждый кадр, чтобы получить нужную сцену (с повторами для экономии времени).
- Рендеры Pika занимали около 5 рендеров на кадр. Управление камерой значительно упростило управление движением. Добавление большего количества движения, чем значение по умолчанию, кажется, работает довольно хорошо.
- Мы повысили качество с помощью Topaz Video: https://topazlabs.com/ref/2155/.
Киноиндустрия может бастовать, возмущаться и негодовать.
В сухом остатке - нейросети уже ее победили.