Нейросеть Gen-1 научилась превращать видеоролики в анимации

 Одна из компаний, создавших генератор изображений Stable Diffusion, запустила новый инструмент для редактирования видео, который работает наподобие DALL-E. Редактор на основе искусственного интеллекта Gen-1 превращает видеоролик в его различные версии, похожие на полноценный мультфильм со сложными спецэффектами. Инструмент может воссоздать кадры в совершенно другом стиле, — например, сделать небольшой нуарный фильм или превратить исходный материал в подводную сцену.

Кроме того, можно загрузить пример изображения, которое вам нравится, а затем попросить Gen-1 (https://research.runwayml.com/gen1) проанализировать его и воссоздать ключевые элементы вашего видео в аналогичном контексте. Программа также умеет изолировать и отслеживать объект, а затем менять его и добавлять спецэффекты. Конечно, пока ещё инструмент сырой, однако он уже может использоваться для создания рекламных видеороликов или коротких трейлеров.

Помимо редактора видео, компания также работает над программой Soundify (https://soundify.io/), которая принимает входной видеосигнал, анализирует его, а затем создаёт соответствующий звук. Инструмент идентифицирует объекты в кадре и что они делают, затем отмечает точные моменты, когда действия объектов должны вызывать звуки, и генерирует аудиосигнал, соответствующий действию в видеоролике, — шаги, шум двигателя, пение птиц и многое другое.

Не исключено, что в какой-то момент эти инструменты начнут сходиться и создавать целые постановки в согласованном визуальном стиле, основываясь на всей истории художественной формы. Конечно, вряд ли ИИ когда-нибудь заменит полноценную творческую работу человека, однако подобные инструменты вполне годятся уже сейчас, чтобы создавать рекламные промо-материалы и выполнять рутинную работу.

Вениамин Ветролесов
https://www.ridus.ru