Что такое нейросеть Gen-2: генерация видео и замена на нем объектов

Runway AI запустил новую нейросеть Gen-2 (https://research.runwayml.com/gen2), которая создает короткие видео по текстовому описанию и меняет уже отснятые видео.

Что происходит

Стартап Runway AI Inc. представил нейросеть Gen-2, которая генерирует короткие видеоролики по описанию, заданному пользователем.
Пользователи также могут в качестве примера загрузить изображение или видео.
В презентационном ролике разработчики показали, как они сгенерировали короткое видео по запросам «пейзаж пустыни», «крупный план глаза», «прогулка в джунглях» и другие.
Gen-2 также может менять уже существующее видео: накладывать маски, добавлять стилизацию, полностью менять картинку или ее части. Например, в одном из тестовых видео с помощью масок нейросеть заменила лабрадора на далматинца.
Разработчики продолжат работать над качеством видео, которое пока остается невысоким, а также над корректным изображением предметов.
Чтобы протестировать нейросеть, нужно подать заявку через Discord и добавить себя в лист ожидания. Каждую неделю разработчики будут добавлять пользователей в канал, где можно воспользоваться Gen-2.

Что это значит

Нейросеть, генерирующая видео поможет сократить время на создание различных видеороликов — рекламных, образовательных, мультипликационных и других. Кроме того, эта технология может быть полезна для визуальных эффектов в фильмах, телесериалах и играх. Правда для этого нужно, чтобы качество изображения стало лучше. Но, как можно видеть на примере Midjourney, низкое качество и некорректное отображение предметов, — дело времени. Если в самой первой версии картинки, генерируемые нейросетью, были далеки от запросов пользователей, то теперь их может быть трудно отличить от настоящих фотографий.

Gen-2 — не первая нейросеть, генерирующая видео, в 2023 году. В феврале Google представила нейросеть Dreamix. Она создает видеоролики по текстовому описанию, серии фотографий или на основе другого видео. При анимации загруженной пользователем картинки или изменении готового видео Dreamix сохраняет цветовую гамму, размеры объекта и положение камеры. Однако нейросеть для массового пользования пока недоступна.

Анна Арбузова
https://trends.rbc.ru/