Нейросеть оживляет детские рисунки с гуманоидами

Компания Meta показала нейросеть, которая может анимировать человекоподобных существ с детских рисунков.

Разные разработчики уже создавали нейросети, которые умеют анимировать людей со статичных картинок — но на детских рисунках они работают плохо, потому что детские гуманоиды слишком абстрактны и иногда совершенно не похожи на человека. Meta рассказала, как и зачем сделала свою нейросеть.

Для выделения человекоподобных персонажей с рисунков разработчики использовали модель для распознавания объектов Mask R-CNN, а тренировали её на творчестве своих детей. Обычные методы рига не подходили, поэтому сделали свой с применением детектора AlphaPose, который определяет расположение суставов в человеческом теле.

Чтобы получившуюся модель можно было анимировать, нейросеть генерирует полигональную сетку и составляет скелет персонажа по наложенным суставам. Движения записали при помощи захвата движений и перенесли их в двухмерную плоскость.

Чтобы оживить рисунок, нужно загрузить его на сайт и проверить на соответствие требованиям:

    Рисунок должен быть на белом чистом листе бумаги и хорошо освещён

    На рисунке должен быть один персонаж, его руки и ноги не должны пересекаться с телом

    На рисунке не должна быть нечитаемая информация, оскорбительный или чужой контент

После загрузки нужно выделить персонажа на рисунке. Для этого нейросеть автоматически накладывает маску на героя, которую можно поправить вручную.

На последнем этапе нейросеть определяет суставы персонажа — здесь тоже можно поработать самому, если нейросеть не справляется. После этого рисунок можно анимировать, выбрав понравившееся движение из ограниченного набора: танцы, прыжки, бег и ходьба.

Разработчики нейросети надеются, что их работа поможет приблизить нейросети к пониманию мира с человеческой точки зрения и искусства, и в будущем нейросети смогут создавать целые мультфильмы самостоятельно.

Мы решили проверить работу нейросети на наших детских рисунках и рисунках близких.

С ласковым солнышком нейросеть справилась отлично: наложила правильную маску и сама определила руки и ноги - https://cdn.media-xyz.com/media/boxing.gif
Попробовали испытать нейросеть на животных и загрузили рисунок лисёнка. Вышло хуже: маску нейросеть нарисовала верно, а с конечностями запуталась и определила руку как хвост. Ручное исправление суставов не помогло, анимации всё равно оказались странными -
https://cdn.media-xyz.com/media/joyful_jump_l.gif
Рисунок автомобиля оказался слишком сложным для нейросети — ничего похожего на человека в нём нет. Маску нейросеть определила верно, но суставы пришлось устанавливать вручную. Попытка оживить автомобиль не удалась, зато его можно использовать в качестве монстра для игры https://cdn.media-xyz.com/media/jump_rope.gif.
Девушка в пол-оборота тоже не понравилась нейросети. Маску пришлось перерисовывать, а из-за ракурса персонажа некуда было ставить суставы. В результате получились очень странные анимации - https://cdn.media-xyz.com/media/running_jump.gif

Адрес нейросети:
https://sketch.metademolab.com/ 

Анна Кривко

https://media-xyz.com