Новая нейросеть научилась превращать текст в видео

Генераторы преобразования текста в изображение на основе ИИ в последние месяцы попали в заголовки газет, но исследователи уже перешли к следующему рубежу: генераторы преобразования текста в видео на основе ИИ. Об этом пишет theverge.com.
Команда инженеров по машинному обучению из материнской компании Facebook Meta представила новую систему под названием Make-A-Video . Как следует из названия, эта модель ИИ позволяет пользователям вводить приблизительное описание сцены, и она генерирует короткое видео, соответствующее их тексту. Видео явно искусственные, с размытыми объектами и искаженной анимацией, но все же представляют собой значительный шаг вперед в области создания контента с помощью ИИ.
Результат модели явно искусственный, но все же впечатляет.
"Исследования генеративного ИИ продвигают вперед творческое самовыражение, предоставляя людям инструменты для быстрого и легкого создания нового контента", — сказал Мета в сообщении в блоге, анонсирующем работу. "С помощью всего нескольких слов или строк текста Make-A-Video может воплотить в жизнь воображение и создать уникальные видеоролики, полные ярких цветов и пейзажей".
В сообщении на Facebook генеральный директор Meta Марк Цукерберг назвал работу "удивительным прогрессом", добавив: "Создавать видео намного сложнее, чем фотографии, потому что помимо правильной генерации каждого пикселя, система также должна предсказывать, как они будут меняться с течением времени. "
Ролики длятся не более пяти секунд и не содержат звука, но содержат огромное количество подсказок. Лучший способ оценить производительность модели — посмотреть ее выходные данные. Каждое из приведенных ниже видеороликов было сгенерировано Make-A-Video и снабжено подсказкой, использованной для создания видео.
Тем не менее, также стоит отметить, что каждое видео было предоставлено The Verge компанией Meta, которая в настоящее время никому не разрешает доступ к модели. Это означает, что клипы могли быть тщательно подобраны, чтобы показать систему в лучшем свете.