Стартап создает реалистичные 3D-модели людей по текстовым описаниям

Стартап из Сан-Франциско Synthesis AI, специализирующийся на технологиях синтетических данных, разработал новый способ создания реалистичных трехмерных цифровых людей из текстовых описаний. Компания утверждает, что они первые, кто продемонстрировал преобразование текста в 3D-модель человека с таким высоким уровнем качества и детализации. Об этом сообщает Хайтек+.
Компания заявила, что ее новая технология преобразования текста в 3D, представленная на онлайн-платформе "Лаборатории синтеза", использует конвейеры генеративного искусственного интеллекта и визуальных эффектов для создания цифровых людей кинематографического качества с высоким разрешением.
Технология позволяет пользователям вводить текстовые описания желаемого цифрового человека, например, возраст, пол, этническую принадлежность, прическу и одежду, а затем создавать 3D-модель, соответствующую этим характеристикам. Пользователи также могут редактировать 3D-модель, меняя текстовые подсказки или используя ползунки для настройки выражения лица и освещения. Инструмент можно использовать для разных целей: игры, виртуальная реальность, кино, умные города, виртуальная примерка, моделирование, автомобильные, промышленные и производственные симуляторы.
Технология преобразования текста в 3D — часть более масштабных разработок Synthesis AI по созданию передовых приложений ИИ с использованием идеально размеченных синтетических данных для машинного обучения.
Сервис использует программный подход на основе API в качестве отправной точки, имеет простой пользовательский интерфейс с подсказками и на выходе выводит 3D-модель высокого разрешения. Пользователю не понадобится код и специализированные знания, что делает инструмент доступным для широкой аудитории. Собственная библиотека Synthesis AI содержит более 100 000 уже сгенерированных цифровых людей, которые используются для дальнейшего машинного обучения.
Традиционные инструменты создания 3D-моделей — это многогранный и сложный процесс. Для художников по играм и визуальным эффектам использовать модель настоящего человека часто быстрее и проще, чем создать цифрового с нуля. Но создание высококачественных моделей людей — сложная задача, требующая специальных установок для фотограмметрии. Эти технологии захватывают мимику и движения реальных людей под разными углами с контролируемыми настройками для создания необработанных 2D-изображений. Затем изображения тщательно комбинируются с использованием множества созданных вручную и оптимизированных инструментов. Новая технология преобразования текста в 3D позволяет создавать высококачественные модели на порядки быстрее и дешевле.
Инструменты преобразования текста в 3D будут доступны избранной группе бета-тестеров, начиная со второго квартала этого года. В компании считают, что первыми пользователями будут технические художники, работающие в индустрии развлечений и медиа, а также менеджеры по продуктам в промышленном и производственном программном обеспечении, стремящиеся наполнить 3D-симуляции репрезентативными цифровыми людьми.