Новый инструмент Nvidia превращает 3D-сцены в изображения, созданные искусственным интеллектом

Интеграция 3D и ИИ: Новый подход к генерации изображений

Компания Nvidia представила инновационный инструмент под названием "AI Blueprint for 3D-guided generative AI", который открывает новые горизонты в области создания изображений с использованием искусственного интеллекта. Этот инструмент объединяет в себе возможности популярного пакета 3D-моделирования Blender с передовым генератором изображений на основе текста.

Основная идея заключается в том, чтобы предоставить разработчикам возможность создавать ИИ-изображения, опираясь на предварительно смоделированные 3D-сцены. Такой подход позволяет значительно повысить контроль над конечным результатом и добиться большей точности в соответствии с задуманным образом.

Принцип работы инструмента

Nvidia AI Blueprint for 3D-guided generative AI доступен для пользователей, обладающих компьютерами, оснащенными графическими процессорами Nvidia RTX 4080 или более новыми моделями. В основе его работы лежит интеграция Blender с FLUX.1 – разработкой компании Black Forest Lab.

Процесс начинается с создания сцены в Blender, где пользователь размещает различные 3D-объекты, такие как здания, растительность, транспортные средства и другие элементы. Затем эта сцена используется в качестве своеобразного шаблона или ориентира для генерации 2D-изображения с помощью ИИ.

Более точный контроль над деталями изображения

Ключевым преимуществом данного подхода является предоставление пользователю более широких возможностей для контроля над деталями генерируемого 2D-изображения. Благодаря возможности ручной настройки положения камеры и объектов в 3D-сцене, можно добиться гораздо более точного результата, чем при использовании исключительно текстовых описаний.

Представьте, что вам необходимо создать изображение конкретного городского пейзажа с определенной архитектурой зданий, количеством деревьев, расположением автомобилей и определенным углом обзора. Вместо того, чтобы пытаться описать все это текстом, вы можете создать грубую версию этой сцены в Blender, расставив основные объекты.

Генератор изображений FLUX.1 использует эту 3D-сцену в качестве отправной точки для создания изображения, интерпретируя и детализируя ее на основе заданных параметров и стилей. Такой подход может значительно упростить и ускорить процесс создания изображений, сократив количество необходимых итераций текстовых запросов.

Преимущества 3D-моделирования в генерации изображений

Важно отметить, что 3D-объекты, используемые в Blender, не обязательно должны быть высоко детализированными. Инструмент использует их в первую очередь как ориентир для компоновки сцены, определяя расположение и взаимодействие объектов в пространстве.

Nvidia описывает свои blueprints как "заранее определенные, настраиваемые AI workflows", подчеркивая их роль в оказании помощи разработчикам при создании генеративных AI-приложений. Эти инструменты призваны упростить и ускорить процесс разработки, предоставляя готовые решения и оптимизированные рабочие процессы.

Готовые решения и подробная документация

В случае с AI Blueprint for 3D-guided generative AI, Nvidia предоставляет подробную пошаговую документацию, примеры ресурсов и предварительно настроенную среду для обучения использованию инструмента. Это позволяет пользователям быстро освоить новые технологии и начать создавать собственные проекты.

Стоит отметить, что подобные решения уже разрабатываются и другими компаниями. Например, Adobe анонсировала инструмент "Project Concept", который также позволяет использовать 3D-сцены для управления генерацией изображений. Однако, разработка Adobe пока находится на экспериментальной стадии.