Что не так с 3D-моделями от ИИ
Генеративные модели знают, как объект должен выглядеть, но не понимают, как он работает. Отсюда практичные на вид, но нерабочие изделия: кружка, которая не держит кофе. Правки в таких моделях обычно даются тяжело, особенно новичкам в 3D-дизайне.
Как работает InstructMesh
InstructMesh сочетает систему TRELLIS от Microsoft, которая создаёт 3D-модели из текстовых и графических запросов, с большой языковой моделью GPT-4 — визуальное знание плюс умение рассуждать. Пользователь выделяет область и задаёт правку: открыть или закрыть пустоту, изменить локальную толщину. Команды дают словами или слайдерами. Изменения идут напрямую в промежуточном латентном представлении генератора, поэтому навыки профессионального 3D-моделирования не нужны.
Что уже напечатали
С помощью инструмента исследователи напечатали довольно неожиданные вещи: кружку, будто обвитую драконом, где хвост служит ручкой; синий свисток в форме ракушки; очки с крыльями бабочки над линзами. Ещё получилось устройство-осьминог, разливающее напитки сразу в несколько чашек, наколенник, замаскированный под джинсы, и «bristle bot» в виде яркой креветки: мотор спрятан внутри, и включённая игрушка скользит по поверхности.
Проверка на новичках
Чтобы проверить инструмент на новичках, команда попросила TRELLIS пересоздать популярные модели с платформы Thingiverse. Почти 80 процентов полученных моделей имели структурные дефекты. Новичкам предложили найти и исправить эти проблемы в InstructMesh — по оценке эксперта, они справлялись примерно в 90 процентах случаев. Всего провели два пользовательских исследования; участники делали вазы и подставки для телефона. Отдельный вывод: людям нравится гибрид, где слайдеры сочетаются с текстовыми командами.
Прототип, а не продукт
InstructMesh — исследовательский прототип, а не готовый продукт: авторы представят работу на конференции в ноябре. Фаруки уже работает в Google и не исключает, что инструмент появится в AR-платформе: опишешь нужную вещь с учётом обстановки, и её быстро напечатают. В планах также физические симуляции, которые подскажут, разобьётся ли чаша при падении и какой материал лучше, и интеграция более новой версии TRELLIS.2 для мелких деталей. Проект поддержали Google и MIT-HPI Collaborative Research Program.
А какую идею хочется воплотить вам?
Загляните в наш каталог или расскажите нам о своей задумке.
Посмотреть каталог →