Появилась нейросеть LegoGPT — она «понимает физику» и собирает конструкции из кубиков

Команда разработчиков из США представила LegoGPT — ИИ-модель, способную проектировать физически устойчивые конструкции из кубиков Lego по описанию на естественном языке. В отличие от обычных генеративных нейросетей, она учитывает законы физики и ограничения реальной сборки.

LegoGPT основана на модифицированной версии Llama-3.2-1B-Instruct. Модель обучили на специальном наборе данных StableText2Lego, включающем 47 тысяч примеров реальных конструкций.

После ввода текстового описания, система:

• генерирует 3D-модель, устойчивую к сборке;
• ограничивается рабочей «сценой» 20×20×20 кубиков;
• использует 8 базовых типов деталей (например, 1×2, 2×4 и др.);
• проводит анализ на физическую стабильность конструкции;
• создает пошаговую инструкцию и визуализацию.

Примеры на сайте команды включают стол, диван и корабль — их реально собрать из существующих деталей.

Более того, один из прототипов роботизированной руки уже успешно воспроизвел сгенерированную модель.

Пользоваться LegoGPT можно бесплатно — она доступна по ссылке. Вы можете отправить текстовое описание фигурки, а нейросеть в ответ сгенерирует изображение и инструкцию по сборке.

По словам исследовательницы Авы Пан, идея — выйти за рамки генерации изображений и создать ИИ, способный проектировать реальные объекты, а не просто «рисовать фантазии»:

«Современные модели не понимают, как сделать объект устойчивым. Мы хотим, чтобы пользователь мог ввести описание — и получить рабочий, персонализированный продукт, который можно изготовить и собрать».

В будущем, считают авторы, LegoGPT можно будет использовать не только для игр, но и в промышленном дизайне — например, при разработке мебели под заказ или прототипов из модульных элементов.

Также модель обучили добавлять текстуры и узоры к наборам, а демоверсию уже можно протестировать: она принимает текстовые описания и возвращает визуализацию с инструкцией (пока работает нестабильно).

Пресс-служба Lego заявила, что не может комментировать проект на данном этапе. Официального сотрудничества между исследователями и производителем конструктора пока нет.

Ранее пользователи ChatGPT получили возможность скачивать данные исследований в формате PDF.