好消息！ 好消息～ 欢迎科研团队供稿

免费分享学术 项目成果

卡内基梅隆大学提出了LegoGPT，这是首个能够根据文本提示生成物理稳定的乐高积木模型的方法。为此，构建了一个大规模、物理稳定的乐高设计数据集StableText2Lego，其中包含超过47,000 个乐高结构，涵盖28,000 多个独特的三维物体，每个都配有详细的文本描述，并训练了一个自回归的大型语言模型，通过预测“下一个积木块”的方式生成设计。

LegoGPT 能够生成稳定、多样且美观的乐高设计，且高度契合输入的文本提示。同时，还开发了一种基于文本的乐高纹理生成方法，用于创建带有颜色和纹理的设计。同时，进一步展示了这些设计不仅可以由人类手动拼装，还可以由机器人手臂自动组装。（链接在文章底部）

01 技术原理

(a)LEGOGPT方法通过端到端的方式，根据文本描述生成物理稳定的乐高结构，并展示逐块 构建的中间步骤。(b) 所生成的设计不仅可以手动拼装，还可由自动化机器人进行组装。(c) 除了基础的乐高设计（上方），LEGOGPT方法还可以根据外观描述生成带有颜色（右下）和纹理细节（左下）的乐高模型。

(a) 从 ShapeNetCore网格模型出发，通过将其体素化到一个 20 × 20 × 20 的网格中，并应用 “乐高化（legolization）” 过程来确定积木布局，从而生成乐高设计。(b) 为了增强多样性，对每个形状进行多种结构变换，通过随机化积木布局，在保持整体形状不变的前提下生成多个变体。

(c) 接着对每个变体进行稳定性分析，筛除那些物理上不稳定的设计。(d) 为获得每个形状对应的文本描述，从 24 个不同视角渲染乐高设计，并利用 GPT-4o生成详细的几何描述。(e) 展示了 StableText2Lego 数据集中 5 个类别的示例样本。

(a) 系统将一个乐高设计标记化为一系列文本 token，按照自底向上的光栅扫描顺序排列。(b) 构建了一个指令数据集，将积木序列与文本描述配对，用于微调 LLaMA-3.2-Instruct-1B模型。(c) 在推理阶段，LegoGPT 会根据文本提示逐块预测积木，逐步生成乐高设计。

对于每一个生成的积木块，都会进行有效性检查，确保它的格式正确、在砖块库中存在，且不会与已有积木发生碰撞。设计完成后，还会对整个结构进行物理稳定性验证。如果发现结构不稳定，会回滚至稳定状态，删除所有不稳定的积木及其之后的部分，并从该点重新开始生成。

02 演示效果

从文本逐步生成乐高结构：

使用机器人自动组装生成的乐高结构（速度提高 8 倍）： 生成纹理乐高模型： 生成的彩色乐高模型：

https://github.com/AvaLovelace1/LegoGPT/
https://arxiv.org/pdf/2505.05469

欢迎交流～，带你学习AI，了解AI