AI在线 AI在线

卡内基梅隆大学推出 AI 模型“乐高 GPT”,敲敲键盘就能生成可搭建积木

据外媒Tom's Hardware今日报道,卡内基梅隆大学的研究团队开发出一款名为 LegoGPT 的 AI 模型,能够根据文字指令生成可实际搭建的乐高设计。

据外媒 Tom's Hardware 今日报道,卡内基梅隆大学的研究团队开发出一款名为 LegoGPT 的 AI 模型,能够根据文字指令生成可实际搭建的乐高设计。

AI在线附项目地址:LegoGPT: Generating Physically Stable and Buildable LEGO Designs from Text

GitHub:https://github.com/AvaLovelace1/LegoGPT/

根据介绍,团队训练了一种自回归大型语言模型,通过预测下一个 token 的方式,判断下一块该放置什么积木

卡内基梅隆大学推出 AI 模型“乐高 GPT”,敲敲键盘就能生成可搭建积木

卡内基梅隆大学推出 AI 模型“乐高 GPT”,敲敲键盘就能生成可搭建积木

团队还为模型增加了有效性校验和带有物理感知的回滚机制,确保生成的设计不会出现积木重叠或悬空等问题,也就是说最终结果始终可行且结构稳固。不仅如此,LegoGPT 输出的设计,既能由人手搭建,也支持机器人操作。

用于训练 LegoGPT 的数据集被命名为 StableText2Lego,构建流程也相当复杂:系统会先将文本提示转化为 ShapeNetCore 网格模型,再将其嵌入一个 20×20×20 的体素网格中,从而生成初步的乐高积木布局。

在保持整体造型不变的前提下,系统对这些布局做出变化,随后剔除掉结构不稳定的设计。保留下来的样本会从 24 个不同角度进行渲染,最终交由 GPT-4o 生成相应的描述文本。

该数据集包含超过 47000 个乐高建构样本,涵盖了 28000 多种三维造型,包括书架、桌子、椅子、汽车、船只、吉他等。这些数据被用来训练模型,使 LegoGPT 能够从一段文字生成独特且原创的设计。

卡内基梅隆大学推出 AI 模型“乐高 GPT”,敲敲键盘就能生成可搭建积木

LegoGPT 首先把用户输入的文本转化为乐高设计图,再按从底部到顶部的顺序,将这些设计编码为文本 token。系统随后会生成指令,将乐高积木结构与注释相对应,让模型学会理解文本描述与积木组件之间的对应关系。

接下来,LegoGPT 采用自回归方式一步步预测需要放置的下一块积木。每次添加积木时,系统都会检验其格式是否正确、是否存在于积木库中、是否与已有结构冲突。这一过程会持续进行直到设计完成,最后还会进行稳定性测试。

卡内基梅隆大学推出 AI 模型“乐高 GPT”,敲敲键盘就能生成可搭建积木

如果 AI 判断结构不稳,它会自动回滚到最近的稳定状态,再从该点继续生成,直到完成稳定设计。

目前,这个项目已经完全开源,团队发布了数据集、代码和模型,方便其他人复刻或扩展。

相关资讯

调查:超72% 的企业选择 AI 工具时最看重易用性

根据最近的一项 CIO 报告,企业在人工智能(AI)领域的投资高达2.5亿美元,尽管在证明投资回报率(ROI)方面面临挑战。 商业领袖们正努力提高生产力,但新技术的集成往往需要重构现有应用、更新流程并激励员工学习,以适应现代商业环境。 QuickBlox 首席执行官 Nate MacLeitch 对136位高管进行了调查,以揭示 AI 采用的现实情况,探讨领导者的首要任务、主要担忧以及他们在2025年寻找可信工具的信息来源。
3/18/2025 10:02:00 AM
AI在线

思谋发布首个工业大模型开发底座 大模型开发成本直降40%

6月27日,华南工博会现场,思谋科技宣布行业首个工业大模型开发与应用底座SMoreLrMo正式发布。SMoreLrMo是面向工业场景的大模型开发与应用平台,覆盖了应用层面、算法框架、基础设施服务等开发全场景,涉及算力资源调度管理能力、数据自动标注管理能力、应用开发管理能力、算法服务管理能力等人工智能模型全生命周期。今年以来,大模型的火热点燃了新一轮人工智能发展浪潮,也正在引领新一轮工业革命,帮助企业重塑生产及经营各环节以实现提质降本增效。而SMoreLrMo平台的发布,将为大模型在工业领域的应用提供了基础,进一步降
6/27/2023 3:51:00 PM
新闻助手

集聚场景驱动力,激发AI生产力——WAIC 2024“人工智能+”应用场景持续广泛征集

今年的政府工作报告提出,大力推进现代化产业体系建设,加快发展新质生产力。同时要深化大数据、人工智能等研发应用,开展“人工智能 ”行动。近年来,上海市委、市政府不断创新政策举措,探索应用场景,深入推进城市转型、产业升级,为新一代人工智能发展开辟了广阔天地。世界人工智能大会(WAIC)作为行业标杆性盛会,每年都集聚了全球人工智能领域最具影响力的科学家、企业家、政界人士、高校组织、投资人及初创团队,已然成为全球人工智能领域学术与行业交流、展览展示、合作洽谈的重要平台和窗口。2024世界人工智能大会将于7月初在上海举办,大
5/20/2024 4:33:00 PM
新闻助手
  • 1