AI在线 AI在线

机器人上下文协议首次开源:阿里达摩院一口气放出具身智能「三大件」

8 月 11 日,在世界机器人大会上,阿里达摩院宣布开源自研的 VLA 模型 RynnVLA-001-7B、世界理解模型 RynnEC、以及机器人上下文协议 RynnRCP ,推动数据、模型和机器人的兼容适配,打通具身智能开发全流程。 开源链接:机器人上下文协议 RynnRCP - 语言 - 动作模型 RynnVLA-001 RynnEC ,但仍面临开发流程碎片化,数据、模型与机器人本体适配难等重大挑战。 达摩院将 MCP(Model Context Protocol)理念引入具身智能,首次提出并开源了 RCP(Robotics Context Protocol)协议以推动不同的数据、模型与本体之间的对接适配。

8 月 11 日,在世界机器人大会上,阿里达摩院宣布开源自研的 VLA 模型 RynnVLA-001-7B、世界理解模型 RynnEC、以及机器人上下文协议 RynnRCP ,推动数据、模型和机器人的兼容适配,打通具身智能开发全流程。

开源链接:

  • 机器人上下文协议 RynnRCPhttps://github.com/alibaba-damo-academy/RynnRCP
  • 视觉 - 语言 - 动作模型 RynnVLA-001https://github.com/alibaba-damo-academy/RynnVLA-001
  • 世界理解模型 RynnEC https://github.com/alibaba-damo-academy/RynnEC

具身智能领域飞速发展,但仍面临开发流程碎片化,数据、模型与机器人本体适配难等重大挑战。

达摩院将 MCP(Model Context Protocol)理念引入具身智能,首次提出并开源了 RCP(Robotics Context Protocol)协议以推动不同的数据、模型与本体之间的对接适配。

达摩院打造了名为 RynnRCP 的一套完整的机器人服务协议和框架,能够打通从传感器数据采集、模型推理到机器人动作执行的完整工作流,帮助用户根据自身场景轻松适配。RynnRCP 现已经支持 Pi0、GR00T N1.5 等多款热门模型以及 SO-100、SO-101 等多种机械臂,正持续拓展。

图片图片

具体而言,RynnRCP 包括 RCP 框架和 RobotMotion 两个主要模块。

RCP 框架旨在建立机器人本体与传感器的连接,提供标准化能力接口,并实现不同的传输层和模型服务之间的兼容。

RobotMotion 则是具身大模型与机器人本体控制之间的桥梁,能将离散的低频推理命令实时转换为高频的连续控制信号,实现平滑、符合物理约束的机器人运动。同时,RobotMotion 还提供了一体化仿真 - 真机控制工具,帮助开发者快速上手,支持任务规控、仿真同步、数据采集与回放、轨迹可视化等功能,降低策略迁移难度。

大会上,达摩院还宣布开源两款具身智能大模型。

RynnVLA-001 是达摩院自主研发的基于视频生成和人体轨迹预训练的视觉 - 语言 - 动作模型,其特点是能够从第一人称视角的视频中学习人类的操作技能,隐式迁移到机器人手臂的操控上,从而让机械臂操控更加连贯、平滑,更接近于人类动作。

世界理解模型 RynnEC 将多模态大语言模型引入具身世界,赋予了大模型理解物理世界的能力。该模型能够从位置、功能、数量等 11 个维度全面解析场景中的物体,并在复杂的室内环境中精准定位和分割目标物体。无需 3D 模型,该模型仅靠视频序列就能建立连续的空间感知,还支持灵活交互。

据了解,达摩院正积极投入具身智能,聚焦于系统和模型研发,与多方共建产业基础设施,包括硬件本体和标准组件适配、数据采集,以及技术社区 DAMO 开发者矩阵等,希望拓展机器人的产业空间,加速场景落地。

达摩院还在上月开源了 WorldVLA 模型,首次将世界模型与动作模型融合,提升了图像与动作的理解与生成能力,受到业界关注。

相关资讯

微软等开源AIOpsLab,可构建自主云AI Agent

微软、加州大学伯克利分校、伊利诺伊大学等研究人员联合开源了,一个专用于云自动化运维的AI Agents——AIOpsLab。 AIOpsLab能模拟真实云服务环境中的复杂操作任务,实现故障的自动化检测、定位和解决问题。 还具备高度的可观测性,能够收集和分析关键的遥测数据,确保对系统状态和应用环境的深入洞察。
1/27/2025 9:51:24 AM
AIGC开放社区

DeepSeek开源Janus-Pro-7B:多模态AI模型性能超越DALL-E 3 和 Stable Diffusion 3!

中国人工智能公司 DeepSeek 的 R1“推理”人工智能已经引起了广泛关注,位居应用商店排行榜首位并改变了股市。 随后DeepSeek又宣布开源新一代多模态模型Janus-Pro-7B,该模型在图像生成、视觉问答等任务中全面超越 OpenAI 的 DALL-E 3 和 Stable Diffusion 3,并以“理解-生成双路径”架构和极简部署方案引发AI社区轰动。 性能表现:小模型吊打行业巨头Janus-Pro-7B虽仅有70亿参数(约为GPT-4的1/25),却在关键测试中碾压对手:文生图质量:在GenEval测试中以80%准确率击败DALL-E 3(67%)和Stable Diffusion 3(74%)复杂指令理解:在DPG-Bench测试中达84.19%准确率,能精准生成如“山脚下有蓝色湖泊的雪山”等复杂场景多模态问答:视觉问答准确率超越GPT-4V,MMBench测试得分79.2分接近专业分析模型技术突破:像“双面神”分工协作传统模型让同一套视觉编码器既理解图片又生成图片,如同让厨师同时设计菜单和炒菜。
2/7/2025 11:00:00 AM
AIGC Studio

李飞飞、DeepSeek为何偏爱这个国产模型?

斯坦福李飞飞团队的一篇论文,近来在AI圈子掀起了一场飓风。 他们仅用1000个样本,在16块H100上监督微调26分钟,训出的新模型s1-32B,竟取得了和OpenAI o1、DeepSeek R1等尖端推理模型相当的数学和编码能力! 团队也再次证明了测试时Scaling的威力。
2/8/2025 9:30:00 AM
新智元
  • 1