近日，微软宣布重磅升级其开源项目 AgentUFO，推出了全新的 UFO² 版本，该版本新增了操作系统功能，并与 Windows 系统实现了深度集成。此举不仅增强了自动化任务的执行效率，还使得用户能够更便捷地进行复杂操作。
UFO² 的一个显著特点是其能够直接调用 Windows 的原生 API 和 COM 接口。这种方式相比传统的机器人流程自动化（RPA），能够在执行复杂业务时更加高效且精准。例如，在 Excel 中将表格数据转换为图表，传统 RPA 需要模拟多次点击鼠标，而 UFO² 则可以通过一次 API 调用轻松完成，避免了视觉定位和鼠标模拟的繁琐。
通过测试数据显示，UFO² 在自动化任务的成功率方面，显著高于 OpenAI 的 Operator。在不同的测试场景中，UFO² 的成功率分别达到了30.5% 和32.7%，而 Operator 的成功率仅为20.8% 和14.3%。此外，UFO² 在处理复杂任务和跨应用操作的表现上也明显优于 Operator，其在非标准界面的适应性更强。
UFO² 的核心控制组件 HostAgent 负责解析用户指令、管理应用程序生命周期和协调 AppAgents 的执行。当用户通过自然语言发出自动化指令时，HostAgent 会将任务分解为一系列子任务，并将其分配给相应的 AppAgents 执行。
每个 AppAgent 专注于特定的 Windows 应用程序，能够以更高的效率执行任务。UFO² 还引入了混合控制检测机制，结合视觉输入与应用程序的元数据，提升了系统对 GUI 元素的感知能力。这一创新使得 AppAgent 能够在标准和非标准环境中都能稳定工作。
另一个值得注意的创新是 UFO² 的画中画模式。这一功能实现了自动化任务与用户主桌面的隔离，用户可以在主桌面上正常操作，而自动化任务则在独立的虚拟桌面中运行。这种设计提升了用户体验，降低了系统干扰和潜在安全风险。
UFO² 的这些新功能展现了微软在自动化领域的最新技术进步，为用户提供了更加高效、灵活的工作环境。
开源地址:https://github.com/microsoft/UFO?tab=readme-ov-file
划重点:
1. 🚀 UFO² 与 Windows 系统深度集成，能直接调用原生 API，提升自动化效率。
2. 📊 UFO² 的自动化任务成功率显著高于 OpenAI 的 Operator，表现出色。
3. 🖥️ 新增的画中画模式实现自动化任务与用户操作的隔离，提升用户体验。
