OpenAI 正式发布了其面向生产环境的“实时 API”，标志着公司在语音交互技术领域迈出了重要一步。该 API 主要面向为客户支持、教育或个人生产力等实际应用构建语音助手的公司和开发者，其核心组件是全新的 GPT-Realtime 模型。该模型能够直接生成和处理语音，无需传统的文本转换步骤，从而实现更快、更自然的对话。
核心功能与性能显著提升
全新的 GPT-Realtime 模型在技术上实现了多项突破。它现在可以捕捉并理解笑声等非语言线索，在同一句话中流畅地切换不同语言，并根据指令调整语气，例如“以友好的法国口音”或“快速而专业”地说话。此外，该模型新增了两种声音:Cedar 和 Marin，并对现有声音进行了优化，进一步提升了用户体验。
在基准测试中，GPT-Realtime 表现出色，其准确率在 Big Bench Audio 上达到了82.8%（高于65.6%），在 MultiChallenge 上达到了30.5%（高于20.6%），在 ComplexFuncBench 上达到了66.5%（高于49.7%）。这些数据表明，新模型在处理复杂指令和多语言任务方面有显著进步。
更好的集成与更低的价格
新版 API 简化了工具集成，使模型能够更可靠地选择和使用正确的工具及参数。开发者现在可以通过 SIP 和远程 MCP 服务器连接外部服务，并使用可重复使用的提示来保存不同的配置。
此外，图像输入功能也已上线。用户可以在对话中发送屏幕截图或照片，模型可以引用并理解图像中的内容，例如读取文本或回答相关问题。开发者可以灵活控制模型所能看到的内容范围。
对于成本控制，新 API 允许开发者设置令牌限制并精简长会话，同时，GPT-Realtime 的价格也降低了20%。目前，每百万音频输入令牌价格为32美元，每百万输出令牌为64美元，缓存输入令牌价格为每百万0.40美元。
安全与隐私:保障措施与用户选择
OpenAI 强调，该 API 能够检测并终止违反其政策的对话，但同时也指出，开发者应自行添加额外的安全保障。在数据隐私方面，OpenAI 提供了专门的选项，允许欧盟用户选择在欧盟境内存储数据，并为企业用户制定了特殊的隐私规则，以确保数据安全合规。
