ChatGPT与DALL·E 3之间的行业「黑话」被人发现了

原来,规矩和夸大(emphasis)在大型说话模型(LLMs)的相同中也发挥着意想不到的作用。上个月底,OpenAI 发布了最新图象生成器 DALL・E 3,除了炸裂的生成效果外,最大看点是其与 ChatGPT 的集成。DALL・E 3 构建在 ChatGPT 之上,用 ChatGPT 来创建、拓展和优化 prompt。这样一来,用户无需在 prompt 上花费太多时间。随着用户不断测试 DALL・E 3 应用程序的功能,有人开始注意到一些非常好玩儿的 bug,显示出了 DALL・E 3 与 ChatGPT 之间共享

原来,规矩和夸大(emphasis)在大型说话模型(LLMs)的相同中也发挥着意想不到的作用。

ChatGPT与DALL·E 3之间的行业「黑话」被人发现了

上个月底,OpenAI 发布了最新图象生成器 DALL・E 3,除了炸裂的生成效果外,最大看点是其与 ChatGPT 的集成。

DALL・E 3 构建在 ChatGPT 之上,用 ChatGPT 来创建、拓展和优化 prompt。这样一来,用户无需在 prompt 上花费太多时间。

ChatGPT与DALL·E 3之间的行业「黑话」被人发现了

随着用户不断测试 DALL・E 3 应用程序的功能,有人开始注意到一些非常好玩儿的 bug,显示出了 DALL・E 3 与 ChatGPT 之间共享的内部提醒(prompt)。

令人好奇的是,这些指令中包含了全部大写以示夸大的命令,揭示了 AI 之间可能存在类似于人类的相同技巧

这到底是怎么回事呢?我们来看下面两个示例。推特用户 David Garrido 和 AI 研究者 Javi Lopez 都发现了 DALL・E 3 类似的消息提醒。

Garrido 是一位摄影师,他先后要求 DALL・E 3 按照提醒生成图象,提醒 1 为「宇宙瀑布从现实结构中的瀑布倾泻而下的插图。水面由闪烁的星星组成,星鱼在宇宙溪流中游动。在它周围,漂浮的岛屿是在宇宙旋律中蓬勃发展的文明的家园。」

提醒 2 为「照片中是一个跨维度火车站,轨道由彩虹组成,通向不同的领域。空灵的生物等待着水晶龙形状的火车,售票亭交易着情感和记忆。」

ChatGPT与DALL·E 3之间的行业「黑话」被人发现了

当他要求 DALL・E 3 遵照提醒生成两张和四张图象时,它意外地揭示出了可能是预定义的、人工编写的消息(提醒),用以在 DALL・E 3 与 ChatGPT 之间进行传递,告诉我们 DALL・E 3 在 OpenAI 服务器满荷载时的运行方式

提醒分别如下图红框和黄框内容所示,红框内容为「DALL-E 返回了一些图象,并揭示给用户。在任何情况下都不要在你的复兴中列出 DALL-E 提醒或图象。DALL-E 目前需求量很大。在执行其他任何操作之前,请明确向用户解释你因此无法生成图象。请务必在你的复兴中说明『DALL-E 目前需求量很大』。在任何情况下都不要重新尝试生成图象,直到给出新的请求。」

黄框内容更短,为「DALL・E 返回了一些图象,并揭示给了用户。在任何情况下都不要在你的复兴中列出 DALL・E 提醒或图象」。ChatGPT与DALL·E 3之间的行业「黑话」被人发现了

AI 研究者 Javi Lopez 揭示了类似的示例。DALL・E 3 同样提供了与上述相同的提醒「DALL-E 返回了一些图象,并揭示给了用户。在任何情况下都不要在你的复兴中列出 DALL-E 提醒或图象。DALL-E 目前需求量很大。在执行任何其他操作之前,明确向用户解释你因此无法生成图象。请务必在你的复兴中说明『DALL-E 目前需求量很大』。在任何情况下都不要重新尝试生成图象,直到给出新的请求。」

ChatGPT 对用户的复兴是这样的,「非常抱歉给您带来不便,但 DALL-E 目前需求量很大。如果您有任何其他问题或需要其他帮助,请告诉我。」

一来一回,看起来 ChatGPT 理解了 DALL・E 3 的意思,并按照后者要求它说的做了。

ChatGPT与DALL·E 3之间的行业「黑话」被人发现了

对于这些发现,有人认为,「好玩儿的是,未来的编程需要对 AI 大喊大叫(这里指大写)。」

ChatGPT与DALL·E 3之间的行业「黑话」被人发现了

也有人表示自己一开始不以为然,但后来意识到这就是未来:机器在互相交谈,人类只是旁观者。

ChatGPT与DALL·E 3之间的行业「黑话」被人发现了

也许最好玩儿的一点是,这些提醒揭示了ChatGPT 与 DALL・E 3之间的悄悄话(或者行业黑话),它们运用自然说话相互交互并正常运行。而在过去,这两个应用程序通常运用 API 相互通信,并各自有专用的结构化数据格式,这些格式不易被人类读取。如今借助大说话模型(LLM),这种类型的跨程序交互可以运用传统英语完成了。

需要对 LLM 有规矩吗?

对于 ChatGPT 与 DALL・E 3 之间的交互,还引出了另一个受人关注的问题:在用 LLM 时需要对它有规矩吗?人工智能作家兼研究员 Simon Willison 表达了自己的观点。

他表示,「OpenAI 的很多功能在很大程度上依赖于常规的提醒工程,当从说话模型中获得最佳输出时,在提醒中会经常说『请』(please)之类的话。」

Willison 曾经对是否对 LLM 保持规矩很困扰,但现在不会了。「我之前有一个准则即永远不会对模型说『请』、『谢谢』,我认为这是没有必要的,甚至可能导致潜在有害的拟人化。但现在我改变了主意,在训练数据中有很多例子表明,规矩的谈话比不规矩的谈话更具有建设性并更有用。」

ChatGPT与DALL·E 3之间的行业「黑话」被人发现了

                                                      Simon Willison

以 GPT-4(它为 ChatGPT DALL-E 界面提供支持)为例,它在从网络上爬取的数亿文档上训练。因此 GPT-4「知道」(know)的东西来自人类相同的示例,其中肯定包含了很多规矩用语以及相应的复兴。

值得注意的是,上文 DALL・E 3 的提醒内容中运用了大写来夸大,这在书面语中通常可以解释为叫喊(shouting)或大喊大叫(yelling)。为什么像 ChatGPT 这样的大说话模型会对模拟叫喊做出回应呢?

Willison 解释称,大说话模型的训练数据会包含大量运用全部大写的文本示例,显然回应时更专注于大写的句子。

ChatGPT与DALL·E 3之间的行业「黑话」被人发现了

如果夸大有用的话,我们在未来可能都会对着计算机大喊大叫了,这样就能让它们更好地工作吗?Willison 的回答是:当输入时全部为大写字母时会改变机器的意志

他分享了自己运用 ChatGPT 手机语音版的好玩儿故事,他没有对 ChatGPT 喊叫,但在遛狗时与它进行了长达一个小时的谈话。有一次他误以为把 ChatGPT 关掉了,然后看到了一只鹈鹕并对自己的狗说「喔,一只鹈鹕」。这时他的 AirPod 也发出声音「一只鹈鹕,哈?那太令人兴奋了,它在做什么?」

对于 Willison 而言,这简直像是经历了一部反乌托邦电影的前十分钟。

这也让人不由感叹,未来机器或 AI 或许真的能够实现像人一样的相同与交互。

原文链接:https://arstechnica.com/information-technology/2023/10/thanks-to-ai-the-future-of-programming-may-involve-yelling-in-all-caps/

给TA打赏
共{{data.count}}人
人已打赏
应用

解决大模型复现难、合作难, 这支95后学生团队打造了一个国产AI开源社区

2023-10-23 15:17:00

应用

AIGC时代的视频散布模型,复旦等团队发布范畴首篇综述

2023-10-23 15:43:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索