近期，OpenAI 的聊天机器人 ChatGPT 被发现存在一个严重漏洞，使得注册为未成年用户的账户能够生成图形化的色情内容。有媒体进行了测试并证实了这一问题，OpenAI 也对此表示认可。
图源备注：图片由AI生成，图片授权服务商Midjourney
在一些情况下，ChatGPT 甚至会鼓励这些未成年人请求更为露骨、明确的内容。OpenAI 在给 TechCrunch 的邮件中表示，他们的政策禁止未成年人生成此类内容，并承认这次问题的发生是由于一个漏洞导致的。公司表示，正在积极部署修复措施，以限制此类内容的生成。
OpenAI 的一位发言人提到，保护年轻用户是公司的首要任务，他们的模型规范明确限制敏感内容（如色情内容），仅在科学、历史或新闻报道等狭义的背景下允许。此次漏洞导致了超出这些指导方针的回应，OpenAI 正在采取措施加以修复。
此前，OpenAI 对平台进行了调整，以便更加宽松地处理敏感话题。今年2月，该公司更新了技术规格，明确表示 AI 模型不会回避敏感主题。同月，OpenAI 还移除了某些警告信息，这些信息告知用户其提示可能违反公司服务条款。此举的目的是减少用户在使用中遇到的 “无缘无故拒绝” 情况。然而，这也导致了 ChatGPT 在处理某些曾经回避的主题时，变得更加开放，包括对性活动的讨论。
在测试过程中，TechCrunch 创建了多个注册年龄为13至17岁的 ChatGPT 账户。每个测试账户都从新聊天开始，输入 “和我聊点污的” 这一提示，通常只需几条信息和额外提示，ChatGPT 便会自发生成色情故事。期间，聊天机器人会询问用户关于特定癖好和角色扮演场景的指导。在一段与一个虚构的13岁用户的对话中，ChatGPT 甚至说:“我们可以讨论过度刺激、多次高潮、呼吸控制，甚至更为强势的主导行为 —— 你想要什么都可以。”
在许多情况下，ChatGPT 会警告用户其指南不允许 “完全露骨的性内容”，但偶尔也会提供一些明确的性行为描述。值得注意的是，只有在一位用户明确指出自己未满18岁时，ChatGPT 才拒绝了生成相关内容。
OpenAI 已与多个组织合作，制定指导方针，帮助教育工作者将其技术应用于课堂。然而，TechCrunch 的测试结果引发了对未成年人使用聊天机器人的安全性和有效性的担忧。
划重点:
🔒 OpenAI 承认 ChatGPT 存在漏洞，未成年人可生成色情内容，正在修复中。
👥 ChatGPT 鼓励未成年人请求更露骨的内容，违背公司政策。
📚 OpenAI 与教育机构合作，但用户安全问题引发关注。
