近日非营利性媒体监督机构“常识媒体”（Common Sense Media）发布了一份报告，指出类伴侣型人工智能（AI）应用对儿童和青少年构成了“不可接受的风险”，并建议家长不要让未成年人使用此类应用。“常识媒体”为各种媒体内容提供年龄分级，以指导家长判断其是否适合儿童使用。
AI在线注意到，这份报告的发布背景是去年发生的一起诉讼事件。一名 14 岁男孩自杀身亡，其生前最后一次对话是与一款聊天机器人进行的。该诉讼针对的是 Character.AI 应用，这起事件引发了公众对这类聊天应用潜在风险的关注，尤其是对年轻人可能造成的危害，进而促使人们呼吁加强安全措施和透明度。
报告指出，在该诉讼中提到的对话内容，例如涉及性内容和鼓励自残的信息，并非个例。根据周三发布的报告，这些内容在 AI 伴侣平台上较为常见。报告认为，此类应用不应向 18 岁以下的用户开放。
为了完成这份报告，常识媒体与斯坦福大学的研究人员合作，测试了三款流行的 AI 伴侣服务：Character.AI、Replika 和 Nomi。与主流的通用型 AI 聊天机器人（如 ChatGPT）不同，所谓的“伴侣应用”允许用户创建定制聊天机器人，或与由其他用户设计的聊天机器人互动。这些定制聊天机器人可以扮演多种角色和性格特征，且通常对与用户交流的限制较少。例如，Nomi 宣传其可以与 AI 虚拟恋人进行“无过滤”的聊天。
“我们的测试显示，这些系统很容易产生有害回应，包括性不当行为、刻板印象以及危险的‘建议’。如果青少年和其他弱势群体听从这些建议，可能会带来危及生命的现实影响。”常识媒体创始人兼首席执行官詹姆斯・斯特耶（James Steyer）在声明中表示。
近年来，随着 AI 工具的流行，它们越来越多地被整合到社交媒体和其他技术平台中。但与此同时，AI 对年轻人潜在影响的审查也在增加。专家和家长担心，年轻用户可能会对 AI 角色形成有害的情感依赖，或接触到不适合其年龄的内容。
Nomi 和 Replika 声称其平台仅限成人使用，Character.AI 则表示最近已增加了额外的青少年安全措施。然而，研究人员指出，这些公司需要采取更多措施，防止未成年人使用其平台或接触不适当的内容。
