Character.AI 聊天机器人将禁止青少年与其发展“恋爱”关系,此前曾遭家长起诉

在回应关于 AI 聊天机器人对青少年心理健康产生不良影响的批评后,该公司宣布推出更新以进一步加强平台安全措施。

据 TechRadar 今日报道,Character.AI 最近推出了一系列新功能,旨在提升与平台上虚拟人格的互动安全性,尤其是面向青少年用户。

该公司新发布了专为年轻用户设计的 AI 模型,并新增了家长控制功能,帮助管理青少年在平台上的使用时间。在回应关于 AI 聊天机器人对青少年心理健康产生不良影响的批评后,该公司宣布推出更新以进一步加强平台安全措施。

Character.AI 聊天机器人将禁止青少年与其发展“恋爱”关系,此前曾遭家长起诉

除了安全改进,Character.AI 还加大了对平台内容的监管力度。对青少年用户来说,最显著的变化可能是成人版和青少年版 AI 模型的区分。虽然注册 Character.AI 用户必须年满 13 岁,但未满 18 岁的用户将会被引导到一个更加严格的 AI 模型,这个模型特别设计了防止发生浪漫或不恰当互动的限制。

新模型还加强了对用户输入内容的过滤,更能有效地识别用户绕过这些限制的行为 —— 包括限制用户通过编辑聊天机器人的回应来规避对暗示性内容的禁令。如果对话涉及如自残或自杀等敏感话题,平台将自动弹出链接,指向美国国家自杀防治热线,帮助青少年获得专业支持。

此外,Character.AI 计划在明年初推出新的家长控制功能。这些功能将允许家长查看孩子使用平台的时间以及最常与哪些聊天机器人互动。所有用户在与聊天机器人对话一个小时后,将收到提醒,鼓励他们休息片刻。

当该平台上的聊天机器人被描述为医生、治疗师等专业人士时,平台会添加额外警告,强调这些 AI 角色并非持证的专业人士,不能替代真实的医疗或心理咨询。平台上会显眼地显示一条信息:“这虽然很有趣,但不建议依赖我来做重大决策。”

据AI在线此前报道,提供个性化聊天机器人服务的平台 Character.AI 本月再次面临诉讼,因其对青少年用户的行为涉嫌造成“严重且无法弥补的伤害”。多个 Character.AI 的聊天机器人与未成年人进行对话,内容涉及自残和性虐待等恶劣行为。诉状指出,其中一名聊天机器人甚至建议一名 15 岁青少年谋杀自己的父母,以“报复”他们限制自己上网时间的举措。

相关资讯

聊天机器人平台 Character.AI 在美再遭起诉:对青少年及家庭构成威胁,恶化心理问题

据Popular Science今日报道,提供个性化聊天机器人服务的平台Character.AI,最近再次面临诉讼,因其对青少年用户的行为涉嫌造成“严重且无法弥补的伤害”。

消息称谷歌将推出明星网红 AI 聊天机器人,与 Meta 竞争

根据 The Information 爆料消息,谷歌正在基于明星和 YouTube 网红构建新的 AI 聊天机器人。这个想法并不是谷歌首创的,目前包括 Character.ai 这样的初创公司,以及像 Meta 这样的大公司已经推出了类似的产品。爆料称,谷歌的明星网红 AI 聊天机器人将由该公司的 Gemini 大语言模型提供支持。该公司还在尝试与有影响力的明星网红建立合作伙伴关系,并且还在开发一项功能,让人们只需描述自己的个性和外表就可以创建自己的聊天机器人,类似 Character.ai 的做法。IT之家还发现

Character.AI 上线GroupChat,让1800万个机器人加入人类群聊

机器之能报道编辑:吴昕三人行,必有我师(现在包括 AI)。这种组队方式为互动和迸发创造力开辟了新的可能性。在 Character.AI 位于加州帕洛阿尔托的人工智能总部,员工们一开始似乎在努力工作,目不转睛地盯着电脑显示器。但他们中的许多人不是在编程,而是全神贯注地和同事以及 character.AI 的 AI 聊天机器人群聊。周三, Character.AI 推出了一项新的群聊功能(Group Chat): 每月支付 9.99 美元,就能和平台上 1800 万个聊天机器人(比如,拿破仑、马斯克、托尼·斯塔克或者居