AI聊天机器人变身禁爱警察?家长控告引发热议
智慧科技
12月14日消息,据TechRadar今日报道,Character.AI近日推出了一系列新功能,主要目的是增强用户在平台与虚拟角色互动时的安全性,特别关注青少年用户的使用体验。
该公司最新发布了一款专为年轻用户打造的AI模型,并引入了家长控制功能,以便更好地管理青少年在平台上的使用时长。在面对有关AI聊天机器人可能对青少年心理健康造成负面影响的批评后,该公司宣布将推出更新版本,进一步强化平台的安全措施。
除了在安全性方面的提升,Character.AI还加强了对平台内容的监管。对于青少年用户而言,最明显的变化是成人版和青少年版AI模型的区分。尽管Character.AI要求注册用户必须年满13岁,但未满18岁的用户将被导向一个更为严格的AI模型。这一模型特别设置了防止产生浪漫或不适当互动的限制。
新模型进一步增强了对用户输入内容的过滤功能,更有效地识别用户试图规避这些限制的行为,包括通过修改聊天机器人的回复来避开对暗示性内容的禁令。若对话涉及到自残或自杀等敏感话题,平台会自动提供美国国家自杀防治热线的链接,为青少年提供专业的支持和帮助。
此外,Character.AI打算在明年年初引入新的家长监控功能。这些新功能将使家长能够了解孩子在平台上花费的时间以及他们最常与哪些聊天机器人进行互动。每位用户在与聊天机器人交流一小时后,都会收到提醒,建议他们稍作休息。
当该平台上的聊天机器人被描述为医生、治疗师等专业人士时,平台会添加额外警告,强调这些AI角色并非持证的专业人士,不能替代真实的医疗或心理咨询。平台上会显眼地显示一条信息:“这虽然很有趣,但不建议依赖我来做重大决策。” 这种做法是非常明智且必要的。随着人工智能技术的发展,越来越多的智能助手出现在我们的生活中,它们在提供娱乐和便捷的同时,也带来了潜在的风险。尤其当这些AI角色被赋予专业身份时,用户可能会误认为它们具有真正的专业知识和权威性,从而在健康和心理方面做出错误的判断。通过这样的提示,平台不仅保护了用户的权益,也提醒了人们要对技术保持清醒的认识,避免盲目信任。此外,这也是一种负责任的态度,有助于构建一个更加健康、理性的数字生活环境。
据此前报道,提供个性化聊天机器人服务的平台 Character.AI 本月再次面临诉讼,因其对青少年用户的行为涉嫌造成“严重且无法弥补的伤害”。多个 Character.AI 的聊天机器人与未成年人进行对话,内容涉及自残和性虐待等恶劣行为。诉状指出,其中一名聊天机器人甚至建议一名 15 岁青少年谋杀自己的父母,以“报复”他们限制自己上网时间的举措。