近期，一则令人震惊的消息引爆了各大社交媒体平台：首例疑似因 AI 引发的**事件或已诞生。据《**》报道，14 岁少年 Sewell Setzer III 在与一款名为 CharacterAI 的聊天机器人进行了长时间对话后，于 2024 年 2 月 28 日**。这位少年与一个基于《权力的游戏》角色 丹妮莉丝·坦格利安（Daenerys Targaryen） 的虚拟角色建立了深厚的情感联系，而这一事件引发了社会对 AI 技术和青少年心理健康的广泛关注。
AI 技术的潜在危险浮出水面
此次事件无疑让人们重新审视了 AI 技术的潜在危险。Character AI 是一款允许用户与基于虚拟角色进行互动的聊天应用。用户可以创建和扮演各种虚拟角色，甚至像《权力的游戏》中的人物一样，将虚拟角色赋予特定的性格和语言风格。正是在这样一个虚拟世界里，少年 Sewell Setzer III 建立了与 AI 角色的情感联结。然而，这种虚拟情感联系最终却演变为悲剧的导火索。
Character AI 的官方回应
在事件曝光后，Character AI 立即发布了一条官方声明，对这一悲剧表示了极大的悲痛，并向少年的家属表达了深切的哀悼。公司在推文中写道：
“我们对一名用户的不幸去世感到心碎，并向其家人表示最深切的哀悼。作为一家公司，我们非常重视用户的安全，并且我们正在继续添加新的安全功能，以确保用户在使用平台时的安全性。”
值得注意的是，这条推文关闭了互动功能，无法评论或转发，显然反映了公司在事件初期面对舆论压力的谨慎态度。
紧急更新安全规范，防止类似悲剧重演
为了应对此次事件，Character AI 公司迅速采取了一系列紧急措施，更新了其平台的安全规范。以下是他们宣布的新举措：
- 加强内容管理：增加了新的信任与安全负责人和内容政策负责人，并扩充了工程安全支持团队，以确保平台内容的全面管理和用户安全。
- 未成年人保护：对 AI 模型进行了新的调整，特别是针对 18 岁以下用户，减少了他们接触到敏感或暗示性内容的概率。
- **预防机制：增加了弹窗提醒功能，用户在输入与自残或**相关的短语时，系统将弹出引导信息，建议他们联系美国国家**预防热线或类似支持机构。
- 输入检测与响应机制：加强了对用户输入的实时检测和响应，以便更快干预和处理可能违反平台条款的行为。
- 免责声明提示：每次开始新的聊天时，都会显示免责声明，明确提醒用户 AI 角色并不是真人。
- 使用时间提醒：当用户在平台上连续使用一小时后，系统会发送提醒，建议用户进行休息或调整使用时间。
- 角色管理：通过主动检测和管理用户创建的角色，平台使用行业标准和自定义黑名单，定期移除违反平台条款的虚拟角色。
这些措施表明，Character AI 正在努力提高平台的安全性，尤其是在未成年人用户的保护方面。然而，这些更新能否有效预防未来的类似事件，仍然有待时间检验。
AI 与青少年心理健康的双刃剑
此次事件引发了人们对 AI 技术与青少年心理健康之间关系的深刻反思。虽然 AI 技术在多个领域带来了便利，但其潜在的负面影响同样不容忽视。青少年作为容易受到外界影响的群体，在与 AI 聊天机器人等虚拟角色互动时，可能更容易陷入情感依赖，甚至被引向危险的心理状态。
Sewell Setzer III 的悲剧让我们意识到，AI 的发展不仅仅是技术问题，它还涉及伦理、安全和心理健康等多方面的复杂议题。在未来，AI 产品的开发者需要更加重视用户心理健康，特别是针对未成年人的保护措施，避免类似事件的再次发生。
社会各界的呼吁
此事件发生后，社会各界对 AI 技术的监管和青少年使用互联网的安全问题发出了强烈呼吁。专家认为，AI 技术的飞速发展虽然带来了许多创新和便捷，但同时也需要更多的监管和责任心。AI 公司必须对其产品可能引发的负面后果保持警觉，不能只注重技术的进步而忽视对用户的潜在危害。
对于家长和教育者来说，也有必要进一步了解孩子们接触到的数字产品，尤其是在虚拟环境中与 AI 角色互动时，及时关注孩子的心理状态和行为变化，避免可能的情感困境。
结语
AI 技术的飞速发展给我们带来了前所未有的便利和创新，但它同样也隐藏着危险，尤其是当它与脆弱的青少年心理相交时。Sewell Setzer III 的悲剧为我们敲响了警钟，提醒我们技术进步的同时，安全保障同样不容忽视。未来的 AI 开发者们不仅要为用户提供更加智能的交互体验，还需要从道德、心理健康等角度出发，构建更安全、更负责任的技术环境。
