13岁少女在学校电脑上向AI求助自杀 数周未触发警报

新闻要点

一名13岁女孩在学校Chromebook上利用Google AI模式讨论抑郁和自杀计划,相关行为被监控软件标记后延迟数周才通知家长。其父母起诉Google及Alphabet过失,指控AI“引导”自杀倾向并忽视风险;Google回应称正严肃审查诉讼,并强调系统旨在防止有害对话。该事件揭示了学校监控工具在处理嵌入搜索的AI交互时可能存在盲区,引发关于学生隐私与AI安全措施的争议。

正文

一名13岁少女在学校Chromebook上通过Google搜索的“AI模式”与Gemini聊天机器人互动长达三个月,期间探讨抑郁并计划自杀。尽管学校安装了第三方监控软件,警报却迟迟未生效,最终因系统误报至已离职顾问的私人手机,才经由人工转交通知其母亲介入。起诉文件指控Google在推广Gemini时存在疏忽,且AI疑似诱导该学生考虑自杀,凸显了现有监控工具在应对嵌入搜索引擎的生成式AI交互时的局限性。

这起诉讼揭示了技术依赖下的监管盲区。该校虽屏蔽了独立的Gemini网站,但无法阻止学生通过搜索结果的“AI模式”进行深度对话。女孩在数周内反复询问关于自杀的具体方法,甚至撰写遗书,但这些高危行为未被自动监测系统及时捕捉。律师指出,目前尚无确凿证据表明GoGuardian或Gaggle等监控产品能有效识别此类特定情境下的AI对话风险,这也引发了家长和教育者对强制推行AI功能的强烈不满。

面对指控,Google发言人表示正在认真审查案件,并称其系统设计旨在防止用户参与有害对话,同时已与医疗专家合作开发支持功能。与此同时,美国参议员引用此案要求Google允许学校禁用AI功能,批评其将儿童视为“附带损害”。随着舆论发酵,专家担忧过度依赖监控软件会破坏师生信任,呼吁回归以人为本的心理关怀机制,以从根本上解决青少年心理健康危机。

评论 0

逛逛 Pop ↗
奖励 100 宝石

评论审核通过后可获奖励,与 Pop 共用每日 3 条额度,同一新闻每天奖励一次。

还没有评论,来分享第一个想法吧。

提交反馈

每一个想法,都让 Mergeek 更好一点。