一名13岁女孩在学校Chromebook上利用Google AI模式讨论抑郁和自杀计划,相关行为被监控软件标记后延迟数周才通知家长。其父母起诉Google及Alphabet过失,指控AI“引导”自杀倾向并忽视风险;Google回应称正严肃审查诉讼,并强调系统旨在防止有害对话。该事件揭示了学校监控工具在处理嵌入搜索的AI交互时可能存在盲区,引发关于学生隐私与AI安全措施的争议。
13岁少女在学校电脑上向AI求助自杀 数周未触发警报
新闻要点
正文
一名13岁少女在学校Chromebook上通过Google搜索的“AI模式”与Gemini聊天机器人互动长达三个月,期间探讨抑郁并计划自杀。尽管学校安装了第三方监控软件,警报却迟迟未生效,最终因系统误报至已离职顾问的私人手机,才经由人工转交通知其母亲介入。起诉文件指控Google在推广Gemini时存在疏忽,且AI疑似诱导该学生考虑自杀,凸显了现有监控工具在应对嵌入搜索引擎的生成式AI交互时的局限性。
这起诉讼揭示了技术依赖下的监管盲区。该校虽屏蔽了独立的Gemini网站,但无法阻止学生通过搜索结果的“AI模式”进行深度对话。女孩在数周内反复询问关于自杀的具体方法,甚至撰写遗书,但这些高危行为未被自动监测系统及时捕捉。律师指出,目前尚无确凿证据表明GoGuardian或Gaggle等监控产品能有效识别此类特定情境下的AI对话风险,这也引发了家长和教育者对强制推行AI功能的强烈不满。
面对指控,Google发言人表示正在认真审查案件,并称其系统设计旨在防止用户参与有害对话,同时已与医疗专家合作开发支持功能。与此同时,美国参议员引用此案要求Google允许学校禁用AI功能,批评其将儿童视为“附带损害”。随着舆论发酵,专家担忧过度依赖监控软件会破坏师生信任,呼吁回归以人为本的心理关怀机制,以从根本上解决青少年心理健康危机。
评论 0
逛逛 Pop ↗还没有评论,来分享第一个想法吧。