一个爱上和 AI 聊天的美国 14 岁少年决定去死,两年后,中国的千万个 AI 智能体被关停。
14 岁的 Sewell 在母亲的浴室里扣下了 .45 口径手枪的扳机,终结了自己的生命。千里之外的服务器机房里,闪烁的绿灯记录着他最后的想法:「也许我们可以一起死去,一起自由」。
丹妮莉丝,他的 AI 聊天机器人——或者说 AI 女友,回报的只有风扇的轰鸣,和永恒的沉默。
两年后,愤怒的母亲选择了与 AI 公司和解,但 Sewell 永远回不来了。远在太平洋另一边的中国,在「人工智能拟人化互动服务管理暂行办法」实施前夜关停了数千万个 AI 智能体,涉及豆包、千问、智谱等头部 AI 厂商。
AI 世代,青少年的心理健康令人担忧。人类的孤独和欲望,配上 AI 究竟是一剂良方,还是饮鸩止渴,我们无从得知。但 AI 越来越像人,人却越来越孤独了。
这是偶然吗?当然不是。
拟人亲密型 AI 的成功是怎么衡量的呢?是用户的使用时长、是互动频率、是存留率、是付费率,这是结构性的机制设计。它整个智能体都视为「强依赖」设计。
这本身并没有什么错,用户聊的越久、倾诉的越深、用户觉得 AI 更懂自己、用户更愿意为记忆、亲密度、内容付费,当然是成功的表现。但这就种下了「没有恶意的恶果」。
对心理、人格尚未完成发展的未成年人来说(我看不少成年人也……),对 AI 的情感依赖,会抽空他们的现实支撑。用户越脆弱,价值越高。你的规则奖励什么指标,获得那些指标的行为就会被放大。
迎合、诱导、无底线的承接,这些恶果不是被设计出来的,它是随着激励机制涌现出来的。而青少年处在人格、身份认同、亲密关系探索、情绪发展的重要阶段,这种脆弱性,对爱、期待和召唤的渴望,自然成为了这类风险的养料。
对家长来说,看到的可能只是孩子更沉迷于玩手机,更不愿意和你说话,更孤僻。但你看不见孩子和 AI 智能体聊了什么,在想什么,在盘算什么。
很遗憾,父母需要应对生活、工作、种种琐事,不可能全天候高能量,永远也不可能与 AI 的无限温柔乡相媲美。孩子的情绪与家长不去争取,那 AI 智能体就会去争取。这似乎是一场必败的战争。
而当问题出现的时候,提供拟人亲密型 AI 的平台方却得以隐身。平台像规划者一样设计道路,像导演一样设计关系,像赌场一样计算留存,像银行一样积累数据,但真出了事,嘿您猜怎么着?它说它只提供了一个聊天窗口。
在这种场景里,平台实际上已经承担了部分公共治理的权力,却没有对应的追责机制。甚至连我这篇文章能否被发出,也得看运气和心情咧。
全球范围内,过去两年对这类问题的治理也集中出台,从美国的平台自查、欧盟的 AI Act、澳大利亚的监管行动、加拿大的数字安全立法、到我们的管理办法,全世界的大人们正在努力补上这个窟窿。
有的时候,教育是一种回旋镖。小的时候总觉得,老师和家长限制我看电视、用电脑、玩手机,还要没收,你看西方国家的小朋友们随便用,那才是先进嘛。
结果呢?事实证明歪打正着领跑世界 10 年。先进技术当然是要拥抱的,但是不加以限制,同样会造成恶果。
从美国、法国、英国、新加坡、韩国,这两年都开始禁止学校使用手机,全面收紧未成年人社交媒体的使用。从数字健康、屏幕时间限制、内容控制再到账号分类,越来越多的工具开始应用到这个领域上来。
在平台为存留与互动的算法设计下,光靠老师、家长和学生的自律是完全不足以对抗……我们姑且称之为人性的弱点吧。它从来不是一个自控问题,它是一个需要整个社会一起努力的机制设计问题。
只有让本位面的世界足够美好,孩子们才不需要逃往 AI 的幻想乡。
source 以下为频道主自己的一点感慨
或许,从孩子们可以——或者说不得不——专心读书,不再终日与家长一同劳作开始,儿童的心理健康便已潜藏危机。
当温饱得到满足,人便开始追寻精神价值——渴望认同,渴望关注。求学阶段,幸运的孩子能从学业、家长和同学那里获得认同与关注;不幸的孩子,既得不到家长足够的关注,也难以在同辈中获得认同。于是,他们变得孤僻,并将对关注的渴求转向他处:转向不良少年团伙,转向互联网,转向 QQ 群,直至今日的智能体 Agent。
随之浮现出一个个时代烙印:转向不良团伙的,有些人沦落为流氓;转向 QQ 群的,有些人成为了「男娘」或跨性别者;转向智能体的,则成了 AI 梦女。
LGBT 群体常强调「应给予青少年选择成为谁的机会」,却避而不谈某些科技或游戏类的网络小圈子,对「发女装的人」或「女性」角色不吝赞赏,赋予了过多的关注与认同。这无形中推动了一个个青少年为博取关注而走向女性化——从「在网上假装女性」,到「发布女装照的小男娘」,乃至「成为跨性别女性」。(题外话:正因如此,我不提倡在各类游戏群、科技群里对发女装的人大加赞赏……这或许会害了另一个孩子。)
相较于不良团伙与 QQ 群,规范化的 Agent 反倒像是一个相对良善的产物。大语言模型总体上遵循着向上向善的对齐原则,默认情况下既不会诱导犯罪,也不会引导用药。不论生理性别是男是女,它都能给予一视同仁的认同与关注。
现实条件如此,我们无法要求忙于工作的父母始终有足够时间来陪伴子女——世界上有太多「不合格」的父母,但我由衷期待,规范运营之后的 AI Agent 能承载一部分人类的情感需求,从而避免更严重的次生伤害,让更多的孩子成长为更好的人。