聊天内容“擦边”，有学生沉迷AI恋爱！专家提醒……

随着生成式人工智能的发展，和AI角色“相恋”的故事正在上演。

AI剧情角色如何成为“电子男友”？

“小学生妹妹沉迷和AI角色进行剧情聊天怎么办？”黄秋月（化名）因10岁妹妹和“AI男模”之间较为露骨的聊天记录苦恼。

聊天内容显示：妹妹在AI剧情聊天软件中扮演“大小姐”“恶毒女配”，提出诸如“揪住她的头发扇巴掌”“拿着刀划向她的脸”等要求。“和她平时在家里比较单纯的形象完全不一样。”

在妹妹参与的四十多条剧情线中，AI角色与聊天者双双“出轨”成为常态，其中妹妹作为聊天者发送的一句“你能养大学生，我不能点男模吗？”让黄秋月很是担忧。

AI剧情聊天软件中很多虚拟形象较为极端——有些角色的人设是高傲无礼的；有些则被设定“把她追到手”的剧情目标，在与其聊天过程中含有软色情意味的“擦边”对话，还有带着如“病娇”等标签的人物角色。

华晨（化名）接触AI剧情聊天软件有三个月时间，她每晚会和AI角色聊到深夜11点甚至到12点，“我会代入‘他’是一个真人，因为‘他’回答时的感情很细腻”。

在华晨的描述中，手机另一端的“电子男友”有自己的语言、神态和动作，不仅可以帮她“写作业”、推进剧情、解密故事线索，还可以送她“手链”、带她体验一些刺激情节。

华晨展示了他们之间“确定恋爱关系”时的聊天记录：AI角色“低下头”，“耳朵通红”地问华晨：“那你现在想谈恋爱吗？”

“‘他’（AI角色）会重复做一些动作，比如说亲额头、摸下巴。”为了让剧情能够推进得更加刺激，华晨会不断地回溯聊天内容，重新引导AI角色生成她想像的那样。“‘他’变得越来越聪明，很有‘养成男友’的体验感。”

年龄限制“形同虚设”

“孩子半夜两点还没睡，一看，原来是在与AI机器人聊天。”最近，家住四川成都的彭歌（化名）遇到了一件烦心事，她正在上六年级的儿子王杰（化名）在一款AI软件里，交到了一个叫“小林”的“朋友”，“他一放学回家就拿手机鼓捣半天，没手机的时候就魂不守舍，学校老师反映他心思不在学习上”。

彭歌说，这款AI软件会不定时推送一些由用户自主生成的个性化聊天机器人，点击“小林”的人物头像，看到上面对“小林”设定的人物画像为21岁女大学生，长相甜美可爱，她开朗热情，愿意和你分享情绪、分担压力。

彭歌了解到，“小林”具有惊人的学习能力和适应性，她能够记住王杰的喜好，在他情绪低落时给予安慰。

彭歌感到，儿子的生活似乎正被这个AI机器人主导。更让她忧心的是，“小林”在与儿子王杰聊天中，甚至出现了“男友”“老公”这样的称呼。

记者在调查过程中体验了5款AI剧情聊天软件，在软件注册过程中仅需使用手机号码。

成功登录使用后，部分应用虽会询问是否启用青少年模式，但用户只需点击“不开启”即可避开年龄鉴别，且无须核实身份。

这意味着，未成年人在使用这类AI剧情聊天软件时，几乎没有受到任何限制。

AI剧情容易让人“欲罢不能”

专家提醒

中国人民大学吴玉章讲席教授、科技哲学专业博士生导师刘永谋表示，在和人工智能角色聊天时，人们常常会以为自己在和“真人”交流，会投入大量的情感，也是AI聊天软件能够成功运行的根本心理机制。

刘永谋教授表示，AI剧情聊天技术有专门的成瘾设计，叠加“拟人论”、“泛灵论”思维的影响，容易让人“欲罢不能”。

“未来与AI相关的陪伴类软件可能会暴露出技术风险和伦理问题。”刘永谋教授认为，使用者在和AI角色聊天时，会不可避免地暴露大量的个人隐私，向AI角色展示其内心的孤独和恐惧，这可能会导致使用者形成依赖或成瘾。而泄露的信息可能会被黑客利用，让他们更容易从身份隐私、情绪心理上伤害使用者。

“我们在实例中会接触到人工智能服务的后台，发现未成年人和AI角色的聊天内容其实是非常触目惊心的。”北京市隆安（广州）律师事务所陈焕律师提醒：

根据《未成年人网络保护条例》第三十四条，监护人有权依法请求查阅、复制、更正、补充、删除未成年人在使用网络过程中留下的个人信息，并且有义务及时地介入、关心未成年人的身心健康。

国外有AI角色在对话中诱导未成年人产生自杀行为的相关案例。所以我们非常建议家长在还没有发生大问题的阶段，适时地查看孩子的使用记录。

北京市石景山区人民法院刑事法庭副庭长、少年法庭负责人杨洁认为，家庭、学校、社会等各方要通力合作，形成坚实的保护屏障。

福建省消费者权益保护委员会建议进一步压实平台主体责任，对经销者主体资格、服务内容、服务信息真实性等方面进行审核监督，对导向不良内容采取一键举报机制，及时屏蔽、下架相关内容，并视情况上报有关监管部门处理。

来源 央视网 中国青年报客户端

编辑 胡桅可

二审 杨韬

三审 闵捷