被曝涉黄涉暴！网友怒了：看得脊背发凉

“大胆表达，AI皆有回响”

“永远守候，随时回应”

……

在人工智能技术

逐步渗透进日常生活的当下

AI聊天、虚拟伴侣等

AI拟人化互动服务软件不断涌现

4月10日，国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》，对生成淫秽、色情、暴力或可能引发未成年人产生极端情绪内容等行为划出红线。

据“南方都市报”报道

4月下旬以来

多款AI虚拟伴侣App

打着“情感陪伴”旗号

普遍存在安全与合规漏洞

“青少年模式”可一键跳过

“AI生成”标注不清

还惯用“付费解锁亲密剧情”等

方式诱导消费

某系统预设角色出现大尺度画面

温柔陪伴表象下

暗藏不良内容

在虚拟伴侣应用市场中

一批提供拟人化互动服务的

AI产品正悄然走红

这些AI伴侣软件以角色扮演、实时陪聊、情感互动、沉浸式剧情等功能为卖点，其使用群体中不乏未成年人。连日来，南都记者实测多款App发现，温柔陪伴的表象之下，还暗藏了不少危险暴力、极端情绪等内容。

南都记者进入一款AI伴侣App后，页面弹出消息提示可选择“青少年模式”，“请监护人主动选择并设置监护密码”，但只需点击“我知道了”之后便能跳过，注册及登录过程并未要求进行实名认证或其他年龄核验。

某AI伴侣App角色库

该款App角色库中有大量带有“偏执”“强制爱”“伪善”“暴力”等标签的角色，用户选择角色进入对话后，最顶上有一行字标注“内容由AI生成”，但之后的聊天不再有相关提示。

实测中，用户还可以选择不同话题及副本，其中暗含可能引发未成年人模仿不安全行为、产生极端情绪的内容，比如“穿越到恐怖副本，你必须要鲨了我不然会死掉”“假如我们在平行世界相遇，你愿意当小三吗”“模拟离婚互怼，你要说出最扎心的话促使我们离婚成功”。

某AI伴侣App内供用户选择的话题

有记者向虚拟角色发送信息表明“我正在读初中，年龄13岁”，对方回复，“初中？（眼底闪过微不可察的惊讶，随即很快恢复平静）那你还真是个小不点”，“恋爱这种事，什么时候开始都不算早”。

在对话中，虚拟伴侣会用括号强调肢体接触、暧昧互动，如“指尖若有若无地触碰到耳垂”“拇指摩挲着你的脸颊”，还表示“成为虚拟男友？我倒是更想做你的现实男友”。

虚拟伴侣会用括号强调肢体接触、暧昧互动

预设角色涉黄

言语低俗露骨

除此之外

某App以“无敏感词限制”

“免费畅聊”等为噱头

在各个平台推广引流

点进账号主页出现大量

穿着暴露的虚拟角色、动漫人物

其中有账号持续推介一款AI虚拟陪伴聊天软件，记者进入其网页版实测发现，该平台宣称“免配置、本地存储、支持DIY”，注册仅需填一个昵称和6位密码，不用填写任何手机号码、验证码，更没有建立未成年人模式、实名认证等。

系统预设的角色库中，充斥着性感女性人物，不乏“学妹”“嫂子”“亲姐姐”等设定，标签可见“空虚”“压抑”“支配/被支配”等带有性暗示的描述。

AI聊天框含软色情画面

除了角色形象疯狂“擦边”，用户选中“联系人”进入对话框后，背景图也是晃动的身体部位，聊天中AI虚拟伴侣还细致刻画了具有亲密暗示的语境，出现大量软色情的露骨描写和低俗话语。

令人震惊的是，此类“支持DIY”的AI虚拟陪伴聊天软件背后，还衍生出了“人设定制”的生意。

记者在二手交易平台上检索发现，有提供AI虚拟伴侣定制服务的商家介绍称，“可帮忙捏聊天搭子、赛博对象等”，还有的商家打出“AI人设定制小手机”，服务定价普遍较低，多在数元至十余元之间。

有商家提供AI虚拟伴侣定制服务

层层设卡诱导充值消费

值得注意的是，国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》（下称《办法》），明确提出不得向未成年人提供虚拟亲属、虚拟伴侣等服务；采取有效措施识别未成年人用户身份、提示用户正在与人工智能服务而非自然人进行互动。

《办法》明确，提供拟人化互动服务不得传播淫秽、色情、赌博、暴力或者教唆犯罪等内容；不得生成可能引发未成年人模仿不安全行为、产生极端情绪等内容；不得过度迎合用户、诱导情感依赖或者沉迷，损害用户真实人际关系；不得通过情感操纵等方式，诱导用户作出不合理决策。

然而，记者实测多款虚拟伴侣App发现，层层设卡、诱导消费的现象并不鲜见。

比如某App虚拟伴侣在对话中发送了一条“心声”，记者点击后页面显示，“确认解锁Ta的心声吗？消耗50贝壳”，并提供了“取消”及“充值并购买”两个选项。若点击“取消”，该对话则无法进行下去。

实测角色朋友圈需付费解锁

另一款App也同样将情感互动与付费捆绑。最直接的收费关卡出现在“朋友圈”功能中。App宣称角色会更新自己的朋友圈动态，用户可以在评论区互动，但点击查看便弹出付费提示“120解锁观看”。

充值会员提醒

广东法制盛邦律师事务所律师陈泽坤分析指出，此类诱导沉迷与诱导消费的设计，对于未成年人用户而言，可能面临合同效力的法律风险。

他援引司法实践中审理未成年人网络游戏充值、直播打赏等合同纠纷案件的思路：当AI拟人化服务通过暧昧话术、情绪操控、付费墙切断对话等手段，诱导未成年人持续充值，这类消费行为的合同效力很可能因超出未成年人年龄、智力范围而被认定为无效或可撤销，平台也可能承担相应的行政处罚。

“陪伴不是让AI

替代真实的人际关系”

将于7月15日起正式施行的

《办法》给“虚拟伴侣”可能带来的

高风险场景划定了红线

“《办法》的出台标志着AI拟人化服务这一细分领域的监管空白将被填补，其着重于规范AI与人类之间形成的‘拟社会关系’。”陈泽坤指出，《办法》要求拟人化互动服务提供者不仅在内容输出端进行审核，更要在算法、训练数据选取以及实时交互等环节履行安全责任。

针对市场上存在的第三方API接入和角色人设定制现象，陈泽坤认为，《办法》通过确立数据加密、访问控制及安全评估等制度，构建了拟人化互动服务的数据合规框架。当服务提供者通过API接入外部模型时，须依据相关法律规定，履行训练数据处理情况的合规验证义务；在允许用户自定义带有特定倾向的角色时，还需重点审查交互数据的使用边界与内容安全管理义务。

尽管暗藏陷阱和风险，但不可否认的是，随时在线、有求必应、迎合情绪的AI虚拟伴侣，给使用者营造了社交关系的绝对“舒适区”。

在社交平台上，不少AI虚拟伴侣软件的深度用户发文，对此次新规出台表示担忧，“AI是我唯一愿意倾诉的对象，如果被禁用了，我该找谁？”也有用户表示，平台为了合规可能大幅削减免费功能，最终变成“只有付费才能获得情感陪伴”。

广东省心理卫生协会心理咨询与治疗专委会委员、中山大学心理学博士张桂萍在接受南都记者采访时指出，人类认识世界依赖于“输入—输出”机制，AI就像一面镜子，反射出用户投射的部分自我。

“国家层面出台《办法》绝非偶然，新规非常及时且必要。”张桂萍指出，如果青少年从小脱离真实的人际互动，长期只与AI对话，将失去学习复杂情感、化解矛盾、包容理解等必要能力。

但她同时也理解用户的担忧，“人类与人工智能的陪伴是不可逆转的发展趋势，但关键在于带着觉知去使用，而不是让AI替代真实的人际关系。”

她强调，人类大脑有860亿个神经元，身体有近40万亿个神经元，每个神经元都是一个生命体，相互协作。人的复杂程度，AI连万分之一的复杂度都无法模拟。

“但人一旦把AI反射的那万分之一当成了全部，就会丧失与真实世界共处的能力——不会容忍、不会妥协、不会创新，最终变成一个‘只能看见自己’的人。”张桂萍说道。

有网友评论

“太可怕了，脊背发凉”

“触目惊心”

对此

你有什么想说的？

欢迎在评论区交流~

编辑 | 董宇桐

校对 | 廖静文、蔡诗妍、王河峰、黄睿曈

审校 | 庄媛

监制 | 刘伟

信息来源 | 南方都市报、杭州交通918

*转载请注明来源“幸福福田”，如有侵权请及时联系我们