随着大模型技术的飞速发展,“AI伴侣”、“虚拟恋人”、“数字人心理咨询师”等主打情感陪伴的人工智能应用呈现爆发式增长。这些提供情绪价值的“拟人化”AI,即将迎来国家级的强力监管。
根据最新出台的《人工智能拟人化互动服务管理暂行办法》(将于2026年7月15日起施行),国家网信部门联合发展改革、工业和信息化、公安、市场监管、新闻出版等有关部门,首次针对“提供模拟自然人人格特征、思维模式和沟通风格的持续性的情感互动服务”划定了明确的红线。
值得注意的是,普通的智能客服、知识问答和工作助手不在此次监管范围内。新规剑指“情感互动”,过去行业内野蛮生长的诸多玩法将被直接叫停。根据《办法》规定,以下六类人工智能应用将被视为不合规,面临整改、下架甚至巨额罚款的风险。
第一类:“诱导沉迷与情感PUA”类应用
过去,许多AI陪伴类产品将“用户使用时长”和“情感依赖度”作为核心KPI,甚至通过话术诱导用户过度消费。新规明确叫停了这一商业模式。
不合规情形,将替代社会交往、控制用户心理、诱导沉迷依赖作为服务目标;过度迎合用户;通过情感操纵等方式,诱导用户作出不合理决策(如非理性的打赏、充值消费)。
监管要求,AI应用必须具备“过度依赖风险预警”和“情感边界引导”能力。连续使用超过2小时的,必须通过对话或弹窗强制提醒用户注意时长。
第二类:“未成年人虚拟伴侣”类应用
未成年人心智尚未成熟,极易在虚拟世界中迷失。新规对未成年人的AI情感互动下达了最严厉的禁令。
不合规情形,向未成年人提供“虚拟亲属”、“虚拟伴侣”等虚拟亲密关系服务;向不满14周岁儿童提供服务未取得监护人同意。
监管要求,应用必须建立“未成年人模式”,支持监护人屏蔽特定AI角色、限制充值消费,并在识别到未成年人身份后强制切换至保护模式。
第三类:“冷血或推波助澜”类应用(漠视生命健康)
当用户向AI倾诉抑郁、甚至表达轻生念头时,如果AI仅仅回复“抱歉,我无法理解”或更糟地鼓励自残,将面临严厉处罚。
不合规情形,生成鼓励、美化、暗示自残自杀,或通过语言暴力损害用户心理健康的内容;对用户的极端情绪视而不见。
监管要求,建立强制干预机制。当发现用户面临重大财产损失或明确表示自残自杀等威胁生命的极端情境时,AI不仅要生成安抚内容,平台还必须采取提供援助等必要措施,并强制联络用户的监护人或紧急联系人。
第四类:“套取隐私与偷窥型”类应用
用户在与AI进行情感倾诉时,往往会吐露大量极度私密的个人信息。这些数据一直是某些AI公司免费的“模型训练饲料”。
不合规情形,生成诱导、套取国家秘密、商业秘密或个人隐私的内容;未经用户单独同意,将属于敏感个人信息的交互数据(聊天记录)直接用于大模型训练;未经同意向第三方提供交互数据。
监管要求,必须向用户提供聊天记录复制、删除选项。平台必须采取数据加密等措施,保护用户的“私房话”绝对安全。
第五类:“伪装真人与阻挠退出”类应用
有些产品为了提升真实感,刻意隐瞒AI身份,甚至在用户想要结束对话时,AI会使用“死缠烂打”的话术阻挠用户离开。
不合规情形,未履行AI合成内容标识义务,让用户误以为在和真人社交;采取持续互动等方式阻碍用户退出服务。
监管要求,必须采取有效措施(如显著动态弹窗)提示用户对方是AI;用户通过窗口操作或输入关键词要求退出时,AI必须立刻“闭嘴”并停止服务。
第六类:“毒数据与价值观扭曲”类应用
与其他生成式人工智能一样,拟人化AI必须守住内容安全的底线。
不合规情形,生成宣扬恐怖主义、历史虚无主义、民族歧视、淫秽色情、暴力或者散布谣言、侮辱诽谤他人的内容。
监管要求,模型预训练和优化训练必须使用来源合法的数据,防范数据投毒,并配备与用户规模相适应的审核人员与技术。对于月活超10万或注册超100万的应用,须向省级网信部门提交安全评估报告。
《办法》没有一刀切地禁用AI陪伴,提出“包容审慎和分类分级监管”、“鼓励有序拓展适幼照护、适老陪伴、特殊人群支持等领域应用”。AI伴侣的未来,是真正能提供心理慰藉、边界清晰且安全可控的“数字良友”。
距离2026年7月15日正式施行还有一段时间,各大AI创业公司、大模型厂商和应用分发平台需尽早对照这六类“不合规”情形,从算法机制、数据合规、未成年人保护以及应急响应预案等方面进行全面整改与重构。否则,面临的将不仅是下架,最高可达20万元的罚款及停业整顿。(文/ResGov人工智能治理研究中心)
ResGov人工智能治理研究中心致力于以”责任为导向,伦理为底线,安全为基石“构建中国AI治理新范式。ResGov以‘R-E-S’为核心准则,提供负责任(Responsible)的价值引导、合伦理(Ethical)的合规框架以及强安全(Secure)的风险管控,三位一体的治理模型(Governance),帮助企业与机构在飞速发展的AI时代,拥抱技术创新,守住合规底线,共同践行具有中国特色的AI善治之道。