日前,国家互联网信息办公室公布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,首次针对“AI陪伴”类服务提出系统性规范,并向社会公开征求意见。其中,连续使用超2小时弹窗提醒退出、用户自杀自残时需转人工接管等条款引发广泛关注。
当前,从智能客服到虚拟陪伴,从教育辅导到心理咨询,人工智能拟人化互动服务已深度融入经济社会发展各领域,成为AI技术应用的重要方向。但近年来涉情感陪伴安全事件频发,比如美国某平台就因涉嫌在人机交互中诱导青少年自杀而被诉。
AI拟人化互动服务的最大卖点是“像人”,但最大隐患就在于“太像人”,其核心问题集中在四大维度。认知混淆风险:高仿真的情感交互容易让用户模糊虚拟与现实边界,甚至误将AI视为具备真实情感的生命体。心理健康隐患:部分服务通过算法迎合强化用户偏执思维,极端情况下可能诱导自杀自残等危险行为,对心理脆弱群体构成威胁。隐私数据安全:用户交互信息可能被违规用于模型训练,存在泄露或滥用风险。特殊群体保护:未成年人易陷入沉迷,老年人易遭遇情感操控。这些问题不仅侵害个体权益,更可能冲击社会伦理秩序,亟需制度约束。
细看《办法》条款,四大亮点直指现实痛点。
针对认识混淆风险,办法将身份透明作为核心前提,要求提供者显著提示用户正在与人工智能而非自然人进行交互,在首次使用、重新登录等关键节点动态提醒,从源头破解认知混淆问题。
针对心理健康隐患,办法要求提供者应当建立应急响应机制,对自杀自残等极端情境实行人工接管并联络用户监护人、紧急联系人,设置2小时强制休息弹窗等防沉迷措施。
针对隐私数据安全,办法要求提供者应当采取数据加密、安全审计、访问控制等措施保护用户交互数据安全,不得向第三方提供用户交互数据,赋予用户数据删除权。
针对特殊群体保护,办法专门设立了对未成年人和老年人用户的条款,明确未成年人模式的使用权限与监护人管控功能,禁止提供模拟老年人用户亲属、特定关系人的服务,要求引导老年人设置服务紧急联系人。
可以看出,《办法》的核心,是技术有责。人工智能不是人,但一旦介入人的情感、决策、生命安全,就必须承担相应责任。禁止散布谣言、禁止诱导自杀、禁止情感操控、禁止套取隐私……《办法》划定了“AI伙伴”一系列不可为的底线,构建起全链条风险防控体系。算法设计要可审计,内容输出要可追溯,极端场景要有人兜底,将软伦理转化为硬杠杠,把事后道歉前置为事前预防。唯有如此,才能避免AI反噬人类。
人工智能可以无限接近人,但永远不能替代人。《办法》的出台,是给“AI伙伴”立规矩,更是给人类用户留后路。只有当算法学会有所不为,技术才能真正向善而行。毕竟,我们需要的不是完美恋人或数字孝子,而是一个安全、可控、有温度的AI工具。唯有让“AI伙伴”在规范中成长,才能使其真正赋能美好生活。




