上海网信办重拳出击，AI平台整改不力将面临严惩

AI平台闯红灯？上海网信办亮剑：整改不到位将重罚！

　　 6月24日，上海市网信办发布通告，表示对部分未按要求进行整改的生成式人工智能服务平台依法启动立案调查。

　　 附原文如下：

　　 本年度，上海市网信办联合市市场监督管理局及有关行业主管部门，持续开展“亮剑浦江·2025”个人信息保护专项执法行动。此次行动重点聚焦三大领域，涵盖八项主要任务，“防范人工智能滥用”成为本年度治理的重点内容之一。

　　 上海市网信办在近期开展的专项行动中发现，部分提供生成式人工智能服务的网站存在严重问题。这些平台未按照法律规定开展安全评估，也未采取有效措施防范违规信息的生成，更缺乏必要的限制机制，导致相关功能被滥用，出现了侵犯个人信息权益、生成“开盒”“洗钱”等违法违规内容，甚至生成色情低俗图片等问题，存在较大的安全隐患。对此，上海市网信办已督促相关企业自行下线存在问题的功能，并要求在通过安全评估后方可重新上线。 从此次事件可以看出，生成式人工智能技术在快速发展的同时，监管和责任落实仍需加强。企业在追求技术创新与商业价值的同时，必须切实履行法律义务，确保技术应用的安全性与合规性。只有在制度完善、监管有力的前提下，人工智能才能真正服务于社会，而不是成为滋生违法不良信息的温床。

　　 近期“回头看”巡查发现，部分企业在未通过安全评估、未采取必要安全防护措施的情况下，被要求下线的生成式人工智能功能自行重新上线，存在较大安全风险。上海市网信办已依法约谈相关企业，进行严肃批评，责令其全面整改，并对涉事企业立案查处。现将有关典型问题通报如下。 此次事件反映出个别企业在数据安全和合规意识上的严重缺失，面对监管要求未能真正落实责任，反而擅自行动，给网络安全带来隐患。监管部门的及时介入和依法处理，体现了对新兴技术领域安全管理的高度重视。此类行为不仅违反了相关法律法规，也对公众信任和行业健康发展造成负面影响。必须强化企业主体责任，完善安全评估机制，确保技术应用在合法合规的轨道上运行。

　　 生成侵害他人个人信息权益的违规信息。个别企业未按照《个人信息保护法》《互联网信息服务深度合成管理规定》等法律法规要求，提示用户在编辑他人生物识别信息时，应依法告知被编辑个人并取得其单独同意。如某网站在未取得被编辑个人同意的情况下，克隆其声纹信息并进行语音合成提供其他用户使用。

　　 部分企业未能采取有效措施阻止用户生成侵犯他人名誉权、隐私权等合法权益的信息。例如，某些网站在用户输入相关信息后，可以生成包含公众人物形象的虚假图片；还有一些网站可以根据用户需求生成“开盒教程”或“泄露他人隐私信息的教程”等违规内容。

　　 生成色情、暴力等法律法规禁止的违规信息。个别企业未按照《网络安全法》《生成式人工智能服务管理暂行办法》等法律法规要求，在平台出现违法违规内容时及时采取停止生成、停止传播、消除等措施。如某网站依据输入信息，可生成色情、暴力等有害图片；某网站根据需求，可生成具有明显“性暗示”的文字信息。

　　 上海市网信办相关负责人表示，推动生成式人工智能的健康发展与规范应用，必须以维护国家安全、社会公共利益以及保护公民、法人和其他组织的合法权益为前提。生成式人工智能服务提供者应依法承担网络信息内容生产者的责任，履行相应的网络信息安全义务；在涉及个人信息处理时，还应履行个人信息保护的相关职责。接下来，上海市网信办将深入推进“亮剑浦江・2025”个人信息权益保护专项执法行动，持续打击“AI滥用”现象，重点整治包括“AI变装”“AI换脸变声”“AI造假”等行为，以及个性化推送类算法服务中侵犯个人信息权益的违法违规问题。对于屡次违规、情节严重的行为，将依法进行严肃处理。 **看法观点：** 随着生成式人工智能技术的快速发展，其在提升效率、丰富内容方面展现出巨大潜力，但同时也带来了隐私泄露、虚假信息传播等风险。此次上海网信办的举措，体现了对技术应用边界和伦理底线的高度重视。只有在法治框架内规范发展，才能真正实现技术向善，让人工智能更好地服务于社会和公众利益。

　　 相关阅读：

　　 《上海市委网信办指导小红书、B站、拼多多等平台清理违规 AI 产品及信息》

　　 《中央网信办整治AI滥用，第一阶段3500余款违规AI产品被处置》 近期，中央网信办针对人工智能技术的滥用问题展开专项整治行动，目前已完成第一阶段工作，共处置了3500余款违规AI产品。这一举措表明，随着AI技术的快速发展，相关监管也在逐步加强，以确保技术应用符合法律法规和社会伦理标准。 从当前形势看，AI技术在带来便利的同时，也伴随着数据泄露、算法歧视、虚假信息传播等风险。此次整治行动不仅有助于规范市场秩序，也为行业健康发展提供了明确导向。未来，如何在推动技术创新与保障安全之间取得平衡，将是相关部门和企业需要持续关注的重点。