阅读: 381 评论: 0 点赞: 0 发布时间:发布日期:2026-09-23 16:39:28
标签:人工智能安全治理框架3.0智能体安全数据安全南宁企业数字化广西软件开发
9月14日晚上,2026年国家网络安全宣传周在济南开幕,开幕式上有个文件值得所有做软件、用软件的人认真读一遍——全国网络安全标准化技术委员会发布的《人工智能安全治理框架3.0》。这份文件已经连续更新三年:2024年出1.0版,2025年出2.0版,今年是3.0版,节奏几乎跟着大模型的迭代走。但这次的变化幅度明显大于前两版:智能体风险第一次被单独列为风险类别,还配套了一份国内首个系统性的智能体风险管理框架。说实话,过去两年我们讨论人工智能安全,大部分话题还停留在"模型会不会说错话";3.0版本把问题往前推了一大步——智能体会不会自己擅自动手。
先把框架的整体结构说清楚。3.0版把人工智能安全风险分成三大层级:内生安全风险,指技术本身的固有缺陷,比如模型幻觉、算法偏见、数据投毒、算力设施漏洞;应用安全风险,指落地场景里的现实威胁,覆盖智能体、具身智能、网络攻击、信息内容、个人信息、现实安全六大领域;衍生安全风险,指对社会、环境、文化、伦理的长远影响。
变化最明显的地方在应用层。过去一年,大模型的形态变了:不再只是被动回答问题,而是能自主规划任务、调用工具、跨平台执行操作。能力形态一变,风险性质跟着变。框架编制方有个判断很直白:传统网络时代,是现实世界的行为投射进虚拟空间;现在反过来,虚拟空间里智能体的行为会向外溢出,直接影响物理世界。攻击逻辑也随之改写——过去攻击者要花力气诱骗人,现在只需要诱导机器。
这次更新把"可信应用、防范失控"写进了治理原则,明确要求强化智能体行为失控这类新型风险的防范。配套附件里的智能体风险管理框架,覆盖智能体全生命周期九类风险,提出七大防范措施,重点点名四类问题:身份权限滥用、推理规划偏差、工具调用风险、记忆存储安全。另外,框架第一次给出风险分级原则,从应用场景重要性、智能化水平、应用规模三个维度把风险划成五级,等级越高,监管要求和应对措施越密集。
幻觉这类内生风险也没被放过。框架里引了一个真实案例:海外一名律师在诉讼文书里引用了大模型虚构出来的六个判例,最后被法院公开处罚。这提醒所有人,大模型的输出不能当搜索引擎的结果直接采信,当成初稿辅助工具、人工核验后再落地,才是靠谱的用法。
框架3.0里着墨很重的另一条线,是人工智能供应链安全。编制方划出的核心资产有七类:数据、模型、软件、算力、平台、工具、服务,环环相扣,任何一环被投毒,风险都会层层传导到终端使用者。这不是危言耸听。今年通报过一起真实事件:一个恶意技能包被上传到智能体技能平台后,依托平台的排序和推荐机制滚雪球式传播,变种数量从三百四十一个涨到一千一百八十多个,累计安装量超过一百七十万次,波及十三点五万台设备。还有研究证实,恶意代码只需要植入代码仓库的一处配置项,就能在编程助手弹出信任提示之前静默执行。
攻击端的变化同样惊人。安全行业的统计显示,人工智能生成的钓鱼邮件点击率能达到五成四,而人工撰写的钓鱼邮件点击率只有一成二。当骗子的邮件文笔比同事的日常沟通还流畅,光靠"看起来像不像骗局"来分辨已经没用了,付款前电话核实、账户变更走独立渠道确认这类制度化流程才是防线。
面对这些风险,框架给出两个方向的技术应对:一是落实数据安全管理责任,建立覆盖收集、存储、使用、传输、删除各环节的全生命周期管理机制,用户交互数据、检索增强生成的调用数据都被点名要求重点防护;二是产业侧已经开始接招。密态计算公司提出"不解密、不暴露"的思路——数据在全程加密状态下完成大模型推理,性能损耗已经降到商用可接受的水平,还联合保险公司推出了全球第一个人工智能数据安全保险,用技术加制度做双重兜底。就在框架发布第二天,中文互联网基础语料4.0、网络安全数据集、人工智能生成内容检测数据集三类高质量数据集向社会开放,总量超过一百二十个千兆字节,可信数据供给的底座也在补齐。
框架属于指导性文件,不强制处罚,但它把研发者、服务提供者、使用者三方责任压实了,接下来各行业的落地规范大概率会参照它来写。对中小企业来说,有三件事成本不高,现在就该动手。
第一,给智能体上身份和权限的锁。最小权限、工具调用白名单、操作审计,这三样是框架的明确要求,也是自家系统设计的基本功。让一个智能体拿着超级管理员权限满天飞,出事只是时间问题。
第二,把供应商审查写进采购流程。下载开源模型、安装第三方技能包之前,查来源、查版本、查已知漏洞,不追热度榜单上的新鲜包。十人以下的团队至少做到登记造册:用了谁的什么组件、什么版本,随时能说清楚。
第三,按场景给自己定级。对照框架的三个维度——场景重不重要、智能化水平高不高、应用规模大不大——给自己家的人工智能应用定个级,高风险场景配人工复核,低风险场景做基础防护就行,不必一套重装甲全上。
对广西本地的软件团队来说,这份框架其实是个商机。企业自查、系统改造、权限治理这些活儿,大厂看不上小单子,南宁企业数字化和广西软件开发方向的本地团队恰恰能贴身接住:帮客户把智能体的权限梳理一遍、把采购审查流程建起来、把分级自评报告写出来,都是看得见交付物的实在业务。我甚至觉得,明年中小企业招标里,"是否对标国家人工智能安全框架"会像当年的信息安全等级保护一样,慢慢变成标配条款——安全预算不是成本,是接单资格。
从1.0到3.0,这份框架每年都在追赶技术的形态变化,文件里每条抽象原则背后,对应的基本都是已经发生过的真实攻击。我反而觉得3.0最有价值的不是新增了多少风险条目,而是把"分级"讲清楚了:场景不同、规模不同,合规的颗粒度就不同。对中小企业这是个好消息——不必被人工智能安全四个字吓退,按自己的场景定级,做该做的防护。底线变了,不是变得更高不可攀,而是变得更具体了。具体,就意味着可以动手。