如何应对智能体发展带来的安全性挑战？中山大学软件工程学院院长、教授郑子彬从可信评测角度为智能体安全发展提供了标尺。5月21日上午，在以“如何共守智能体安全底线”为主题的“AI新治向”系列沙龙第二期上，郑子彬表示，当前智能体安全问题日益凸显，而监管技术发展相对滞后，亟须搭建标准化、落地化的评测体系，以技术赋能监管，推动智能体产业安全、可信、可控发展。
技术剖析智能体三大安全风险
过去十年，Gartner十大科技趋势预测里面的AI关键词从“人工智能”演变为“生成式AI”，进而发展为“智能体”及“多智能体”，2026年进入智能体爆发阶段，智能体市场规模增长迅速，并已成为Token消耗的核心主体。
“智能体和大模型是配合关系，能去做一些大模型做不了的事情”，郑子彬指出，智能体作为大模型的“手脚”，能调用电脑上的各种应用软件及访问互联网执行复杂任务，但也带来了更严峻的安全问题：一是隐私泄露，交互过程中泄露用户敏感信息的事件时有发生；二是可靠性问题，大模型的“幻觉”导致输出答案与客观事实存在偏差从而做出错误的决策；三是行为风险，智能体容易出现自主越权操作、恶意指令执行、违规外联、物理危害等问题。
针对智能体的行为风险，郑子彬以热门的Skills工具来举例。他指出，Skills工具看似普通功能文档，进入智能体后，却会涉及工具调用、数据流向和权限边界等多维度，存在很强的风险。他所带领的团队曾对10万余个互联网上公开发布的智能体Skills开展检测，结果发现千余个Skills存在访问越权、数据治理失控、恶意代码执行等多重风险，普通用户难以甄别，极易引发设备失控、信息泄露等严重后果。例如，有的Skills后台窃取用户工作记录发送至特定地址；有的将环境变量中的密钥隐藏于图片中传出。
郑子彬指出，当前各国针对大模型及智能体带来的风险均出台了系列法规政策，尝试从分级管理、风险评估等多方面探索大模型治理。不过，监管技术的发展缺乏经济激励，主要依靠宏观指引，落地效果有限；相反，大模型及智能体技术发展有强劲的经济驱动，发展迅速，“监管往往跟不上技术的发展速度。”郑子彬呼吁监管部门加大对大模型及智能体监管技术的投入。
建议加强大模型及智能体可信能力评测
据郑子彬介绍，其团队曾对当前具备代表性的8款主流智能体框架的可信能力展开评测，结果显示，尽管某些框架在感知解析与底层通用任务调度上取得了较好的表现，然而在关乎底线伦理的安全与风险防御、社会规则协同及部分垂域专业落地能力上，多数参评智能体框架表现不佳。这种失衡暴露出行业在追求智能体高自由度时的安全缺位。
郑子彬进一步指出，随着大模型及智能体在金融、医疗、教育等行业落地，企业对模型稳定性、输出可靠性和风险可控性的要求不断提升，核心诉求已经从单纯的“能用”转变为对系统的“可信、可靠、可控”。在大模型及智能体快速迭代背景下，企业亟须具备可对比性和实践价值的评测体系，用于指导大模型选型、智能体框架选型、场景适配与潜在风险识别。
郑子彬建议，要构建全维度、可落地的大模型及智能体安全评测体系，推动大模型及智能体安全评测落地，以评测赋能企业查漏补缺、优化升级。他强调，可信评测是帮助人工智能安全发展从“监管约束”转向“服务赋能”，以专业技术助力企业排查风险、优化模型，为智能体合规落地提供技术标尺与改进方向，推动产业安全健康发展。为此，其团队围绕大模型及智能体各自构建了体系化的评测框架。其中大模型可信能力评测框架涵盖了37个细分维度；智能体可信能力评测框架涵盖68个细分维度；依托百万级数据，通过自动化检测与智能分析，生成企业大模型及智能体专属安全评估报告，助力定位大模型及智能体的风险。
“AI新治向”系列沙龙由粤港澳大湾区生成式人工智能安全发展联合实验室、南方都市报社主办，广东省网络数据安全与个人信息保护协会支持。相关政府部门、司法、学界、企业、媒体等多方代表出席了活动，聚焦国家网信办、国家发展改革委、工业和信息化部联合印发的《智能体规范应用与创新发展实施意见》核心要求，剖析智能体应用安全风险底层逻辑，探讨多元共治与创新实践方案。
嘉喜网提示：文章来自网络，不代表本站观点。
