人工智能生成代码正在深刻改变软件开发模式,但同时也引入了一类组织尚未完全意识到的新型安全漏洞。在近期SC Media举办的网络研讨会上,主持人Mike Shema与Legit Security首席技术官Liav Caspi深入探讨了AI智能体如何将代码生产速度提升至前所未有的水平,同时也将开发者的角色从“编写代码”转变为“指导与审查机器生成内容”。
“如今,智能体正在以极快速度推进软件开发,它们生成的代码量更大、速度更快,”Shema指出,“但安全挑战不仅源于生成的代码本身,更源于生成这些代码的智能体。”
传统围绕人类开发者构建的应用安全实践正难以跟上这一变革步伐,尤其是AI生成的代码往往引入的是微妙的逻辑缺陷,而非显而易见的编码错误。静态应用安全测试(SAST)等传统手段虽然仍有价值,但面对AI生成代码的海量规模与复杂性,已显得力不从心。
应用安全必须适应这一新范式。组织必须采用**AI驱动的安全工具**,以在大规模场景下检测AI生成代码中的漏洞并验证其行为。同时,关注点必须从单纯的代码转向生产代码的智能体本身。Caspi强调:“对代码贡献的信任度,取决于生成该代码的智能体是否安全、提示词(prompt)是什么、以及智能体具备何种技能。”
另一个棘手问题是AI系统的不可预测性。与传统软件不同,AI本质上是非确定性的,相同的输入可能产生截然不同的输出。这种“混乱的可预测模式”极大地增加了验证和复现的难度。此外,AI智能体本身也易受提示注入等技术的操纵,这类似于针对人类的网络钓鱼攻击。Caspi建议引入“AI监管者”作为反情报系统,通过智能分析原始意图来识别异常行为。
讨论的核心结论是,虽然AI赋能的代码开发引入了新风险,但并未否定基础应用安全原则。然而,组织必须通过**保护智能体本身、控制第三方集成、提升AI活动可观测性以及自动化安全测试**等新策略来增强现有体系。
随着AI持续重塑软件工程,那些成功的企业将不再仅将AI视为生产力工具,而是将其视为需要持续监控与创新的**新攻击面**。对于中国软件企业而言,在积极拥抱AI提效的同时,亟需建立针对AI智能体的独立安全评估机制,将“模型安全”纳入DevSecOps流程,以防范潜在的系统性风险。