万益资讯网

【英伟达:美国行业领袖联合成立开放安全人工智能联盟】(英伟达官网)开源软件是全球

【英伟达:美国行业领袖联合成立开放安全人工智能联盟】

(英伟达官网)开源软件是全球经济的重要支柱。它使技术对专家社区而言易于获取和监督,从而支撑着云计算、金融服务、制造业、电信、政府和互联网服务等领域。

网络安全是开源软件的三大受益领域之一。开放安全人工智能联盟(Open Secure AI Alliance)依托Linux基金会Arkrites计划和OpenSSF社区的工作成果,致力于利用开放技术修复和披露漏洞。

正如开源软件为软件创建了共享基础一样,美国及其合作伙伴现在在人工智能安全方面面临着一个选择:保护我们基础设施的防御措施是置于少数不透明的系统内,还是建立在任何防御者都可以研究、调整和部署的开放模型、框架和工具之上。

世界既需要封闭模式,也需要开放模式。对于网络安全而言,开放模式和开放框架至关重要,因为它们能够普及防御能力,提高防御者的透明度,在保护数据的同时实现网络防御,并以可定制的本地化控制措施补充前沿的封闭模式。开源能够实现大规模分布式、社区驱动和自主控制的防御——不存在单点故障。

开放模型与任何强大的技术一样,都可能被滥用——包括试图削弱安全措施或将功能重新用于网络攻击——但这些风险并非开放系统独有,无论在何处部署先进的人工智能,都必须对其进行管理。

最近发生的Hugging Face 安全事件再次警醒我们:网络防御者需要开放的、前沿的智能体系统来进行自我防御。当封闭的 AI 工具(无法区分攻击者和防御者)阻碍了必要的取证分析时,Hugging Face 在其自身的基础设施上运行了开源的 GLM 5.2 模型,分析了超过 17,000 次攻击行为,最终遏制了入侵。

那次事件揭示了一个现实:当防御者无法检查、调整自身基础设施并运行先进的人工智能时,他们的响应能力就会受到限制,而这恰恰是速度至关重要的时刻。企业和国家需要开放的前沿防御工具和技术,以便关键行业能够在多供应商生态系统中构建安全系统,避免单点故障。

这就是开放安全人工智能联盟的使命:确保世界各地的防御者拥有他们可以信任和控制的开放的前沿工具。

包括 NVIDIA、Adobe 、Box、Cadence 、Capital One 、Cisco 、Cloudera 、Cloudflare 、Cognition 、CrowdStrike、Crusoe、Databricks 、Dell Technologies 、DoorDash 、Elastic、F5、Factory AI、Fortinet、G42、GitHub、HPE、Hugging Face 、IBM 、LangChain、 Linux 基金会、Microsoft 、Mistral、NAVER 、NetApp 、Nokia、Nous Research 、OpenClaw、 Palantir 、Palo Alto Networks 、Perplexity、Red Hat、 Reflection AI、Salesforce 、SAP、ServiceNow 、Siemens、SK Telecom、Snowflake 、SpacexAI 、Synopsys 、Thinking Machines Lab、TrendAI、Uber、Upwind、vLLM、WWT 和 Zscaler在内的云计算、网络安全、企业软件、开源基金会和人工智能研究领域的领导者,都是开放安全人工智能联盟 (Open Secure AI Alliance) 的创始合作伙伴。该联盟旨在开发和共享人工智能技术。开放技术、方法和工具,以保障人工智能时代软件和代理的安全。

有人认为,开放模型本质上安全性较低,因为它们可能被滥用于网络攻击或被篡改以移除安全防护措施。这些风险确实存在,但它们在封闭系统中并不会消失,仅仅封闭权重并不能阻止蓄意攻击者寻找或利用强大的AI。

正确的应对之道并非剥夺防御者使用功能强大的开放系统的权限,而是将开放性与强有力的安全保障、明确的恶意滥用防范规则、严格的评估和快速的补救措施相结合。在网络安全领域,更安全的做法是赋予更多防御者测试、验证和加强社会赖以生存的系统的能力。

防御者需要前沿封闭模式和前沿开放模式协同工作,以便选择合适的系统来完成任务,并确保在安全需要的地方都能提供透明度、适应性和主权控制。

——开放研究提升网络安全和人工智能安全

人工智能代理不仅仅是一个语言模型。它是一个由模型、框架和防护措施构成的复杂系统。

真正的人工智能安全取决于完整的代理堆栈——身份、权限、框架、防护措施、日志和评估——而不仅仅是模型权重是开放还是封闭。开放的框架和工具使得许多安全人员能够更轻松地检查、测试和改进这些控制措施。

NVIDIA 向开放安全人工智能联盟贡献开放模型、模型权重、数据和新的代理工具研究,以加速开发新的网络安全工具和技术。

NVIDIA Labs全新的开源面向对象代理 (NOOA)项目现已在GitHub上发布,旨在让代理框架更容易地使用高级 AI 安全功能。NOOA 研究框架使框架能够更好地与模型集成,从而简化代理行为的测试、追踪、审计和管理。

联盟各成员正在为代理构建一个开放的防御体系——从身份和隔离到安全的模型格式、多模型扫描和安全的编码工作流程。

HPE 为SPIFFE/SPIRE做出了贡献,该组织创建了零信任身份框架标准和方法,可以对 AI 代理和服务进行加密验证,以确保只有授权的工作负载才能通信和访问企业资源。

Hugging Face 向 PyTorch 基金会提供了Safetensors——一种用于存储 AI 模型权重的安全格式,它提供了透明度并保证不会远程执行代码。

IBM 和 Red Hat 的Lightwell通过数字签名补丁扩展了开源供应链的安全性。

微软的MDASH多模型代理扫描工具集协调专门的 AI 代理来发现、讨论和证明可利用的漏洞。

SpaceXAI 已将基于终端的人工智能编码代理Grok Build开源,以促进信任、透明度和新功能,并计划开源 Grok 系列模型的权重,以支持开发者和研究社区。

——致政策制定者和监管机构的呼吁

在政策制定者和监管机构努力应对人工智能安全问题之际,至关重要的是要将开放模型、工具和安全工具视为人工智能和网络安全政策中的防御资产,而非负担。对开放前沿人工智能系统实施一刀切的限制会削弱防御能力,并可能导致权力、依赖性和脆弱性集中在少数封闭的供应商手中。

企业和政府应该像过去几代人投资开源软件一样,投资于人工智能防御的共享开放基础设施——数据集、评估框架、攻击模拟器和红队工具。

——我们应该建设的未来

人工智能时代可以是一个充满韧性和共享安全的时代。通过正确的选择,开放安全的AI系统可以为安全防御者提供所需的工具,增强竞争,巩固技术领先地位,并确保这项非凡技术的安全保障以开放的形式为所有人所用。

仅仅依靠保密并不能确保安全。只有构建足够强大以经受审查、足够灵活以不断改进、足够开放以动员所有捍卫者参与的系统,才能确保未来安全。

这样的未来值得我们去构建——开放安全人工智能联盟邀请各国政府、行业人士和研究人员共同加入到捍卫人工智能时代的行列中来。