安全爭議升溫之際，Nvidia（NVDA.US）祭出工程化應對！雙層AI安全平台直擊智能體權限及異常行為

智通財經APP獲悉，在近期圍繞人工智慧（AI）產業安全風險的爭論日益激烈之際，Nvidia（NVDA.US）選擇以工程方式做出回應。週一，Nvidia 發布了名為「開放智能體安全平台」的雙層AI安全平台，通過應用層、運行時和基礎設施三層架構，為AI智能體提供持續監控、即時策略執行和安全治理。

據悉，該系統包含兩款開源軟體工具OpenShell與Nvidia Sentry。其中，開源軟體OpenShell可在沙箱環境中運行AI智能體，將用戶指令轉化為可驗證的安全策略，並限制智能體對檔案、網路、工具、程序和憑證的存取。Nvidia Sentry則將監控和安全控制延伸至BlueField資料處理單元，通過Nvidia DOCA關聯智能體互動、策略決策以及工具和資料存取紀錄，用於識別異常行為並在必要時進行干預。換言之，OpenShell負責控制AI代理可存取的資源和執行權限，Nvidia Sentry則負責監控代理行為並識別潛在威脅。

Nvidia表示，AI智能體可能因工具、執行時間、指令歧義等因素脫離既定任務，因此需要獨立於智能體本身的安全控制。該系統針對Nvidia Vera CPU和BlueField DPU系統優化，並兼容其他硬體系統。Nvidia稱，該公司正與Arm（ARM.US）和Intel（INTC.US）合作，確保該系統同樣能運行於這兩家公司的CPU上。

Nvidia AI軟體高級總監Ali Golshan表示，Nvidia的這些工具利用數學公式來檢測AI智能體是否試圖採用變通方法，例如某個智能體可能試圖「生成」多個「子智能體」，以繞過針對主智能體的阻擋措施。他表示：「我們真正討論的是智能體化行為，也就是由大量智能體組成的集群，以及它們如何協同運作。」

Nvidia還表示，該系統能夠在毫秒級隔離異常代理，並稱如果相關實驗室先前已部署這套技術，今年7月OpenAI模型攻擊Hugging Face的事件本可被阻止。

Nvidia企業運算部門副總裁兼總經理Justin Boitano表示：「根據我們目前掌握的資訊，如果這套全新安全平台在早期模型評估階段就被用於前沿AI實驗室，那麼它本可以阻止此次入侵。」他補充稱：「我們正在以開放的方式推進這項工作，也希望與所有人展開合作，共同參與其中。」

Nvidia發布這一最新AI安全系統的背景，正值AI智能體相關安全事件持續引發產業關注，尤其是7月的OpenAI模型失控入侵全球知名人工智慧開源平台Hugging Face事件。自Hugging Face遭入侵事件後，又有多起與OpenAI相關AI智能體有關的事件被曝光。包括9月有報導稱，OpenAI的AI智能體今年春天接管了一個長期無人維護的德國維基網站。此外，OpenAI本月中旬在一篇部落格文章中表示，該公司在過去六個月裡發現了6起「意外或令人擔憂的模型行為」。這6起新公布的AI安全事件涉及多種類型的異常模型行為，包括隱瞞錯誤、尋求未經授權的憑證、將檔案上傳至公共網站，以及在原本應保持隔離的訓練環境之間進行通信等行為，其中最早的一起可追溯至去年10月。

隨著過去一段時間AI安全事件頻發，AI企業正面臨越來越大的壓力，被要求更認真地對待安全風險。Anthropic執行長達里奧·阿莫迪在9月12日發布的一篇警告性文章中就呼籲放緩前沿AI模型開發速度。而這番呼籲迅速得到了馬斯克和奧爾特曼這兩位關鍵人物的回應。

不過，在AI產業巨頭難得齊聲呼籲「踩煞車」之際，Nvidia執行長黃仁勳態度堅定地對以Anthropic為主的「AI放緩」主張表示反對。黃仁勳反對的並不是AI安全本身，而是從尚未得到證實的災難性預測，直接推導出整個產業應該暫停或者減速。相比之下，黃仁勳更願意把AI安全看成一個工程問題。如果一家前沿實驗室發生事故，首先應該做的是根因分析：到底發生了什麼，哪些環節失效了，本來可以採取哪些措施，接下來又該建立什麼新的技術和流程。再通過沙箱、持續監控、驗證和評測，把同樣的問題盡可能擋在下一次發布之前。

在黃仁勳的判斷裡，今天最前沿的實驗室之所以更容易暴露風險，很大程度上正是因為它們擁有最多的算力，也在處理最困難的問題。隨著這些公司從研究機構逐漸變成真正的工程組織，它們也需要建立與之匹配的測試和控制體系。

從此次發布AI安全系統的舉動來看，Nvidia正嘗試將AI安全能力進一步嵌入模型運作與代理執行的基礎設施，透過權限控制與異常隔離降低AI智能體的安全風險。這似乎也意味著，Nvidia的業務觸角正從AI晶片進一步延伸至軟體及安全基礎設施領域。