BotGauge 發表 AI 代理紅隊測試平台 助企業防禦潛在攻擊

商傳媒｜何映辰／台北報導

AI 安全新創 BotGauge AI 今日（29日）宣布推出一款新的 AI 代理紅隊測試平台，旨在協助工程團隊攻擊、追蹤、評估並管理人工智慧（AI）代理。這項創新工具的目標是在 AI 代理部署前，有效識別並防堵潛在的安全威脅。

BotGauge AI 聯合創辦人兼執行長 Pramin Pradeep 指出，由於 AI 代理的複雜性，傳統軟體測試已不足以應對其特有的漏洞。他表示，AI 模型、提示（Prompt）或工具的微小變動，都可能導致代理產生出乎意料的行為，而大多數團隊往往在產品發布後才發現這些問題。該平台期望能讓開發者在早期階段發現問題，並確保相同的錯誤不再發生。

這款平台內建超過 200 種對抗性與真實世界的紅隊測試策略，所謂的「紅隊測試」是指透過模擬惡意攻擊來找出系統弱點的方法。這些策略涵蓋了多種攻擊手法，例如 Prompt Injection（利用設計過的輸入指令，使 AI 模型產生非預期行為）、政策繞過、工具濫用以及多輪操控。當平台偵測到攻擊導致的系統故障時，會立即追蹤其提示、工具呼叫、上下文（Context）與執行路徑，並將發現結果轉換為評估機制，應用於未來的版本中。

BotGauge 平台以輕量級的軟體開發工具包（SDK）形式運作，支援現有的 AI 開發堆疊，包括 OpenAI、Anthropic、LangChain、LangGraph、LlamaIndex、CrewAI 與 AutoGen 等主流工具。此外，該平台已獲得 SOC 2 Type II 認證，並支援單一登入（SSO/SAML）與細粒度存取控制，確保企業級的資安標準。此次發布意味著隨著 AI 代理應用日益普及，企業得以重新掌握系統安全控制權。