概述
OWASP 生成式 AI 安全專案是一個全球性、由社群驅動且專家領導的計畫,產出免費開源的指南,用以保護生成式 AI 與大型語言模型(LLM)系統。它於 2023 年以 OWASP LLM 應用程式 Top 10 起步,因迅速被採用而擴展成涵蓋整個生成式 AI 安全生命週期的大型專案。
OWASP 於 2025 年 3 月將其升格為旗艦級專案。社群目前涵蓋來自 18 個以上國家的 600 多位貢獻專家、130 多家企業,以及將近 8,000 名活躍成員,使其成為實務 AI 安全領域最活躍的參考來源之一。
核心內容
OWASP LLM 應用程式 Top 10(2025 版)
本專案的旗艦產出列出建構於 LLM 之上的應用程式最關鍵的十大安全風險。2025 版精煉了先前的清單,並新增了針對代理式(agentic)與檢索增強(RAG)系統的特定風險。
- LLM01 提示注入(Prompt Injection)— 經設計的輸入操縱模型做出非預期或惡意行為。
- LLM02 敏感資訊洩漏 — 透過模型輸出洩漏機密資料、個資或專有內容。
- LLM03 供應鏈 — 開發與部署階段引入有漏洞的模型、資料集、外掛或相依套件。
- LLM04 資料與模型下毒 — 遭汙染的訓練或微調資料破壞模型完整性與輸出品質。
- LLM05 不當輸出處理 — 模型輸出在進入下游系統前未經充分驗證(XSS、SSRF、程式碼執行)。
- LLM06 過度代理權限 — 在缺乏適當防護下,給予 LLM 過多工具、權限或自主性。
- LLM07 系統提示外洩 — 系統提示外洩,進而暴露防護機制、機密或邏輯。
- LLM08 向量與嵌入弱點 — 向量資料庫、嵌入與 RAG 流程中的安全缺口。
- LLM09 錯誤資訊 — 產生不實、偏誤或虛構內容(含幻覺),誤導使用者。
- LLM10 無限制資源耗用 — 不受控的資源使用導致阻斷服務、失控成本或模型萃取。
計畫與工作組
除了 Top 10 之外,本專案還運作數個專門的工作小組(initiatives),各自針對生成式 AI 安全的特定面向產出專屬的指南、框架與工具。
- 代理式安全 Initiative — 為自主與多代理系統提供威脅建模與緩解措施(如 Agentic AI Threats & Mitigations 與 Multi-Agentic System Threat Modeling 指南)。
- AI 紅隊與評估 — 提供方法論、基準與《GenAI Red Teaming Guide》,用以測試模型的漏洞與偏誤。
- 安全 AI 採用與治理 — 提供《AI Security Center of Excellence》指南與治理框架,協助安全、合乎倫理地導入 AI。
- AI 威脅情資與應變 — 追蹤 LLM 如何被用於產生漏洞利用,並涵蓋深偽(deepfake)威脅準備與事件應變。
- 資料安全 — 在生成式 AI 生命週期中保護訓練資料、嵌入與資料流的最佳實務。
- 風險與漏洞資料蒐集 / 對應 — 蒐集真實世界風險資料,並將 Top 10 對應至 NIST、ISO、MITRE 等框架。
- AI 安全解決方案地景 — 一份分類目錄,整理因應生成式 AI 風險的商用與開源工具。
使用情境
團隊可在 AI 功能的設計審查、威脅建模與滲透測試中,把 LLM 應用程式 Top 10 當成檢核表,並作為開發、資安與管理層之間的共同語彙。各 initiative 的深入指南則可支援紅隊演練、安全採用政策、代理架構審查與供應商評估。
把每一項 LLM 風險對應到你技術堆疊中的具體控制措施——輸入輸出驗證、最小權限的工具存取、供應鏈檢查與資源配額——而非將清單視為一次性的稽核。
沿革與版本
- 2023 年 — 首版 OWASP LLM 應用程式 Top 10 推出(2023 年 5 月 v1.0,2023 年 10 月 v1.1 更新),作為社群對 LLM 應用興起的回應。
- 2024 年 — 計畫從單一清單擴展,新增多個工作小組,並重新立章為更廣泛的 OWASP 生成式 AI 安全專案。
- 2025 年 — 發布 LLM 應用程式 Top 10 的 2025 版,並於 2025 年 3 月由 OWASP 升格為旗艦級專案。