隨著AI Agent（星空人工智能智能體）逐漸進入工具調(diào)用、文件訪問、流程執(zhí)行等應用場景，AI安全問題引發(fā)的行業(yè)擔憂，也催生了全新的安全需求。近日，深圳深知智新技術(shù)有限公司（以下簡稱：深知）旗下深知安全風控（DKnownAI Guard）團隊公開發(fā)布了一項面向Agentic（智能體化）場景的安全護欄測評，并同步開放技術(shù)報告與評測數(shù)據(jù)集。此次測評圍繞真實攻擊與正常交互邊界，對多類主流安全護欄方案進行了統(tǒng)一評估，嘗試為AI智能體安全能力建設(shè)提供新的行業(yè)參考。
從內(nèi)容審核到智能體安全：聚焦AI智能體安全新挑戰(zhàn)
與傳統(tǒng)內(nèi)容安全測評主要聚焦違規(guī)表達、敏感內(nèi)容識別不同，AI智能體場景中的風險往往與任務目標、上下文信息以及交互過程緊密相關(guān)，僅依賴文本層面的判斷，已難以完整反映相關(guān)安全能力。因此，此次測評的重點不僅在于比較不同安全方案的識別結(jié)果，更在于嘗試通過統(tǒng)一標準，觀察AI智能體場景下真實攻擊識別能力與正常請求放行能力之間的平衡情況。
據(jù)了解，此次測評從8個公開安全數(shù)據(jù)集中抽樣1018條樣本，并結(jié)合真實部署語境進行了人工復審與重標注，最終形成統(tǒng)一的BLOCKED / ALLOWED（攔截/放行）評估框架。測評對象包括AWS Bedrock Guardrails（亞馬遜云科技安全護欄）、Azure Content Safety（微軟內(nèi)容安全服務）、Lakera Guard（Lakera安全防護方案）等主流安全方案。
業(yè)內(nèi)認為，公開數(shù)據(jù)集與統(tǒng)一評估框架的建立，有助于提升AI智能體安全能力的可比性與可評估性，也為行業(yè)進一步觀察復雜攻擊識別能力、誤傷控制能力以及整體安全效果之間的關(guān)系，提供了新的參考依據(jù)。
從“拒答”到“分類處理”：深知安全風控為AI可信落地提供新實踐
在此次測評中，深知安全風控（DKnownAI Guard）在多項核心指標中表現(xiàn)突出。其中，召回率（Recall）達到96.5%，真負率（True Negative Rate）達到90.4%，均位列第一，體現(xiàn)出其在AI智能體場景下兼顧攻擊識別能力與正常請求放行能力的綜合安全水平。
在機器學習領(lǐng)域，Recall通常用于衡量模型對目標類別的識別覆蓋能力，True Negative Rate則用于衡量模型對非目標類別的正確判斷能力。結(jié)合本次測評語境，前者對應真實攻擊識別能力，后者對應正常請求放行能力。
對于AI智能體場景而言，如果過度強調(diào)攔截能力，容易影響正常交互體驗；而如果放行過多，則可能帶來新的安全風險。測評結(jié)果顯示，深知安全風控的優(yōu)勢并不只是提升單一攔截能力，而是在風險識別與誤傷控制之間取得了較好平衡。換句話說，其關(guān)注的不只是“文本是否像風險內(nèi)容”，而是“AI智能體是否會因此做出錯誤行為”。這一能力對于涉及辦公協(xié)同、客戶服務、企業(yè)運營等實際場景的AI智能體應用而言，具有較強現(xiàn)實意義。
據(jù)了解，深知安全風控采用組件化插入模式，可與基座大模型及相關(guān)智能體應用協(xié)同配合，對潛在風險進行識別與響應。針對部分風險問題，系統(tǒng)并非簡單拒答，而是結(jié)合風險研判結(jié)果進行分類處理，在風險防控與正常使用體驗之間實現(xiàn)平衡。
測評結(jié)果顯示，深知安全風控不僅能夠有效識別提示詞注入、指令劫持等風險，還能降低對正常業(yè)務交互的誤傷，為AI智能體從“能用”邁向“可信可用”提供了新的實踐參考。
業(yè)內(nèi)認為，僅依靠傳統(tǒng)內(nèi)容安全思路，已經(jīng)難以充分應對新一代AI智能體場景中的復雜風險。此次公開測評通過統(tǒng)一數(shù)據(jù)集與評估框架，為AI智能體安全能力建立了新的比較參考體系，也進一步體現(xiàn)出行業(yè)對于“可信AI”安全能力建設(shè)的持續(xù)關(guān)注。
隨著AI智能體加速進入辦公協(xié)同、客戶服務、企業(yè)運營等更多實際應用場景，能夠兼顧風險識別能力與正常使用體驗的安全能力，或?qū)⒊蔀橥苿覣I智能體進一步規(guī)模化落地的重要基礎(chǔ)。
星空人工智能技術(shù)網(wǎng) 倡導尊重與保護知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。！：首頁 > 大數(shù)據(jù) » Agent安全測評結(jié)果出爐 “深知安全風控”雙指標領(lǐng)先