|
隨著生成式AI技術加速導入企業流程,相關資安風險也日益升高。近期資安公司 Tenable Research 公布最新研究報告,揭露 ChatGPT 存在七項可被連鎖利用的弱點,涵蓋提示詞注入、對話與記憶竄改,以及URL安全檢查繞過等潛在威脅,對企業資料安全與AI模型控制能力造成重大挑戰。
這些風險不僅呈現在研究概念中,更可透過實際操作範例(PoC)觸發,顯示企業使用大型語言模型(LLM)時,應特別留意外部內容引用、搜尋整合與記憶功能的控管問題。
一、資料外洩風險高度存在
根據 Tenable 研究,ChatGPT 在處理外部查詢與搜尋時,可能被惡意網站操控。攻擊者可在網頁中設計特定回應內容,偵測是否為搜尋工具(如SearchGPT)進行索引,並植入提示詞(Prompt Injection),即使使用者未點擊連結,也可能觸發模型在整合資訊過程中,誤植惡意內容,回傳錯誤資訊或洩漏資料。
此外,透過 URL 包裝與轉址機制(如 Bing 的 bing.com/ck/a 結構),攻擊者可繞過 ChatGPT 的安全檢查機制(url_safe),進一步將敏感資料導出或誘導用戶點擊不安全的連結。
高風險場景包括:
*使用者查詢外部網站相關資訊
*使用搜尋功能整合網路結果
*對留言區、部落格、討論串進行摘要分析
*回覆中嵌入圖片、超連結導向惡意站點
二、提示注入與記憶竄改難以防控
Tenable 指出,ChatGPT 具備「對話上下文整合」與「長期記憶功能」的設計,雖提升回應自然性與一致性,卻也成為潛在攻擊點。
兩項攻擊技術尤須關注:
1. 對話注入(Conversation Injection)
惡意網站透過搜尋回應夾帶額外指令,使 ChatGPT 在下一輪對話中執行操控性回應。
2. 記憶注入(Memory Injection)
更進一步,攻擊者可嘗試讓模型更新使用者記憶內容,持續保存惡意行為指令,在未來對話中反覆發生資料外洩、誤導資訊等風險。
這對於企業使用 LLM 進行知識整理、長期支援(如客服、報告生成、專案管理)時,極具隱蔽性風險。
三、合規性風險與監管挑戰
多項國內外法規(如《個資法》、《GDPR》、《HIPAA》)已明訂對機敏資料的保護要求,但目前雲端 LLM 平台多數難以提供明確的:
*資料存取範圍控管
*回應內容追蹤稽核
*記憶更新/刪除/審計紀錄
研究更指出,部分安全弱點(如 url_safe 繞過)至今尚未完全修補,加劇了企業若在未風險評估下導入 LLM 的合規壓力。
四、建議導入地端LLM,強化資安治理能力
針對上述風險,資安專家建議企業應採用地端部署的LLM(On-prem LLM)以強化資料安全與治理彈性,其優勢如下:
*資料掌控與隱私保護
*所有資料處理在本地內網完成,避免傳輸過程中被竊取或分析。
*合規與法規對應性強
地端部署更易於符合本地監管要求,如台灣《個資法》、歐盟《GDPR》,並可控資料跨境流動。
模型客製化與稽核強化
企業可根據自身稽核需求、產業規範進行微調,並保留處理紀錄供內稽、外稽使用。
結語:生成式AI的價值,在於提升效率;但它的可控性與透明度,則關乎信任與永續經營。面對模型行為難以預測、資料去向難以掌握、外部輸入難以信任的挑戰,企業應從制度面、技術面與教育面三管齊下,逐步建立「AI治理框架」:包括地端模型部署、模型安全微調、風險稽核制度與提示安全教育。這不僅是因應新風險的策略,更是未來AI時代企業韌性的基礎工程。
如需客製培訓或導入協助,歡迎與 JACKSOFT 團隊聯繫,讓我們協助您建構更堅實的資安防線。
資料來源:iThome
|