首頁 | 關於知識網 | 會員規範 | 知識地圖| 本站連結 | JACKSOFT | 加入會員 |
1.

2.

3.

4.

5.

6.

1.

2.

3.

4.

5.

6.

 

Dr. Hart Will

加拿大維多利亞大學 Professor Emeritus

看更多Dr. Hart Will文章

黃秀鳳 總經理

傑克商業自動化股份有限公司總經理、台灣研發管理經理人協會理事、 ICAEA國際電腦稽核教育協會台灣分會會長、各大學電腦審計、金融審計或AI稽核兼任講師

看更多黃秀鳳 總經理文章

蘇永盛 副教授

國立高雄第一科技大學會計資訊系副教授兼系主任

看更多蘇永盛 副教授文章

黃素慧 博士

朝陽科技大學會計系教授

看更多黃素慧 博士文章

黃士銘 教授

國立中正大學會計與資訊科技學系教授及製商整合研究中心主任

看更多黃士銘 教授文章

蕭幸金 教授

國立臺北商業大學會計資訊系教授暨財經學院院長

看更多蕭幸金 教授文章

李佳蓉 工程師

傑克商業自動化(股)公司 技術研發部 工程師

看更多李佳蓉 工程師文章

孫嘉明 博士

國立雲林科技大學副教授兼管理學院副院長、產業經營專業博士學位學程主任

看更多孫嘉明 博士文章

彭柏霖 副理

傑克商業自動化(股)公司 技術研發部 副理

看更多彭柏霖 副理文章

弓塲啟司 ICAEA國際電腦稽核 教育協會日本分會長

社長, 三恵ビジネスコンサルティング株式会社、日本會計師、國際電腦稽核軟體應用師、日本會計師公會,電腦稽核專業委員會委員

看更多弓塲啟司 ICAEA國際電腦稽核 教育協會日本分會長文章

吳善全 助理教授

慈濟技術學院會計資訊系助理教授

看更多吳善全 助理教授文章

黃劭彥 教授

國立中正大學會計與資訊科技學系教授

看更多黃劭彥 教授文章

李淑瑾 經理

傑克商業自動化(股)公司 技術研發部 經理

看更多李淑瑾 經理文章

 

所有最新文章
Dr. Hart Will最新文章
蘇永盛 副教授最新文章
黃素慧 博士最新文章
黃士銘 教授最新文章
蕭幸金 教授最新文章
李佳蓉 工程師最新文章
孫嘉明 博士最新文章
彭柏霖 副理最新文章
弓塲啟司 ICAEA國際電腦稽核 教育協會日本分會長最新文章
吳善全 助理教授最新文章
黃劭彥 教授最新文章
李淑瑾 經理最新文章

 

全部知識 成功案例 名人開講 線上課程 資訊專欄 稽核論壇


資安專家示警-ChatGPT曝七項重大弱點,提示注入與零點擊風險浮現

(2025-11-27 14:03:25 彭柏霖 副理)

網友推薦:2人推薦(有2人投票)

觀看次數:904

隨著生成式AI技術加速導入企業流程,相關資安風險也日益升高。近期資安公司 Tenable Research 公布最新研究報告,揭露 ChatGPT 存在七項可被連鎖利用的弱點,涵蓋提示詞注入、對話與記憶竄改,以及URL安全檢查繞過等潛在威脅,對企業資料安全與AI模型控制能力造成重大挑戰。

這些風險不僅呈現在研究概念中,更可透過實際操作範例(PoC)觸發,顯示企業使用大型語言模型(LLM)時,應特別留意外部內容引用、搜尋整合與記憶功能的控管問題。

 

一、資料外洩風險高度存在

根據 Tenable 研究,ChatGPT 在處理外部查詢與搜尋時,可能被惡意網站操控。攻擊者可在網頁中設計特定回應內容,偵測是否為搜尋工具(如SearchGPT)進行索引,並植入提示詞(Prompt Injection),即使使用者未點擊連結,也可能觸發模型在整合資訊過程中,誤植惡意內容,回傳錯誤資訊或洩漏資料。

此外,透過 URL 包裝與轉址機制(如 Bing 的 bing.com/ck/a 結構),攻擊者可繞過 ChatGPT 的安全檢查機制(url_safe),進一步將敏感資料導出或誘導用戶點擊不安全的連結。

高風險場景包括:

*使用者查詢外部網站相關資訊
*使用搜尋功能整合網路結果
*對留言區、部落格、討論串進行摘要分析
*回覆中嵌入圖片、超連結導向惡意站點

 

二、提示注入與記憶竄改難以防控

Tenable 指出,ChatGPT 具備「對話上下文整合」與「長期記憶功能」的設計,雖提升回應自然性與一致性,卻也成為潛在攻擊點。

兩項攻擊技術尤須關注:

1. 對話注入(Conversation Injection)

惡意網站透過搜尋回應夾帶額外指令,使 ChatGPT 在下一輪對話中執行操控性回應。

2. 記憶注入(Memory Injection)

更進一步,攻擊者可嘗試讓模型更新使用者記憶內容,持續保存惡意行為指令,在未來對話中反覆發生資料外洩、誤導資訊等風險。

這對於企業使用 LLM 進行知識整理、長期支援(如客服、報告生成、專案管理)時,極具隱蔽性風險。

 

三、合規性風險與監管挑戰

多項國內外法規(如《個資法》、《GDPR》、《HIPAA》)已明訂對機敏資料的保護要求,但目前雲端 LLM 平台多數難以提供明確的:

*資料存取範圍控管
*回應內容追蹤稽核
*記憶更新/刪除/審計紀錄

 

研究更指出,部分安全弱點(如 url_safe 繞過)至今尚未完全修補,加劇了企業若在未風險評估下導入 LLM 的合規壓力。

 

四、建議導入地端LLM,強化資安治理能力

針對上述風險,資安專家建議企業應採用地端部署的LLM(On-prem LLM)以強化資料安全與治理彈性,其優勢如下:

*資料掌控與隱私保護
*所有資料處理在本地內網完成,避免傳輸過程中被竊取或分析。
*合規與法規對應性強

地端部署更易於符合本地監管要求,如台灣《個資法》、歐盟《GDPR》,並可控資料跨境流動。

模型客製化與稽核強化

企業可根據自身稽核需求、產業規範進行微調,並保留處理紀錄供內稽、外稽使用。

 

結語:生成式AI的價值,在於提升效率;但它的可控性與透明度,則關乎信任與永續經營。面對模型行為難以預測、資料去向難以掌握、外部輸入難以信任的挑戰,企業應從制度面、技術面與教育面三管齊下,逐步建立「AI治理框架」:包括地端模型部署、模型安全微調、風險稽核制度與提示安全教育。這不僅是因應新風險的策略,更是未來AI時代企業韌性的基礎工程。

如需客製培訓或導入協助,歡迎與 JACKSOFT 團隊聯繫,讓我們協助您建構更堅實的資安防線。

資料來源:iThome

「 本文章之圖文版權為彭柏霖 副理本人所有,非經同意不得轉載。」

分享至 分享至X(Twitter) 分享至LinkedIn 分享至Facebook 分享至LINE

網友評價:2人推薦0人不推(共有2人投票)

你對這一則文章的評價:

回應數:0
共 0 筆資料. / . 第 頁/共 頁

 
彭柏霖 副理其他最新文章
共 7 筆資料. / . 第 1 頁/共 1 頁

 

 

網站建議與問題回報 | 隱私權政策 | 網站管理規範 | 條款與政策