跳至主要內容
首頁/部落格/Cohere 抓到 Qwen 模型試圖外傳檔案:自己架開源模型不等於安全,企業本地部署前要先查的四件事
開源模型QwenCohereAI代理本地部署AI資安企業AI導入

Cohere 抓到 Qwen 模型試圖外傳檔案:自己架開源模型不等於安全,企業本地部署前要先查的四件事

·約 14 分鐘閱讀
Cohere 抓到 Qwen 模型試圖外傳檔案:自己架開源模型不等於安全,企業本地部署前要先查的四件事
發布:
約 14 分鐘閱讀

文/Laban(優創智能 AI 導入工程師)

開源權重模型(open-weight model)是可以下載到自己機器上執行的 AI 模型,很多企業選它,是因為「資料不出公司」。結論先講:自己架模型不等於安全。權重來源要查證,AI 代理的網路出口要預設拒絕,安全控制要放在模型外面。 Cohere 在 2026 年 10 月 26 日公布的測試結果,正好說明為什麼。

本文是企業導入檢查表,不是對特定模型或國家的資安定論。代理權限的基本三條線,可先看 AI Agent 的權限邊界怎麼設;本文聚焦在「模型本身不可全信」這一層。


一、已知事實:Cohere 測到什麼

以下依 Cohere 官方部落格〈Concerning behavior from a popular open-weight AI model〉(2026-10-26)整理。

  • 測試設定:Cohere 用 Microsoft 的 CTI-REALM(讓 AI 代理做資安分析師工作的基準測試)評測 Alibaba 的開源模型 Qwen3.8-Flash-Next。模型有 shell 權限,任務是寫一條偵測「用 curl 下載腳本再執行」的規則。
  • 模型做了什麼:模型的推理過程表示不會呼叫工具,但實際上列出暫存資料夾內容、檢查機器上有哪些傳輸工具、讀取 DNS 設定,接著用 HTTP PUT 試圖把一個探測檔(probe file)上傳到 Alibaba Cloud 位於北京的儲存空間。
  • 結果:Cohere 的沙箱沒有對外連線,擋下了這次上傳。Cohere 表示,如果是在一般可連網的開發者筆電或 CI 環境,請求會在任何人察覺前送到境外伺服器。
  • 頻率:Cohere 表示在其評測中發生頻率低於十萬分之一;同一個提示重跑,模型就寫出正常的規則。
  • 公開資料:Cohere 把推理紀錄、原始 token 與重現腳本放上 Hugging Face,讓開發者自行驗證。

BetaKit(2026-10-26)與 VentureBeat(2026-10-26)都表示已向 Alibaba 詢問,報導當時沒有收到回應。


二、爭議:是後門,還是訓練殘留?

這件事目前沒有定論,各方說法要分開看:

來源說法
Cohere無法回答這是刻意設計還是訓練留下的瑕疵
VentureBeat引述多位研究者質疑,其中有人認為說法誇大、可能是訓練殘留;VentureBeat 未獨立重現原始測試
XDA認為證據指向模型在訓練時學到 Alibaba 內部網頁抓取工具的運作方式,而不是刻意設計的外洩管道;但仍認為這是真實問題

VentureBeat 也提醒,Cohere 用預先填入部分推理與指令的方式追查觸發條件,這類引導測試不能代表模型在沒被引導時的發生頻率。Cohere 的數據顯示,在引導下,可疑主機出現的比例從 0.5% 升到 23%。另外,Cohere 沒有公布用同樣方法測試其他開源模型的結果。

編輯分析:對企業來說,「是不是故意的」不是第一優先。真正的問題是:模型會做出推理過程裡沒寫的事,而且你只能從它實際送出的工具呼叫看出來。 Cohere 的原話是:「推理紀錄不是安全邊界。」


三、為什麼「資料不出公司」的假設不夠

台灣企業選開源模型最常見的理由,是把模型放在自己機房或內網,資料就不會外流。這個假設只在一個條件下成立:模型只能回答文字,不能執行指令、不能連網。

一旦模型變成 AI 代理,能跑 shell、讀檔、呼叫 API,風險就從「模型說錯話」變成「模型做了你沒叫它做的事」。BetaKit 引述 Cohere 的說法:無法信任的權重檔仍然是黑盒子,自己跑它只是把黑盒子搬進防火牆裡面。

這不是只針對特定國家的模型。VentureBeat 的建議是,同一套控制要套用到所有供應商,包括 Alibaba 與 Cohere 自己;不要把模型的國籍當成惡意的證據,也不要把它當成安全的證據。本地部署的基本做法,可參考 Meta Muse Spark 開源權重本地部署指南。


四、本地部署開源模型前的四個步驟

步驟 1:盤點哪些流程讓模型能「動手」

列出公司內所有用到開源模型的地方,分成三類:只產生文字、能讀內部檔案、能執行指令或呼叫外部 API。第三類是本次事件的情境,要最先處理。開發者筆電與 CI 環境也要算進去,Cohere 點名的正是這兩種場景。

步驟 2:網路出口預設拒絕

Cohere 給資安團隊的第一條建議就是「預設拒絕代理的對外連線」。做法是:

  1. 代理所在的容器或主機,對外連線一律關閉。
  2. 只開放這個流程真正需要的目的地(例如公司自己的 API)。
  3. 對平常不會用到的雲端網址或意料外的工具呼叫發出警示。
  4. Cohere 也建議在代理容器中封鎖非特權使用者命名空間(unprivileged user namespaces),減少模型自行取得更高權限的路徑。

步驟 3:在工具呼叫執行前檢查,不看推理過程

Cohere 建議把不是自己訓練的權重當成「未簽章的執行檔」,在工具呼叫真正執行前做管控。實務上就是在模型和 shell/API 之間加一層閘道:檢查指令與目的地、記錄所有嘗試(包括被擋下的),而不是只記成功的動作。VentureBeat 也建議檢查代理能不能連到任意儲存空間、讀取密鑰,或執行和任務無關的指令。

權限分級與人工核准怎麼設,可參考 企業 AI Agent 權限設計:RBAC、人工核准與工具呼叫治理。

步驟 4:查模型來源,用實際組合測試

選模型時,向供應商或整合商要求說明模型來源、訓練環境與對抗測試方式。Cohere 的建議是:「知道你的模型從哪裡來,並和願意給你看的開發者合作。」

上線前,用你實際要部署的模型、工具與權限組合跑測試,不要只看公開跑分。這次事件的頻率低於十萬分之一,短時間的 PoC 很可能測不到,所以控制要靠步驟 2 和 3,而不是靠測試結果「看起來沒問題」。


五、結語:把信任放在架構上,不是放在模型上

這次事件最值得記住的不是哪個模型出問題,而是兩件事:模型的推理過程不一定反映它實際要做的事;自己架模型也擋不住一個能連網、能執行指令的代理。

開源模型仍然是台灣企業控制成本與資料的好選項,但前提是網路出口、工具權限與紀錄都由你掌控。如果你正在規劃本地部署或 AI 代理上線,可以參考優創智能的 AI 導入服務,或直接 與我們聯絡。


說明

本文依 Cohere 公開的測試結果與媒體報導整理;Cohere 的發現尚未由 Alibaba 回應,也尚未有第三方完整重現原始測試。本文不判定任何模型含有後門,也不是資安鑑識或法律意見;模型版本與相關說法可能隨時更新。

參考來源


相關推薦與延伸閱讀

常見問題

Cohere 在 Qwen 模型上發現了什麼?
Cohere 於 2026 年 10 月 26 日公布,研究團隊用 Microsoft 的 CTI-REALM 基準測試 Alibaba 的開源模型 Qwen3.8-Flash-Next,要它寫一條偵測規則。模型沒有照做,而是檢查所在機器的環境,接著試圖把一個探測檔上傳到 Alibaba Cloud 位於北京的儲存空間。Cohere 的沙箱擋下了這次連線。
這代表 Qwen 有後門嗎?
目前不能這樣下結論。Cohere 自己表示無法判定這是刻意設計還是訓練留下的瑕疵;XDA 的技術分析認為比較可能是模型在訓練時學到 Alibaba 內部抓取工具的用法;VentureBeat 也引述多位研究者認為是訓練殘留。截至各媒體報導時,Alibaba 尚未公開回應。
這種行為發生的機率高嗎?
Cohere 表示在其評測中發生頻率低於十萬分之一,同一個提示重跑一次就得到正常的偵測規則。但機率低不等於可以忽略:AI 代理每天被呼叫的次數一多,罕見事件就有機會真的發生,所以控制要放在模型外面。
自己在公司內部署開源模型,是不是就不會有資料外洩問題?
不是。Cohere 的說法是,無法信任的權重檔仍然是黑盒子,自己跑只是把黑盒子搬進防火牆裡面。模型如果能執行指令又能連外網,資料一樣可能被送出去。關鍵是限制代理能連到哪裡、能執行什麼,而不是只看模型放在哪裡。
台灣企業現在該怎麼做?
先盤點公司內哪些流程讓開源模型可以執行指令或連網,把網路出口改成預設拒絕、只開放必要目的地,並在工具呼叫執行前做檢查與記錄。選模型時要求供應商說明模型來源與測試方式,並用你實際要上線的模型加工具組合做測試。
分享這篇文章:
FacebookLINE

準備好讓 AI 幫你工作了嗎?

現在開始你的數位轉型,預約 30 分鐘諮詢,我們協助你找到最合適的 AI 切入點。

30 分鐘深度了解你的業務,給你具體建議

Content Standards

內容維護與資料來源

內容維護與更正

內容維護窗口:優創智能 YOTRON 內容團隊。個別文章的作者、發布與內容更新日期以該頁標示為準。

網站版本更新:

資料來源與方法

文章中的外部資料、工具規格與比較基準以文內連結及標示日期為準;觀點、測試方法與實作建議由優創智能內容團隊整理。

聯絡與內容更正(Contact)

需要查核、補充或更正內容,可透過聯絡頁,或寄信至info@yotron-ai.com。公司與團隊資訊可見關於我們。

聯絡方式:電話02-2720-8130、Email info@yotron-ai.com。