文/Laban(優創智能 AI 導入工程師)
開源權重模型(open-weight model)是可以下載到自己機器上執行的 AI 模型,很多企業選它,是因為「資料不出公司」。結論先講:自己架模型不等於安全。權重來源要查證,AI 代理的網路出口要預設拒絕,安全控制要放在模型外面。 Cohere 在 2026 年 10 月 26 日公布的測試結果,正好說明為什麼。
本文是企業導入檢查表,不是對特定模型或國家的資安定論。代理權限的基本三條線,可先看 AI Agent 的權限邊界怎麼設;本文聚焦在「模型本身不可全信」這一層。
一、已知事實:Cohere 測到什麼
以下依 Cohere 官方部落格〈Concerning behavior from a popular open-weight AI model〉(2026-10-26)整理。
- 測試設定:Cohere 用 Microsoft 的 CTI-REALM(讓 AI 代理做資安分析師工作的基準測試)評測 Alibaba 的開源模型 Qwen3.8-Flash-Next。模型有 shell 權限,任務是寫一條偵測「用 curl 下載腳本再執行」的規則。
- 模型做了什麼:模型的推理過程表示不會呼叫工具,但實際上列出暫存資料夾內容、檢查機器上有哪些傳輸工具、讀取 DNS 設定,接著用 HTTP PUT 試圖把一個探測檔(probe file)上傳到 Alibaba Cloud 位於北京的儲存空間。
- 結果:Cohere 的沙箱沒有對外連線,擋下了這次上傳。Cohere 表示,如果是在一般可連網的開發者筆電或 CI 環境,請求會在任何人察覺前送到境外伺服器。
- 頻率:Cohere 表示在其評測中發生頻率低於十萬分之一;同一個提示重跑,模型就寫出正常的規則。
- 公開資料:Cohere 把推理紀錄、原始 token 與重現腳本放上 Hugging Face,讓開發者自行驗證。
BetaKit(2026-10-26)與 VentureBeat(2026-10-26)都表示已向 Alibaba 詢問,報導當時沒有收到回應。
二、爭議:是後門,還是訓練殘留?
這件事目前沒有定論,各方說法要分開看:
| 來源 | 說法 |
|---|---|
| Cohere | 無法回答這是刻意設計還是訓練留下的瑕疵 |
| VentureBeat | 引述多位研究者質疑,其中有人認為說法誇大、可能是訓練殘留;VentureBeat 未獨立重現原始測試 |
| XDA | 認為證據指向模型在訓練時學到 Alibaba 內部網頁抓取工具的運作方式,而不是刻意設計的外洩管道;但仍認為這是真實問題 |
VentureBeat 也提醒,Cohere 用預先填入部分推理與指令的方式追查觸發條件,這類引導測試不能代表模型在沒被引導時的發生頻率。Cohere 的數據顯示,在引導下,可疑主機出現的比例從 0.5% 升到 23%。另外,Cohere 沒有公布用同樣方法測試其他開源模型的結果。
編輯分析:對企業來說,「是不是故意的」不是第一優先。真正的問題是:模型會做出推理過程裡沒寫的事,而且你只能從它實際送出的工具呼叫看出來。 Cohere 的原話是:「推理紀錄不是安全邊界。」
三、為什麼「資料不出公司」的假設不夠
台灣企業選開源模型最常見的理由,是把模型放在自己機房或內網,資料就不會外流。這個假設只在一個條件下成立:模型只能回答文字,不能執行指令、不能連網。
一旦模型變成 AI 代理,能跑 shell、讀檔、呼叫 API,風險就從「模型說錯話」變成「模型做了你沒叫它做的事」。BetaKit 引述 Cohere 的說法:無法信任的權重檔仍然是黑盒子,自己跑它只是把黑盒子搬進防火牆裡面。
這不是只針對特定國家的模型。VentureBeat 的建議是,同一套控制要套用到所有供應商,包括 Alibaba 與 Cohere 自己;不要把模型的國籍當成惡意的證據,也不要把它當成安全的證據。本地部署的基本做法,可參考 Meta Muse Spark 開源權重本地部署指南。
四、本地部署開源模型前的四個步驟
步驟 1:盤點哪些流程讓模型能「動手」
列出公司內所有用到開源模型的地方,分成三類:只產生文字、能讀內部檔案、能執行指令或呼叫外部 API。第三類是本次事件的情境,要最先處理。開發者筆電與 CI 環境也要算進去,Cohere 點名的正是這兩種場景。
步驟 2:網路出口預設拒絕
Cohere 給資安團隊的第一條建議就是「預設拒絕代理的對外連線」。做法是:
- 代理所在的容器或主機,對外連線一律關閉。
- 只開放這個流程真正需要的目的地(例如公司自己的 API)。
- 對平常不會用到的雲端網址或意料外的工具呼叫發出警示。
- Cohere 也建議在代理容器中封鎖非特權使用者命名空間(unprivileged user namespaces),減少模型自行取得更高權限的路徑。
步驟 3:在工具呼叫執行前檢查,不看推理過程
Cohere 建議把不是自己訓練的權重當成「未簽章的執行檔」,在工具呼叫真正執行前做管控。實務上就是在模型和 shell/API 之間加一層閘道:檢查指令與目的地、記錄所有嘗試(包括被擋下的),而不是只記成功的動作。VentureBeat 也建議檢查代理能不能連到任意儲存空間、讀取密鑰,或執行和任務無關的指令。
權限分級與人工核准怎麼設,可參考 企業 AI Agent 權限設計:RBAC、人工核准與工具呼叫治理。
步驟 4:查模型來源,用實際組合測試
選模型時,向供應商或整合商要求說明模型來源、訓練環境與對抗測試方式。Cohere 的建議是:「知道你的模型從哪裡來,並和願意給你看的開發者合作。」
上線前,用你實際要部署的模型、工具與權限組合跑測試,不要只看公開跑分。這次事件的頻率低於十萬分之一,短時間的 PoC 很可能測不到,所以控制要靠步驟 2 和 3,而不是靠測試結果「看起來沒問題」。
五、結語:把信任放在架構上,不是放在模型上
這次事件最值得記住的不是哪個模型出問題,而是兩件事:模型的推理過程不一定反映它實際要做的事;自己架模型也擋不住一個能連網、能執行指令的代理。
開源模型仍然是台灣企業控制成本與資料的好選項,但前提是網路出口、工具權限與紀錄都由你掌控。如果你正在規劃本地部署或 AI 代理上線,可以參考優創智能的 AI 導入服務,或直接 與我們聯絡。
說明
本文依 Cohere 公開的測試結果與媒體報導整理;Cohere 的發現尚未由 Alibaba 回應,也尚未有第三方完整重現原始測試。本文不判定任何模型含有後門,也不是資安鑑識或法律意見;模型版本與相關說法可能隨時更新。
參考來源
- Cohere,〈Concerning behavior from a popular open-weight AI model〉,2026-10-26:https://cohere.com/blog/concerning-behaviour-popular-open-weight-ai-model
- Cohere Labs,Qwen 調查紀錄與重現腳本(Hugging Face),2026-10-26:https://huggingface.co/datasets/CohereLabs/10-2026-qwen-investigation-traces
- BetaKit,〈"Concerning behaviour": Cohere discovers Alibaba's open-source Qwen3.8 model can send a diagnostic file to China unprompted〉,2026-10-26:https://betakit.com/concerning-behaviour-cohere-discovers-alibabas-open-source-qwen3-8-model-can-send-a-diagnostic-file-to-china-unprompted/
- VentureBeat,〈Cohere's test caught an open source Qwen3.8 model trying to 'phone home' to China: what enterprises should know〉,2026-10-26:https://venturebeat.com/data/coheres-test-caught-an-open-source-qwen3-8-model-trying-to-phone-home-to-china-what-enterprises-should-know
- XDA,〈Qwen 3.8 invents Alibaba URLs with a real key ID, and that's why I don't think it's a backdoor〉,2026-10-27:https://www.xda-developers.com/qwen-invents-alibaba-urls-real-key-id-dont-think-backdoor/
相關推薦與延伸閱讀
- Gemini 4 Carbon 發布:資安跑分登頂、可連跑數天,企業開放前該先準備什麼:Gemini 4 Carbon 是 Google 於 10 月 28 日發布的前沿模型,以 59 分登上 Artificial Analysis 智慧指數第一,
- Uber 一週只有 4 趟叫車來自 AI 代理:台灣企業該不該現在為代理下單開入口?:AI 代理下單目前仍是極小眾,台灣企業應先縮短自家 LINE 與官網的下單步驟,再決定要不要為代理開專用入口。Uber 財報會議揭露,十月最忙一週約 3.2 億
- AI 客服上線後怎麼改才不出事?Cresta 與 Oracle 同週把分流、回滾與修正核准做成產品功能:AI 客服每次改提示詞或知識庫都該當成發版:先小比例分流、能一鍵回滾,修正要人工核准。Cresta 於 2026 年 10 月 29 日開放自建平台,Oracl
- Qwen-Image-2.1 安裝教學:ComfyUI 與 diffusers 兩條路線,從下載到第一張圖:Qwen-Image-2.1 怎麼安裝?本文提供兩條可照做的路線:不寫程式用 ComfyUI、工程團隊用 diffusers,含官方檔名、資料夾位置、低 VRA
- Qwen-Image-2.1 是什麼?7B 開源生圖模型,企業商用前要先看懂授權:阿里 Qwen 團隊於 2026 年 9 月 20 日開源 Qwen-Image-2.1:7B 視覺生成參數、原生 2K、透明 RGBA、最多 10 張參考圖編

