定義
上下文視窗（Context Window）是大型語言模型在單次推論時能同時看見、處理與參考的資訊範圍。它通常以 Token 計算，內容可能包括系統指令、使用者問題、對話歷史、工具回傳、檢索文件與模型準備產生的回答。視窗是一次請求的工作記憶，不等於模型永久記住資料。
不同模型與不同版本的上下文規格可能不同，實際可用容量也會受到輸入格式、工具呼叫與輸出預留空間影響。評估時不能只看宣稱的最大值，還要用企業自己的文件測試回答品質與穩定性。
為什麼中小企業需要了解？
上下文視窗會直接影響 AI 能否完成長文件比較、跨多輪客服、合約審閱與專案資料整理。當一次請求放入太多內容，可能遭到截斷或拒絕；即使請求成功，模型也不一定能平均注意每個段落。了解這個邊界，才能設計不依賴模型「永遠記得」的流程。
採購工具時，應把日常短問答與長文件任務分開評估。短任務重視速度、成本與穩定；長任務則要測試表格、附件、章節交叉引用與引用來源。輸入越長，也要留意 Token 用量與處理時間。
上下文窗口與 RAG 的關係
上下文視窗提供容納資訊的空間，RAG（檢索增強生成）則負責從外部知識來源挑出與問題相關的內容。兩者不是替代關係：RAG 先縮小候選資料，再把相關片段交給模型；較大的視窗則能讓模型在片段之間做比較、歸納與推理。
企業知識會更新時，RAG 通常比把所有資料放進提示詞更易維護。系統可以依權限與查詢內容檢索文件，再附上來源供人工核對。若文件需要跨章節整體分析，可先用 RAG 找到範圍，再在較大的視窗中處理必要原文。可延伸閱讀 RAG 與 向量資料庫。
超出視窗會怎樣？
超出上下文窗口時，服務可能回傳長度錯誤，也可能在送出前截斷部分內容。多輪對話則常見系統捨棄較早訊息，只保留較近的內容；若應用程式自行截斷，還可能把重要定義、限制或使用者要求切掉。結果會是答非所問、漏掉條款或重複提問。
過長內容還有「中段資訊被忽略」的風險。模型能接收不代表能同樣可靠地使用所有內容，因此長度測試要檢查開頭、中間與結尾的資訊是否都能被找出，並加入衝突條款、例外條件與表格等邊界案例。
長文件的處理策略
第一步是建立文件管線：抽取文字、辨認標題與頁碼、保留表格關係、移除重複頁首頁尾，並記錄來源位置。第二步依文件結構與任務切分，不要只按固定字數任意截斷。第三步建立摘要、關鍵字或向量索引，讓後續請求能先縮小範圍。
需要精準回答時，讓模型同時看到問題、相關片段與來源位置；需要總結整份文件時，可採用分段摘要、階層式整理，再進行總結驗證。重要合約、法規與財務內容仍需人工覆核，不能因模型一次讀完就跳過查證。
實務上的容量評估
容量評估應以真實流程而非單一示例完成。收集代表性問題、最長文件、最常見附件與尖峰對話，測量輸入 Token，並預留回答、系統指令與工具結果空間。比較模型時記錄完整性、引用正確性、延遲、費用和超限時的錯誤處理。
同一份文件在純文字、表格、掃描影像與 OCR 後文字的消耗可能不同。若流程混用圖片或音訊，也要依多模態模型的輸入規則單獨測試，不要只用文字 Token 推測整體資源。
企業導入檢查清單
先定義每個流程的最大資料範圍與必要回答，再決定採摘要、分段、RAG 或長上下文模型。為超限設計降級路徑，例如提示使用者縮小範圍、改走檢索、排入非同步工作或交由人工處理。記錄截斷、超時與失敗重試，定期檢查資料是否因更新而超出原本假設。
上下文視窗也涉及資料治理。只有被授權的內容才可放入請求；敏感資料要有遮罩、保存與刪除規則。若要理解模型本身與限制，可參考 LLM（大型語言模型）；若要改善回應格式，則可先從提示設計開始。
最後要保留可追溯的上下文紀錄：記下文件版本、檢索片段與模型回應所依據的來源，但不要無限制保存敏感對話。這能協助團隊重現錯誤、修正切分策略，也能在使用者質疑答案時快速回到原始資料。
對話型產品還要定義記憶政策：哪些資訊只在本次請求有效，哪些可由使用者要求保存，哪些必須立即刪除。把長期偏好與臨時上下文分開，並讓使用者知道系統保留什麼，能降低誤把工作記憶當成永久記憶的風險。
什麼情況下不該依賴長上下文？
長上下文不適合拿來取代資料治理、權限設計與文件檢索。當資料持續更新、權限差異明顯，或回答必須指出精確來源時，應先用檢索與篩選縮小範圍，再讓模型處理必要內容，而不是把整個知識庫一次送入。這樣也較容易發現過期資料、衝突版本與缺少依據的問題。
若任務包含大量重複內容、表格計算或固定格式，單純增加上下文未必能改善結果。可先用程式清理與驗證，再將結構化資料交給模型解釋。對話中若出現不相關的閒聊、過時指令或互相矛盾的要求，也應重新整理上下文，而不是不斷延長歷史訊息。
如何管理長對話的記憶？
長對話應把暫時工作內容、可重用摘要與必須刪除的敏感資料分開管理；上下文越長不代表資訊越可靠，團隊仍需決定哪些內容可以繼續帶入下一次請求。
可在階段完成時產生短摘要，只保留目標、已確認事實、未解問題與必要來源，並移除閒聊、重複指令和不再適用的資料。若使用者要求更正或刪除，系統要能找到相關記憶並更新或清除。對企業流程，記錄文件版本與權限，不要把整段對話當成永久知識庫；需要長期保存的內容應經整理、核准與適當存取控管。