混合雲 AI 架構的設計,先把資料分級,再決定知識庫、推論、微調與使用紀錄各放哪裡。機密與個資留地端,雲端只接手不敏感或去識別化的內容,混合雲架構才守得住資料。
混合雲是什麼?用在 AI 時和一般的混合雲架構差在哪?
差在要切的東西不同:一般 IT 切的是主機與應用程式,生成式 AI 要切的是資料、知識庫、模型與算力。
依美國國家標準暨技術研究院(NIST)2011 年的定義,混合雲由兩個以上各自獨立的雲端基礎設施組成,以技術串接,讓資料與應用程式可以在其間移動。這份文件把雲端運算的部署模型分為四類:私有雲、社群雲、公有雲、混合雲。公有雲開放給大眾使用,設在服務商的機房;私有雲只供單一組織使用,可以設在自己或外部的機房。
地端、混合雲、雲端三種部署怎麼比,企業資料不能上雲,AI 怎麼導入已有比較表,本文只談線要畫在哪裡。
設計混合雲 AI 架構前,資料要怎麼分級?
至少分成三級,每一級先回答兩個問題:能不能離開公司、能不能送進雲端模型。
| 資料等級 | 常見例子 | 能不能離開公司 | 能不能送進雲端模型 |
|---|---|---|---|
| 機密與個資 | 研發圖面、配方、原始碼、病歷、客戶個資、未公開財務 | 不能 | 不能;去識別化後再逐案評估 |
| 內部一般資料 | 作業規範、內部公告、教育訓練教材 | 依合約與公司政策 | 可以,先確認服務條款與資料存放地區 |
| 可公開資料 | 產品型錄、官網內容、已發布的新聞稿 | 可以 | 可以 |
個人資料保護法(個資法)第 2 條把「國際傳輸」定義為「將個人資料作跨國(境)之處理或利用」,雲端機房在境外時要對照這一條。去識別化做到什麼程度,可以參考個資法施行細則第 17 條的用語:「以代碼、匿名、隱藏部分資料或其他方式,無從辨識該特定個人」。
生成式 AI 的四個部分,各該放在哪裡?
原則是跟著資料等級走:碰得到機密的部分留地端,其餘才考慮雲端。四個部分要分開決定。
- 原始資料與知識庫:檢索增強生成(RAG)會把文件切段、轉成向量,存進向量資料庫。開放全球應用程式安全專案(OWASP)的大型語言模型(LLM)應用風險清單指出,攻擊者可能反推向量,還原出大量原始內容。機密文件的向量要和原始文件同級,留在地端。資料面的準備見企業知識庫(RAG)導入準備。
- 模型推論:使用者的問題加上檢索到的段落,會一起送進模型;模型在雲端,這些內容就到了雲端。要判斷的是這次送進去的內容屬於哪一級。
- 模型微調:微調用的資料就是訓練資料,詳見後段。
- 使用紀錄與日誌:提問與回答的紀錄常含機密,應用程式的日誌與雲端服務端的留存都要納入分級。
常見的切法有哪幾種?各有什麼代價?
常見有三種,差別在雲端看得到多少:雲端看到的越少越安全,地端要自備的算力與人力就越多。
| 切法 | 資料放哪 | 算力放哪 | 適合情況 | 要注意的風險 |
|---|---|---|---|---|
| 全部留在地端 | 文件、向量、紀錄都在公司內 | 推論與微調都在地端 | 資料大多是機密,或法規、合約不允許外送 | 硬體與維運要自己負擔;尖峰時回應變慢 |
| 知識庫留地端,雲端模型只收不敏感或去識別化的內容 | 文件與向量在地端;送出的只有篩選過的片段 | 檢索在地端,生成在雲端 | 機密只占一部分,又想用雲端的大型模型 | 分級或去識別化漏掉一筆就外流;雲端可能留存提示內容 |
| 地端推論,尖峰時借雲端算力 | 平時都在地端;尖峰時不敏感的工作送雲端 | 平時地端,尖峰加上雲端 | 用量起伏大,不想為尖峰買滿設備 | 要明定哪一級可以分流;兩邊模型不同,回答品質會不一致 |
三種切法可以並用。由我們建置的私有 AI,可以依資料分級規劃地端與雲端的分工,做法見地端、雲端與混合雲的私有 AI 部署。成本型態與硬體怎麼估,分別見地端與雲端 AI 的成本比較和地端 LLM 硬體需求。
研發資料不能外流,怎麼讓公有雲負責算力、地端負責資料安全?
做法是在地端設一道閘門,只放行不含機密的工作到公有雲。算力要處理資料就得讀到資料,機密本身的運算仍要留在地端。
這道閘門做三件事:
- 分流:依資料等級與使用者權限,決定請求走地端模型還是雲端模型。
- 去識別化:要送雲端的內容,先把專案代號、客戶名稱、關鍵數值換成代碼,回來再還原。
- 留紀錄:送了什麼、誰送的,地端留一份可稽核的紀錄。
公開文獻整理、一般文書適合交給公有雲;圖面、配方與實驗數據的問答,交給地端模型。
地端部署模型,又想用雲端服務微調,資料會不會出去?
會。微調用的資料就是訓練資料,上傳到雲端的那一刻就離開公司了,不論微調後的模型有沒有下載回地端。
資料敏感時只有兩條路:在地端微調,或先去識別化、確認無從辨識後再送出。
雲端服務會不會拿資料去訓練,以各家條款原文為準,而且訓練與留存要分開看。以 2026 年 11 月查閱的文件為例:
- AWS:Amazon Bedrock 的常見問題寫明,AWS 與第三方模型供應商不會用輸入與輸出訓練模型;濫用偵測文件另寫明,部分模型的輸入與輸出會保留最長 30 天。
- Microsoft Azure:文件寫明,提示、輸出、嵌入向量與訓練資料,未經客戶許可或指示,不會用來訓練生成式 AI 基礎模型;濫用監控選中的內容可能留存,供人工審查。
- Google Cloud:文件寫明,未經客戶事先許可或指示,不會用客戶資料訓練或微調模型;也說明 Google 可能為偵測濫用記錄提示內容。
「不拿去訓練」不等於「不留存」。條款會更新,簽約前要讀當時的版本。
決定混合雲架構之前,下一步該做什麼?
先做資料分級,再畫資料流向,最後才談設備與雲端服務。
- 列出 AI 會用到的資料來源,逐一標上等級。
- 替知識庫、推論、微調、紀錄各畫一條資料流,標出哪一段會離開公司。
- 逐段對照法規、客戶合約與雲端服務條款。
- 選一種切法小範圍試行,檢查分流與去識別化有沒有漏。
還沒決定走不走混合雲,可以先讀地端還是雲端怎麼選。影響視覺科技以地端、雲端與混合雲三種架構,把語言模型與 RAG 知識庫部署在企業可掌控的環境,醫療院所、金融保險、製造業與研發機構等資料敏感的組織尤其適用。想討論資料怎麼切,歡迎預約諮詢。
常見問題
AI 上雲後可以搬回地端嗎?
可以,但要看三件事。一是模型授權:雲端專屬的模型帶不走,要換成可以自行部署的模型。二是文件、向量資料庫與對話紀錄能不能完整匯出。三是應用程式有沒有綁定特定雲端服務的介面。設計時就把這三點列入選型條件。
雲端服務承諾不拿資料訓練,機密資料就可以上傳嗎?
不建議只憑這一點決定。不訓練不代表不留存,服務商可能為了偵測濫用保留提示內容,資料也可能存放在境外機房。機密與個資仍應留在地端;其他資料上傳前,先確認條款原文、存放地區與留存設定。
資料去識別化之後,就能放心送到雲端嗎?
要看做到什麼程度。只遮掉姓名或專案代號,其他欄位仍可能拼回特定的人或專案,就不算完成。研發數據這類內容本身就是機密,去識別化的幫助有限,留在地端比較穩當。
參考資料
- NIST,Peter Mell、Timothy Grance,《The NIST Definition of Cloud Computing》(SP 800-145),2011 年 9 月。報告 PDF
- 全國法規資料庫,《個人資料保護法》。law.moj.gov.tw
- 全國法規資料庫,《個人資料保護法施行細則》。law.moj.gov.tw
- OWASP,《LLM08:2025 Vector and Embedding Weaknesses》。genai.owasp.org
- 影響視覺科技,《地端/雲端 AI 私有部署》方案頁,2026 年。effectstudio.com.tw
- AWS,《Amazon Bedrock FAQs》,2026 年 11 月 17 日查閱。aws.amazon.com
- AWS,《Amazon Bedrock abuse detection》,2026 年 11 月 17 日查閱。docs.aws.amazon.com
- Microsoft,《Data, privacy, and security for Models sold by Azure in Microsoft Foundry》,2026 年 11 月 17 日查閱。learn.microsoft.com
- Google Cloud,《Gemini Enterprise Agent Platform and zero data retention》,2026 年 11 月 17 日查閱。docs.cloud.google.com
