導入企業知識庫(RAG)要先準備三樣東西:文件正本、權限規則、員工會問的問題清單。預算沒有公定價,由資料量、資料品質、部署方式、系統串接與維運人力決定,先用一個部門試點再推估全公司最準。
企業知識庫一定要用 RAG 嗎?還是該微調模型?
多數中小企業的知識庫需求用 RAG 就足夠,微調只有在要改變模型的說話方式或專業判斷邏輯時才值得做。RAG(Retrieval-Augmented Generation,檢索增強生成)的做法是讓 AI 回答前先到企業文件裡找出相關段落,再根據找到的內容作答,由 Facebook AI Research 的 Lewis 等人於 2020 年提出。微調(Fine-tuning)則是把資料訓練進模型本身。
要決定走哪一條,先問自己三個問題:文件會不會經常更新?回答要不要附出處?公司有沒有人力整理訓練資料?只要前兩題有一題答「要」,RAG 就是比較穩的選擇。
| 比較項目 | RAG 檢索增強生成 | 微調 Fine-tuning | 直接用一般對話 AI |
|---|---|---|---|
| 知識來源 | 企業文件,回答時即時檢索 | 訓練時寫進模型參數 | 模型本身的公開知識 |
| 文件更新後 | 更新文件索引即可 | 需重新訓練 | 無法反映公司內部資料 |
| 回答能否附出處 | 可以,指到原文件段落 | 不能 | 不能 |
| 權限控管 | 可依人員身分過濾檢索結果 | 困難,模型記住的內容無法分人 | 無 |
| 適合情境 | 規章制度、產品手冊、報價紀錄、客服問答 | 固定格式輸出、特定語氣、專業領域用語 | 一般寫作與資料整理 |
| 主要成本 | 資料整理與系統建置 | 訓練資料標註與算力 | 訂閱費 |
兩者也不互斥:常見做法是先用 RAG 把「答得出來」做到位,再視口吻需求評估微調。
導入前要準備哪三樣東西?
先準備資料、權限、問題清單,再談工具與模型。順序顛倒的專案最常在上線後才發現 AI 答不出來,而且問題不在模型,而在餵進去的文件。
文件:哪些要整理?怎麼整理?
知識庫的回答品質取決於文件品質,所以第一步是找出正本,不是把所有檔案丟進去。整理順序如下:
- 盤點來源:共用資料夾、NAS、雲端硬碟、ERP 報表、LINE 與 Email 對話紀錄,列出每一類放在哪裡、誰負責。
- 刪除過期版本:同一份文件只留一份正本,並標示生效日期。多數企業知識庫答錯的常見原因,是同一份規章有多個版本同時存在。
- 把圖片轉成文字:掃描檔、照片型 PDF、簡報截圖要先經過文字辨識(OCR),否則系統讀不到內容。
- 補上結構資訊:檔名加上部門、日期、適用對象,表格與圖面要有文字說明。
- 標記敏感等級:哪些是全員可讀、哪些限部門、哪些只有主管能看,這一步直接關係到下一項。
權限:誰能問到什麼?
知識庫最常被忽略的風險,是員工透過 AI 問到自己原本沒權限看的文件。薪資、合約、客戶個資、未公開的報價都可能被檢索出來。因此在設計階段就要做出「人員身分對應可讀文件」的清單,並確認系統能依這份清單過濾檢索結果,而不是上線後再補。
問題清單:員工真正會問什麼?
請各部門列出平常最常問同事、問主管、翻文件才找得到答案的問題,彙整成清單。這份清單有兩個用途:一是界定範圍,避免「什麼都要能答」而導致資料整理無止境;二是作為驗收測試題,上線前逐題檢查 AI 的回答是否正確、是否附出處。
預算怎麼估?哪些因素會讓費用差很多?
知識庫的預算主要花在資料整理與系統串接,不是模型費用。同樣規模的兩家公司,費用可能因資料狀態差距很大,所以要用下面幾個因素估,不要用人數估。
| 影響因素 | 費用偏低的情況 | 費用偏高的情況 |
|---|---|---|
| 資料量與格式 | 數百份 Word、PDF 文字檔 | 大量掃描檔、工程圖面、多年累積的 Email |
| 資料品質 | 有正本、有版本管理、有負責人 | 多版本並存、沒人說得出哪份是對的 |
| 部署方式 | 使用雲端模型服務,依用量計費 | 地端部署,需採購 GPU 伺服器並自行維運 |
| 權限複雜度 | 全員同一套權限 | 依部門、職級、專案分權,要串接既有帳號系統 |
| 系統串接 | 只讀靜態文件 | 要即時讀取 ERP、CRM、LINE 等系統資料 |
| 維運安排 | 內部有人負責更新文件與索引 | 全部外包維護 |
把費用拆成三塊會比較好談:
- 一次性建置費:資料整理、系統建置、權限設定、系統串接。
- 持續費用:雲端模型的用量費或地端硬體折舊、維護合約、模型更新。
- 內部人力:至少要有一位文件負責人,否則知識庫會在上線後慢慢過期。
估算方法上,建議先挑一個部門試點,把實際的資料整理工時、每日查詢量、答錯的題型量出來,再依部門數與資料狀態推估全公司。這也是影響視覺科技一貫主張的先試點再選型:先用小範圍證明有效,再決定要投入多少。
資料不能上雲,知識庫還能做嗎?
可以。RAG 的模型與文件都能放在公司內部的地端設備或專屬雲端環境,資料不出公司,差別只在硬體與維運成本由自己承擔。影響視覺科技的地端/雲端私有 AI 建置服務,就包含在私有環境部署語言模型,結合企業知識庫做 RAG 問答與 AI Agent 流程。
判斷標準有兩條:一是有沒有法規或客戶合約要求資料不得外傳,二是這批資料是不是公司的核心競爭力。兩條有一條成立,就該考慮地端或混合雲,把敏感文件留在內部、一般文件放雲端。資料為什麼值得這樣保護,可以參考資料主權這篇文章:模型會越來越像,資料不會。
導入後怎麼判斷做得對不對?下一步該做什麼?
用準備階段的問題清單驗收,看三件事:回答是否正確、是否附上出處、無權限的文件是否確實被擋下。三項都通過再擴大到其他部門,任何一項沒過就先回頭修文件或權限,不要急著加功能。
如果你現在就想開始,可以做這三件事:
- 挑一個文件最多、最常被同事問的部門當試點。
- 找出這個部門的文件正本放在哪裡、誰負責。
- 請該部門列出最常問的問題,整理成清單。
做完這三步,你就能具體描述需求,也能判斷報價合不合理。影響視覺科技的客製導入與建置路徑從診斷開始,先盤點文件、流程與資料狀態,再進行導入與持續優化。想知道自己公司的資料狀態適合從哪一步開始,歡迎預約諮詢,由顧問依現況給你建議。
常見問題
RAG 企業知識庫是什麼?
RAG 是檢索增強生成的縮寫,做法是讓 AI 在回答前先到企業自己的文件裡找出相關段落,再根據這些內容回答並附上出處。它和直接用一般對話 AI 的差別在於,回答的依據是公司內部資料,而不是模型的公開知識。
企業知識庫導入預算大概多少?
沒有公定價,費用主要由資料量與格式、資料品質、部署方式、權限複雜度、系統串接範圍與維運安排決定,其中資料整理通常是最大的一塊。建議先用一個部門試點,量出實際工時與查詢量後再推估全公司,比直接報整案更準。
RAG 和微調差在哪?要一起做嗎?
RAG 是讓模型查公司文件再回答,文件更新後只要更新索引;微調是把資料訓練進模型,更新就要重新訓練,也無法附出處或分權限。多數企業先做 RAG 就夠,只有在需要特定語氣或固定格式輸出時,再評估加上微調。
知識庫的資料要怎麼整理才能用?
先找出每類文件的正本與負責人,刪掉過期版本,把掃描檔與圖片轉成文字,在檔名或文件開頭補上部門、日期與適用對象,最後標記敏感等級。整理好的文件才能被正確檢索,也才能設定誰可以看到什麼。
文件更新後,AI 會自動知道嗎?
要看系統怎麼設定。RAG 架構下,更新文件後重新建立索引即可反映,不必重新訓練模型,但需要有人負責把新版文件放到指定位置並下架舊版。建議在導入時就排定更新流程與負責人,避免知識庫上線後逐漸過期。
