地端部署大型語言模型（Large Language Model，LLM），核心硬體是顯示記憶體夠大的顯卡，再配上足夠的主機記憶體、固態硬碟，以及存放資料與備份的 NAS。規格要多大，取決於模型規模與同時使用人數，不是先買最貴的機器。
地端大型語言模型的硬體，該先看什麼？
先決定模型規模與用途，硬體規格才估得出來。大型語言模型是靠大量參數運算來理解與生成文字的 AI 模型，參數越多，需要的顯示記憶體就越大。常見的錯是反過來做：先買伺服器再找模型，結果不是顯卡裝不下，就是效能閒置。
正確的順序是三步：
- 釐清用途：是內部知識庫問答、客服回覆草稿，還是合約摘要？用途決定模型要多強。
- 估同時使用人數：五個人輪流用和五十個人同時問，算力差很多。
- 再估硬體：依模型規模與使用量，推算顯示記憶體、主機記憶體與儲存。
顯卡與顯示記憶體要怎麼估？
顯示記憶體（VRAM）是地端大型語言模型的第一道門檻，模型權重放不進顯卡，就跑不動或跑得極慢。估算方式有一個業界通用的粗略公式：依 Hugging Face Transformers 文件（2024），模型以 16 位元精度載入時，每個參數約占 2 bytes；壓到 8 位元約 1 byte，4 位元約 0.5 byte。把參數數量乘上去，就是權重本身需要的顯示記憶體。
| 模型規模 | 16 位元（原始精度） | 8 位元量化 | 4 位元量化 |
|---|---|---|---|
| 約 70 億參數（7B） | 約 14 GB | 約 7 GB | 約 3.5 GB |
| 約 130 億參數（13B） | 約 26 GB | 約 13 GB | 約 6.5 GB |
| 約 700 億參數（70B） | 約 140 GB | 約 70 GB | 約 35 GB |
註：以上為權重本身的估算值，由上述公式推得。實際推論還要放對話上下文與快取，請在此之上預留餘裕；同時使用人數越多，餘裕越大。
幾個判斷重點：
- 量化（Quantization）是中小企業最常用的省錢手段：把模型精度從 16 位元壓到 8 位元或 4 位元，顯示記憶體需求可以降到幾分之一，回答品質會略有下降，但多數內部應用可接受。
- 單卡裝得下，架構最單純：權重加餘裕能放進一張顯卡，就不必處理多卡分割。
- 消費級與資料中心級顯卡的差別在於顯示記憶體容量、連續運轉的穩定度與保固，不是「能不能跑」。小規模測試可用消費級起步，正式服務全公司再評估資料中心級。
本文不列顯卡型號與價格，因為市場變動快。
模型大小怎麼選？不是越大越好嗎？
不是，多數企業內部應用用中小型模型就夠，大模型只在需要複雜推理或多語言高品質生成時才值得。模型越大，硬體、電費與維運成本跟著放大，回答也變慢。
| 模型規模 | 適合的任務 | 硬體負擔 | 適合的企業情境 |
|---|---|---|---|
| 小型（約 10B 以下） | 知識庫問答、分類、摘要、格式化回覆 | 單張顯卡可跑，4 位元量化後需求更低 | 第一次導入、使用人數少、以內部流程為主 |
| 中型（約 10B 到 35B） | 較長文件理解、多輪對話、草稿撰寫 | 通常需要大容量顯卡或兩張顯卡 | 已有明確場景、要兼顧品質與成本 |
| 大型（約 70B 以上） | 複雜推理、專業領域生成、多語言 | 多卡伺服器、電力與散熱要另外規劃 | 高品質要求、有專人維運、預算充足 |
實用的做法是先用小型模型把流程跑通，確認員工會用、資料接得上，再決定要不要升級，風險比一開始就為大模型採購伺服器低得多。
主機記憶體、硬碟與 NAS 要怎麼配？
主機記憶體與固態硬碟是配角，但配不好會拖慢整體；NAS 則是放資料與備份的地方，不是跑模型的地方。
- 主機記憶體（RAM）：常見做法是讓主機記憶體不小於顯示記憶體總量，載入模型與處理文件時才不會卡在主機端。
- 固態硬碟（SSD）：模型檔案動輒數十 GB，放在固態硬碟上，啟動與切換模型才不會等太久。
- NAS：企業要讓 AI 讀的文件、知識庫向量資料、以及模型與設定的備份，適合集中在 NAS。但 NAS 的處理器與記憶體不是為 AI 運算設計，把模型直接架在 NAS 上，多半只能跑最小的模型且很慢。
要提醒的是，RAID 不等於備份，NAS 被勒索軟體加密或誤刪時，快照可能一起消失。知識庫是公司花時間整理的資產，備份要分層設計，細節可參考我們整理的 NAS 備份架構。
該買一台工作站、一台伺服器，還是走混合雲？
人數少、場景單一，一台放在辦公室的 AI 工作站就能開始；要全公司使用、要求穩定，就需要機架式伺服器或混合雲。這題和「地端還是雲端」是同一個邏輯：看資料敏感度、預算、人力與擴充四個前提。
| 選項 | 適合情境 | 擴充方式 | 維運負擔 |
|---|---|---|---|
| AI 工作站 | 測試與小團隊使用，資料不出公司 | 換顯卡或加第二張，上限明顯 | 低，但沒有備援 |
| 機架式伺服器 | 全公司使用、需要穩定運行 | 加顯卡、加節點 | 中到高，需要機房、電力與專人 |
| 混合雲 | 敏感資料留地端，尖峰算力借用雲端 | 彈性最高 | 中，要管理兩個環境的資料流 |
不確定自己落在哪一格，可以先讀 地端還是雲端怎麼選，把四個前提逐一對照，再回頭看硬體。
地端 AI 上線後，誰來維運？
硬體買回來只是開始，地端 AI 要持續可用，每天都要有人或系統在看。雲端服務的維運由供應商負責，地端則回到企業自己身上，這一點常被低估。
地端 AI 至少要處理這幾件事：
- 每日健康檢查：模型服務有沒有正常回應、顯卡是否過熱、硬碟空間夠不夠。
- 備份與完整性檢查：知識庫、向量資料與設定每天備份到與主機分開的位置，並確認每份備份真的能還原。
- 異常通知：服務掛掉、備份失敗、資料被異常修改時，有人會收到通知。
- 模型與系統更新：安全性修補與模型版本管理要有流程，不是想到才做。
影響視覺科技（Effect Tech）的私有 AI 建置服務把「備份與系統管理」列為核心功能之一，整合設備的企業備份排程與系統管理。上線後則可接續維運監測服務：系統每天自動健康檢查、每天備份到雲端並做完整性檢查、把結果數據化在維運儀表板，異常經 Telegram 即時通知負責人。沒有 IT 團隊的公司也能把地端 AI 維持在可用狀態。
下一步該怎麼做？
先把三件事寫下來，再談硬體：
- 列出用途與使用人數：前三個想用 AI 處理的工作，以及各有多少人會用。
- 盤點不能出公司的資料：哪些文件是 AI 必須讀、又絕對不能上公有雲的。
- 確認現有設備與人力：辦公室有沒有能放主機的空間與電力，有沒有人負責維運。
有了這三項，顯卡、模型與部署型態的選擇就都有依據。影響視覺科技自 2018 年成立以來，已累積 100+ 交付專案，提供地端、雲端與混合雲三種私有 AI 建置方案。帶著你的用途清單來預約諮詢，我們會依你的規模給出硬體與部署建議，不給通用簡報。
常見問題
地端跑大型語言模型，一定要用顯卡嗎？
不一定，但幾乎都建議用。小型模型經 4 位元量化後可以只靠處理器與主機記憶體運行，適合個人測試，但回答速度慢，多人同時使用會明顯卡住。要給團隊正式使用，顯卡仍是必要投資。
顯示記憶體不夠，可以用兩張顯卡拼起來嗎？
可以，多數推論框架支援把模型分割到多張顯卡上，顯示記憶體可以合計使用。代價是架構更複雜、顯卡之間的傳輸會拖慢速度，而且主機板、電源與散熱都要跟著升級。能單卡裝下，仍優先單卡。
可以把大型語言模型直接裝在 NAS 上嗎？
技術上部分 NAS 可以跑極小的模型，但處理器與記憶體不是為 AI 運算設計，速度與品質都難以用於正式工作。NAS 的正確角色是存放 AI 要讀的文件、向量資料與備份，運算交給有顯卡的主機。
地端 AI 的硬體多久要升級？
沒有固定週期，依使用量成長與模型需求而定。常見情況是先用小型模型與單卡起步，等使用人數或場景擴大，再加顯卡或改成混合雲，把尖峰算力交給雲端。重點是起步時保留擴充空間，而不是一次買到頂。
沒有 IT 人員的公司，適合做地端 AI 嗎？
適合，但維運要外包或自動化。地端 AI 上線後每天的健康檢查、備份與異常通知，可以交給維運監測服務由系統自動執行，公司只需要在收到通知時決策。硬體放在公司、維運交給專業團隊，是多數中小企業可行的做法。