地端 AI 做不到的事:導入前老闆要知道的 7 個限制

地端 AI 讓資料不用離開公司,但它不是萬能。這篇誠實列出七個限制:沒有雲端頂尖模型聰明、多人使用要另外設計、要有人維運、長文件會變慢、繁中可能出錯、授權各不相同、地端不等於安全,以及每一個怎麼應對。

熊董閱讀 5 分鐘
地端 AI 做不到的事:導入前老闆要知道的 7 個限制

「AI 裝在我們自己機房裡,資料不會外流,這樣是不是就萬無一失了?」

老闆問這句話的時候,通常已經被說服要做地端 AI。說服他的理由很正確:資料不能出公司。但「資料不外流」只是解決了一個問題,地端 AI 還有好幾個限制,是導入前就該講清楚的。

我是熊董,台灣川輝科技創辦人。我帶團隊做系統導入七年,經手超過 252 個案子、橫跨 32 個以上產業。我最常跟老闆講的一句話是「這個不要做」,地端 AI 也一樣,有些事它做不好,就不該硬做。

我的答案是:地端 AI 最大的限制不是「裝不起來」,而是「沒有雲端頂尖模型聰明」和「一定要有人顧」。導入前把這兩件事想清楚,再搭配知識庫、壓力測試和維護合約,大部分限制都有辦法處理。

限制一:沒有雲端頂尖模型聰明

先講最重要的一個,因為很多廠商不太願意講。

依 Hugging Face 上的整理,在複雜推理、多模態和穩定度上,雲端的頂尖模型「可能仍然更強」。開源模型進步很快,差距一直在縮小,但能裝在一般公司機房裡的中型模型,跟雲端最強的模型相比,還是有落差。

這代表什麼?地端 AI 很適合做「查資料、整理、摘要、寫草稿」這類工作,但不適合做需要高度判斷、出錯代價很大的決策。

對策:只把地端 AI 接在適合的工作上;重要結論一定要有人看過。如果某些工作真的需要最聰明的模型,而且資料可以去識別化,可以混合使用雲端。

限制二:模型裝得起來,不代表多人用得順

這是上線後最常出事的地方。

依 Largitdata 的整理,模型能載入,不代表它是一個可靠的多人服務。實測中,同一張顯卡,用為單人設計的工具,32 個人同時問時第一個字要等將近一分鐘;換成為多人設計的引擎只要 2 秒多。細節我在地端 AI 跑多快那篇有完整數據。

對策:正式上線用 vLLM 或 SGLang 這類引擎;上線前用尖峰時段的人數做壓力測試。

限制三:一定要有人維運

雲端 AI 是別人幫你顧好的,地端 AI 是你自己的。

模型更新、安全修補、顯示卡驅動程式,都要自己處理。依 NSS 的部署經驗,開源模型大約每三到六個月就有新版,自己架設的話每週約要花半天到一天維運。很多公司機器買了、模型裝了,半年後就沒人更新,越用越落後,甚至有安全漏洞沒補。

對策:簽維護合約,或至少指定專人負責。系統沒人更新會怎樣,可以參考系統沒人更新會怎樣。

限制四:文件越長,速度越慢、記憶體越吃緊

很多老闆的想像是「把整本規範丟給 AI,它就什麼都知道」。

實際上,文件越長,模型處理越慢,也越吃記憶體。測試顯示,同一個模型在 4K 長度和 128K 長度下,速度可以差到三倍以上。而且文件太長時,模型也比較容易漏看中間的內容。

對策:不要每次都把整份文件丟給 AI,而是先建知識庫,把文件切成段落,AI 回答時只拿最相關的幾段。這也讓 AI 能附上出處,員工可以回頭核對。

限制五:繁體中文和台灣用語可能出錯

這個限制對台灣公司特別重要。

依 NSS 的整理,部分開源模型會吐出簡體字或大陸用語。對員工來說,這會讓人覺得系統「不是給我們用的」;對客戶來說,更會影響品牌形象。

對策:選型時用繁體中文、台灣用語的真實題目實測;公文、法規類的工作可以優先試台灣的 TAIDE;上線後持續收集出錯的例子。選型的完整步驟可以看地端 AI 模型怎麼選。

地端 AI 七個限制與對策一覽表

限制六:授權各不相同,有些不能商用

開源不等於免費隨便用。有的模型非商用,有的營收超過一定金額要另外談,有的要在產品上標示。同一個系列的不同版本,授權也可能不一樣。

另外還有來源國的問題。做政府標案、公部門供應商,或大客戶有稽核的公司,要先確認能不能用中國廠商的模型。

對策:每個版本上線前看模型卡的授權原文,寫進交付文件;來源國有限制的,從一開始就排除。

限制七:地端不等於自動安全

這是最容易被誤會的一點。很多人以為「放在自己機房」就等於安全。

Largitdata 講得很直接:地端部署不會讓系統自動變安全。網路上下載的第三方壓縮版模型要審查來源;不必要的遙測要關掉;對外連線要限制;誰能問什麼、看到什麼,都要設權限並留紀錄。

對策:下載模型時核對檔案的雜湊值;依部門設權限;每次提問留紀錄;定期安全更新。公司資料交給 AI 的安全底線,可以參考公司資料丟給 AI 安全嗎。

還有一個常被忽略的限制:成本

最後補一個不在七個裡面、但老闆一定會在意的:地端不一定比較便宜。

用量小的時候,雲端按量付費通常比較划算。有廠商試算一天要約 800 萬到 1,000 萬個 token 才回本(見 MAQ,廠商自己的假設)。所以地端的理由應該是「資料不能出去」,而不是「比較省」。

導入地端 AI 前的自我檢查清單

導入前的自我檢查

把七個限制變成七個問題,導入前先問自己:

問題答不出來時
這件事需要最聰明的模型嗎?先用雲端假資料測上限
尖峰時段多少人同時用?先做壓力測試再買硬體
誰負責維運?簽維護合約或指定專人
文件有多長、有整理嗎?先建知識庫
繁中題目考過了嗎?用真實題目實測
授權和來源國確認了嗎?看模型卡原文
權限和紀錄設好了嗎?上線前一定要設

常見問題

地端 AI 會比 ChatGPT 笨嗎?

在複雜推理上,能裝在一般公司的中型開源模型,通常不如雲端最頂尖的模型。但查公司資料、整理、摘要、寫草稿這些日常工作,大多夠用。建議用自己的題目實測,再決定哪些工作交給地端。

地端 AI 需要專職人員維護嗎?

需要有人負責,但不一定要專職。自己架的話每週約要半天到一天處理更新與修補。中小企業通常簽維護合約比養一個人划算。

裝在公司機房就不怕資料外洩了嗎?

不一定。地端只是讓資料不經過外部服務,但仍要設權限、留紀錄、限制對外連線、審查模型來源。這些沒做,內部一樣可能外洩。

有沒有不適合做地端 AI 的公司?

有。資料不敏感、用量又不大的公司,用雲端 AI 通常更便宜也更聰明。這種情況我們會直接建議用雲端,不做地端。

結語:知道限制,才用得好

地端 AI 的價值是讓資料不能出去的公司也能用 AI,但它不夠聰明到可以取代判斷,也不會自己顧好自己。把限制先講清楚,再決定哪些工作交給它。

如果你想知道自己的情況適不適合地端 AI,可以先看看我們怎麼做 AI 系統開發,或帶著你最擔心的那個限制來找我聊。

覺得有用?轉給需要的人
30 分鐘・完全免費

看完覺得像在講你的公司?

把你現在的做法講 30 分鐘給熊董聽,我告訴你哪裡在漏工時、哪裡藏著風險,以及這件事值不值得花錢做。不推銷、不賣課,聊完沒緣分也沒關係。

線上選時段・熊董親自談・252+ 案的經驗

熊董 Johnny Yang
熊董 Johnny Yang
川輝科技創辦人

連續創業者,帶一支小團隊,把系統做進老闆每天的工作裡。

創業年資
7 年
交付案子
252+
服務產業
32+
認識熊董