地端 AI 要買什麼硬體?從 RTX 5090、Mac 到 H200 的等級與價格

地端 AI 的硬體從十幾萬的工作站到上千萬的伺服器都有。這篇把 GPU 分成五個等級,告訴你每一級放得下多大的模型、適合多少人用、2026 年大概要多少錢,以及為什麼現在買硬體要特別小心價格。

熊董閱讀 7 分鐘
地端 AI 要買什麼硬體?從 RTX 5090、Mac 到 H200 的等級與價格

「我想在公司裡放一台 AI,大概要多少錢?是買一張顯卡就好,還是要買那種一台幾百萬的伺服器?」

老闆問這個問題的時候,心裡通常有兩個極端的想像:一個是「家裡的電競電腦換張好一點的顯卡」,另一個是「科技新聞裡那種整排發光的機櫃」。實際上,答案在中間,而且差距非常大。

我是熊董,台灣川輝科技創辦人。我帶團隊做系統導入七年,經手超過 252 個案子、橫跨 32 個以上產業,也實際幫客戶在他們自己的機房建過地端模型。

我的答案是:硬體不是看預算挑,是看「同時有多少人要用」和「要跑多大的模型」挑。幾十人的公司,一台約一百萬台幣的 96 GB 專業卡工作站通常就夠;五人以下先試用,一台幾十萬的工作站或 Mac Studio 就能開始。上百人同時用,才需要幾百萬到上千萬的資料中心伺服器。

為什麼 GPU 的記憶體比算力更重要?

一般人買顯卡看的是「快不快」,但跑 AI 模型最先卡住的往往不是速度,而是記憶體。

道理很簡單:模型要先完整放進顯卡的記憶體,才跑得起來。放不下,再快也沒用。粗估的算法是「參數量 × 每個參數的位元數 ÷ 8」。依 Hugging Face 的說明,一個 8B 模型用 16 位元約 16 GB,壓縮到 4 位元約 4 到 5 GB。700 億參數的模型就算壓縮到 4 位元,也要四十幾 GB。

這還只是模型本身。很多人同時問、文件很長的時候,還要額外的記憶體來存每個人的對話內容。所以挑硬體的第一步是看記憶體夠不夠,第二步才看速度。

模型大小怎麼選,可以先看地端 AI 模型怎麼選。

地端 AI 硬體的五個等級

我們把常見的硬體分成五級。注意:價格是 2026 年公開資訊整理的粗估,只算硬體,不含安裝、串接、維護等服務費,實際以供應商當天報價為準。

等級代表機型記憶體大約放得下硬體粗估適合
L1 消費卡工作站RTX 509032 GB270 億到 320 億參數(4 位元)台灣 32 GB 等級整機約 NT$16 萬小團隊、單一用途
L2 AI 小主機NVIDIA DGX Spark128 GB 統一記憶體官方說推論到 2,000 億參數台灣售價約 NT$16.5 萬到 24 萬開發、微調、少數人用
L2 MacMac Studio M5 Ultra96、256、512 GB256 GB 放得下 DeepSeek V4-Flash 4 位元US$5,499 到 22,299個人或小團隊,安靜省電
L3 專業卡工作站RTX PRO 6000 Blackwell96 GBgpt-oss-120b、700 億參數(4 位元)台灣 96 GB 等級整機約 NT$114 萬中小企業多部門正式使用
L4 資料中心伺服器HGX H200 或 B200 八卡每卡 141 到 180 GB幾乎所有開源模型H200 約 US$32 萬到 42 萬;B200 約 US$45 萬到 55 萬上百人同時用、多用途
L5 機櫃級GB300 NVL7272 張卡一個機櫃前沿大模型約 US$300 萬到 650 萬對外賣算力的機房

資料來源:台灣整機價格見 MAQ;DGX Spark 台灣售價見蓋斯克科技;Mac Studio 價格與可放模型見 VDF;H200 八卡見 Mercatus;B200 與 GB300 見 IntuitionLabs 整理。

地端 AI 硬體五個等級比較圖:消費卡、AI 小主機與 Mac、專業卡、八卡伺服器、機櫃級

為什麼 2026 年買硬體要特別小心價格?

先承認一件事:硬體價格本來就會變,這不是新聞。但 2026 年的情況特別誇張。

以 RTX PRO 6000 為例,依 BigGo 的報導,它在 2025 年 4 月的單張價格約 US$8,565,到 2026 年 8 月的官方價格已經是 US$16,000,接近翻倍。同一篇報導提到,RTX 5090 的建議售價是 US$1,999,美國市價在 2026 年 8 月已超過 US$4,000。

原因是記憶體缺貨。資料中心用的 HBM 記憶體已佔加速卡成本的三到四成,加上大型雲端業者把大部分新卡都先訂走了。這代表兩件事:

  1. 報價有效期很短。 今天的報價下個月可能就不算數,簽約時要寫清楚硬體價格怎麼調整。
  2. 不要一次買滿。 先用小一級的硬體證明有用,或先租 GPU 做概念驗證,確定需求後再買。

我們的做法是硬體讓客戶自己買,或代購實報實銷,不賺硬體差價。硬體價格波動這麼大的時候,這樣客戶比較放心。

每一級分別適合什麼公司?

L1:老闆或五人以下的小團隊先試

一張 RTX 5090 有 32 GB,跑 200 億到 300 億參數的模型很順,一個人用的速度很快。適合先做一個用途,例如內部文件問答,證明 AI 真的有用。缺點是記憶體有限,多人同時用、文件很長時就吃緊。

L2:DGX Spark 和 Mac Studio,放得下但不求快

這兩種機器的共同點是「統一記憶體很大」,可以塞進比顯卡更大的模型。DGX Spark 有 128 GB,NVIDIA 官方說可以推論到 2,000 億參數、微調到 700 億參數。Mac Studio M5 Ultra 最高 512 GB。

但「放得下」不等於「跑得快」。這類機器的記憶體頻寬比專業顯卡小,一個人用還可以,多人同時用就不適合。它們最適合的是開發、測試、微調,或老闆自己用一個比較大的模型。Mac 的部分我會在這個系列另外寫一篇。

L3:中小企業正式上線的主力

RTX PRO 6000 有 96 GB,可以跑 gpt-oss-120b 或壓縮後的 700 億參數模型,搭配適合多人使用的推論引擎,幾十個員工同時用沒問題。對 20 到 200 人的公司來說,這是最常見的正式上線選擇。

L4、L5:上百人同時用,或對外賣算力

八卡伺服器和機櫃級設備,已經是資料中心的規格,需要專門的機房、電力和散熱。一般企業內部使用很少需要到這一級,除非是上百人同時用多個模型,或打算對外提供 AI 服務。

買之前先算清楚:這些錢不在硬體報價單上

很多老闆只看到硬體報價,忽略了其他一定會發生的成本。

成本說明
電費專業卡一張就要數百瓦,24 小時開機的電費要算進去
機房或空間工作站可以放辦公室;伺服器要有空調、穩定電力的機房
不斷電與備份斷電、硬碟壞掉時,資料和服務要能救回來
維運人力模型更新、安全修補、驅動程式,自己架的話每週約要半天到一天
汰換GPU 世代更新很快,三到五年要評估一次

維運人力的估計來自 NSS 的部署經驗整理。這也是為什麼我們建議中小企業簽維護合約,而不是自己養一個人顧機器。備份與復原的最低標準,可以參考系統掛掉時,公司資料多久能救回來。

地端 AI 硬體報價單以外的五項隱藏成本檢查清單

先租還是直接買?

這是硬體價格這麼不穩的時候,老闆最該想清楚的問題。

我的建議是:概念驗證期先租,證明有用再買。 台灣已經有不少 GPU 租用服務。依 GPUtw 的整理,RTX 4090 每小時約 NT$13 到 23 元、RTX 5090 每小時約 NT$24 到 32 元,也有 RTX 4090 單卡月租 NT$13,800 起的方案。租一兩個月做概念驗證,花費遠低於直接買一台工作站。

租的時候要注意一件事:概念驗證用的是租來的機器,資料不在自己公司裡。所以這個階段請用假資料或去識別化的資料測試,不要把真正的病歷、配方、客戶資料放上去。

什麼時候該買?當你確定了三件事:用哪個模型、多少人會同時用、要處理多長的文件。這三件事確定了,硬體規格就確定了,這時候買才不會買錯。很多老闆一開始就買最大的,結果用量根本不需要;也有人買太小,上線一個月就要加購。先租再買,就是為了避免這兩種浪費。

另一個選項是「租機房、買機器」,也就是把自己買的伺服器放在專業機房託管。這適合需要八卡伺服器、但公司內部沒有合適機房的情況。

地端硬體一定比雲端划算嗎?

不一定,這點要誠實講。

如果用量不大,雲端按用量付費通常比較便宜。有廠商試算,一天的用量要到約 800 萬到 1,000 萬個 token 才回本(見 MAQ,這是廠商自己的假設)。中小企業的日常用量通常遠低於這個數字。

所以地端的理由通常不是「比較省」,而是「資料不能出去」。如果你的資料可以上雲端,先用雲端;不能出去,地端才是唯一的選擇。雲端和地端怎麼取捨,可以參考 AI 導入要花多少錢。

常見問題

一般辦公室電腦可以跑地端 AI 嗎?

可以跑小模型,但前提是有獨立顯卡和足夠的顯示記憶體。像 gpt-oss-20b 約 16 GB 就跑得動,適合先試。只有內建顯示的文書電腦就不建議,速度會慢到沒辦法用。

買一台 RTX 5090 工作站夠全公司用嗎?

五人以下、單一用途通常夠。幾十個人同時用,32 GB 記憶體會吃緊,建議改用 96 GB 的專業卡工作站,並搭配支援多人同時使用的推論引擎。

硬體價格一直漲,要現在買還是等?

不建議一次買滿。先租 GPU 或用小一級的硬體做概念驗證,確定真的有用、知道要多少人用之後再買。簽約時要寫清楚硬體報價的有效期和調整方式。

地端 AI 硬體要放在哪裡?

工作站和 Mac 可以放在辦公室,注意散熱和電源穩定。八卡伺服器以上就需要機房,可以放在自己的機房,或託管在有足夠電力與散熱的資料中心。

結語:先算人數和模型,再看預算

地端 AI 硬體的選擇,不是從「我有多少預算」開始,而是從「多少人要同時用、要跑多大的模型」開始。大部分中小企業落在 L1 到 L3,從十幾萬到一百多萬台幣。

如果你想知道自己的公司該落在哪一級,可以先看看我們怎麼做 AI 系統開發,再帶著你們的人數和用途來聊。

覺得有用?轉給需要的人
30 分鐘・完全免費

看完覺得像在講你的公司?

把你現在的做法講 30 分鐘給熊董聽,我告訴你哪裡在漏工時、哪裡藏著風險,以及這件事值不值得花錢做。不推銷、不賣課,聊完沒緣分也沒關係。

線上選時段・熊董親自談・252+ 案的經驗

熊董 Johnny Yang
熊董 Johnny Yang
川輝科技創辦人

連續創業者,帶一支小團隊,把系統做進老闆每天的工作裡。

創業年資
7 年
交付案子
252+
服務產業
32+
認識熊董