地端 AI 跑多快?一個人用和幾十人同時用差在哪

同一張顯卡,一個人用時每秒吐一百多個字,三十人同時問卻可能要等一分鐘才看到第一個字。這篇用實測數據說明地端 AI 的速度由什麼決定、多快才夠用,以及上線前一定要做的壓力測試。

熊董閱讀 6 分鐘
地端 AI 跑多快?一個人用和幾十人同時用差在哪

「我們在自己電腦上試,AI 回得很快啊。為什麼正式上線給全公司用,大家都說好慢?」

這是我們接手地端 AI 案子時,很常聽到的一句話。老闆在自己電腦上試的時候,一個人問、一個人等,當然很快。可是早上九點全公司同時打開來問,情況就完全不一樣了。

我是熊董,台灣川輝科技創辦人。我帶團隊做系統導入七年,經手超過 252 個案子、橫跨 32 個以上產業,也做過離線運作的 AI 客服,客服系統最怕的就是一次湧進很多人。

我的答案是:地端 AI 的速度要分兩種看。一個人用時,速度取決於顯卡的記憶體頻寬;很多人同時用時,速度取決於推論引擎。很多公司上線後變慢,問題不在顯卡不夠好,而在用了只適合一個人用的工具去服務全公司。

速度要看哪兩個數字?

先把兩個名詞講清楚,後面才看得懂。

每秒幾個 token:token 大約是模型處理文字的單位,一個中文字常常是一到兩個 token。每秒吐出越多 token,回答出現得越快。

第一個字要等多久:從按下送出到看到第一個字的時間。這個數字對使用感受的影響,常常比每秒幾個 token 更大。

多快才夠?依 Runpod 的說明,每秒 43 個 token 已經「比大多數人閱讀快」,第一個字在 100 毫秒內出現,在聊天介面裡幾乎感覺不到等待。換句話說,一個人用的時候,大部分顯卡都已經夠快了。真正的問題出在很多人同時用。

一個人用的時候,速度由什麼決定?

先承認一個直覺:大家都以為顯卡越「強」越快。這不算錯,但不完整。

一個人用的時候,模型每吐一個字,都要把整個模型從記憶體讀一遍。所以速度的上限,取決於顯卡的記憶體能多快把資料送出來,也就是記憶體頻寬。ComputingForGeeks 的實測也寫明:只有一個請求時,速度受記憶體頻寬限制。

下面是同一套測試條件下,不同顯卡一個人用的速度(Ollama、4 位元量化、4K 長度,單位是每秒 token 數),資料來自 ComputingForGeeks 2026 年 6 月的測試:

顯卡80 億參數模型320 億參數模型700 億參數模型
RTX 3090(24 GB)11937放不下
RTX 4090(24 GB)14843放不下
RTX 5090(32 GB)25071放不下
L40S(48 GB)1133316

從這張表可以看到兩件事。第一,模型越大越慢,320 億參數的模型大概只剩 80 億的三分之一速度。第二,記憶體不夠就直接跑不了,700 億參數的模型在 24 GB、32 GB 的卡上都放不下。

為什麼放得下不等於跑得快?

這是很多人買硬體時沒注意到的地方。

有些機器記憶體很大,大模型放得下,但記憶體頻寬比較小,跑起來就慢。依 Presenc 整理的測試,gpt-oss 200 億參數模型在 RTX 5090 上每秒約 205 個 token,在記憶體更大的 DGX Spark 上只有約 49.7 個。

Mac 也有類似的情況。依 VDF 轉引 MacStories 的測試,Mac Studio M5 Ultra 跑 Qwen3.8-27B 每秒 48 個 token,RTX 5090 是 59 個,差距不大;但讀題目的速度是 1,701 對 3,031,文件越長差距越明顯。

所以挑硬體要同時看兩件事:記憶體放不放得下,頻寬夠不夠快。

很多人同時用的時候,差在推論引擎

這是整篇最重要的一段。

推論引擎就是讓模型跑起來的程式。有些引擎是為一個人用設計的,安裝簡單、上手快,很適合在自己電腦上試;有些是為正式服務設計的,能把很多人的請求排在一起處理。

ComputingForGeeks 2026 年 10 月的實測用同一個 270 億參數模型、同一張 RTX 5090,比較三種引擎在 32 個請求同時進來時的表現:

引擎一個人用(每秒 token)32 人合計(每秒 token)32 人時第一個字要等
vLLM85.79362.3 秒
llama.cpp77.83696.6 秒
Ollama76.87454.1 秒

一個人用的時候,三種引擎差不多快。可是 32 人同時問的時候,用 Ollama 第一個字要等將近一分鐘,換成 vLLM 只要 2 秒多。原因是那次測試裡,Ollama 對這個模型一次只處理一個請求,後面的人只能排隊。

這就是開頭那位老闆遇到的情況:在自己電腦上用 Ollama 試,很快;上線後還是用同一套,全公司一起用就塞住了。正式給多人用,一定要用 vLLM 或 SGLang 這類為多人服務設計的引擎。

一張顯卡在一人使用與三十二人同時使用時,三種推論引擎的速度比較

還有哪些事會讓 AI 變慢?

除了顯卡和引擎,還有三件事會明顯影響速度。

文件越長越慢。 依 Presenc 的整理,Qwen3 80 億參數模型在 RTX 5090 上,4K 長度每秒約 200 個 token,32K 降到約 130,128K 只剩約 59。如果每次都把整份長文件丟給 AI,速度會掉很多。比較好的做法是先做知識庫,只把相關的段落給 AI。

MoE 模型比較快。 有些模型總參數很大,但每次只用到一部分,這種叫 MoE。同樣大小下,MoE 模型通常快二到四倍。這是選模型時可以考慮的地方。

資料中心的卡快很多。 依 Runpod 2026 年 9 月的實測,同一個 70 億參數模型、同一套引擎,一個人用的速度 B200 約 272、H200 約 195、H100 約 165,RTX 5090 約 101、RTX 4090 約 61。如果要服務很多人,資料中心等級的卡值得考慮。

上線前一定要做的壓力測試

速度問題最好在買硬體之前就發現。我們的做法是上線前一定做壓力測試,步驟如下:

  1. 估同時使用人數:不是公司總人數,是尖峰時段同時在問的人數。通常是總人數的一到兩成。
  2. 準備真實的題目:用員工真的會問的問題,包含長文件的情況。
  3. 模擬同時送出:用工具同時送出這麼多請求,記錄第一個字要等多久、每個人每秒幾個字。
  4. 定合格標準:例如尖峰時段第一個字 3 秒內出現、每人每秒至少 20 個字。
  5. 不合格就調整:換引擎、換小一點的模型、加快取,最後才考慮加硬體。

地端 AI 上線前壓力測試五個步驟

這套測試不用花很多錢,可以先租 GPU 跑。做完之後,你就知道該買哪一級的硬體,而不是憑感覺買。硬體怎麼分級,可以看地端 AI 要買什麼硬體。

速度跟成本怎麼取捨?

最後講一個老闆常問的問題:是不是越快越好?

不一定。每秒 43 個 token 就已經比人讀得快,再快對使用者來說差別不大。與其追求極致速度,不如把錢花在讓更多人同時用得順,以及讓 AI 答得更準。很多公司 AI 用不起來,不是因為慢,而是因為答不準、資料沒整理好。這部分可以參考為什麼教員工寫 Prompt 沒用和地端 AI 模型怎麼選。

常見問題

地端 AI 每秒要幾個字才算夠用?

一個人用的話,每秒 40 個 token 左右就比大多數人閱讀快。更重要的是第一個字要等多久,最好在 1 到 3 秒內。多人使用時,要看尖峰時段每個人的速度,而不是單人測試的數字。

為什麼在自己電腦上很快,上線後變慢?

通常是因為用了為單人設計的推論引擎,例如 Ollama,多人同時問時只能排隊。正式上線要改用 vLLM 或 SGLang 這類支援多人批次處理的引擎,並在上線前做壓力測試。

多少人同時用需要升級硬體?

沒有固定數字,要看模型大小、文件長度和引擎。實測顯示一張 RTX 5090 配 vLLM,32 個請求同時進來,第一個字約 2 秒出現。建議用自己的題目做壓力測試再決定。

Mac 跑地端 AI 夠快嗎?

一個人用的速度跟高階顯卡差不多,但讀長文件比較慢,也沒有適合多人同時使用的引擎。適合個人或小團隊,不適合全公司共用。

結語:一個人快不代表全公司快

地端 AI 的速度,一個人用看記憶體頻寬,多人用看推論引擎。上線前先估尖峰人數、做壓力測試,才不會買錯硬體、用錯工具。

如果你們已經在試地端 AI,卻擔心上線後撐不住,可以先看看我們怎麼做 AI 系統開發,或直接告訴我你們尖峰時段大概多少人。

覺得有用?轉給需要的人
30 分鐘・完全免費

看完覺得像在講你的公司?

把你現在的做法講 30 分鐘給熊董聽,我告訴你哪裡在漏工時、哪裡藏著風險,以及這件事值不值得花錢做。不推銷、不賣課,聊完沒緣分也沒關係。

線上選時段・熊董親自談・252+ 案的經驗

熊董 Johnny Yang
熊董 Johnny Yang
川輝科技創辦人

連續創業者,帶一支小團隊,把系統做進老闆每天的工作裡。

創業年資
7 年
交付案子
252+
服務產業
32+
認識熊董