「我們花了一個月訓練模型,訓練數據看起來越來越好,結果一上線,比原本還差。」
這種事在 AI 專案裡很常見。訓練的時候損失下降、分數上升,大家以為在進步;拿到真實情況一測,才發現白做了。最傷的不是那幾天的顯卡錢,而是整個團隊幾週的時間。
我是熊董,台灣川輝科技創辦人。我帶團隊做系統導入七年,經手超過 252 個案子、橫跨 32 個以上產業。今年 6 月 2 日,我參加了 NVIDIA GTC Taipei 2026 的全天實作坊「Adding New Knowledge to Large Language Models」,一整天下來我覺得最有價值的,不是成功的步驟,而是他們自己做這個案例時踩過的坑,連浪費了幾輪實驗都寫出來。
我的答案是:微調失敗,大多不是參數沒調好,而是一開始就選錯方法。開工前先確認三件事:要量的東西對不對、這個問題是不是訓練能解決的、模型的大小和架構撐不撐得住這個方法。這三件事各花幾十分鐘,可以省下幾週。
這篇是延伸小模型怎麼在自己的工作上贏過頂尖大模型那篇案例,整理成開工前的檢查清單。
先認識一個順序:從最便宜的開始
工作坊把讓模型變好的方法,從便宜排到貴:
| 順序 | 方法 | 補的是什麼 |
|---|---|---|
| 1 | 把規則寫進提示 | 模型讀得懂、照著做就好的規則 |
| 2 | 小規模微調(LoRA) | 回答的格式、用語、一致性 |
| 3 | 全參數微調 | 小規模微調的容量真的不夠時 |
| 4 | 偏好訓練(DPO) | 兩個都說得通的回答,哪一個比較好 |
| 5 | 強化學習(GRPO 等) | 有明確對錯可以自動打分的任務,且模型要很大 |
| 6 | 繼續預訓練 | 模型根本不知道的領域知識 |
原則只有一個:沒有證據證明這一層做不到,就不要往下一層走。 每往下一層,需要的資料、運算和失敗風險都更高。
另外,工作坊特別強調:知識庫(RAG)是讓模型查資料,不是讓它學會規則。如果把規則寫進提示都教不會,用知識庫把規則找出來塞進提示,也一樣教不會。知識庫和微調怎麼分工,可以看要不要微調 AI 模型。

檢查一:考卷量的是你真正要的嗎?
工作坊第一版的考卷,考的是專業知識問答。微調後訓練資料上的表現變好,考卷分數卻完全沒動。原因是考卷考的是模型本來就會的東西,而他們真正需要的是回答格式和判斷方式。考卷改了三版才對。
另一個例子:他們一度把目標訂成「四個判斷全對」,從 16% 拉到 40%。但回頭問:一個 40% 全對的系統,組織會用嗎?後來發現四個判斷各自都有用,改看平均準確率(50% 到 77%)才看清楚真正的價值。
檢查方法:問自己「這個分數進步 30 分,公司會不會真的用?」答案是「不會,因為……」,就代表考卷要重寫。
檢查二:把規則寫進提示,試過了嗎?
在產生任何訓練資料之前,先把所有規則寫進提示,量一次分數。案例中這一步就從 50% 到 74%,只有「派給哪個小組」幾乎沒動。這告訴他們:微調只需要補這一塊。
檢查方法:規則寫進提示就達標,不要訓練。
檢查三:你要教的是格式,還是推理?
工作坊做過兩次實驗,想用小規模微調教模型推理,換了兩種資料寫法,推理類題目的分數都是零進步。
原因是小規模的 LoRA 微調,教的是「正確的回答長什麼樣子」:用語、格式、結構。研究也指出,教格式大約 1,000 筆好例子就夠(LIMA)。要教推理,業界的做法是幾十萬筆推理過程、全參數訓練,那是完全不同的規模。
檢查方法:原始模型偶爾答得對、只是不穩定,微調有幫助;原始模型從來答不對,小規模微調大概也教不會。
檢查四:偏好訓練用在對的地方嗎?
工作坊花了八輪實驗,想用偏好訓練(DPO)提高分類準確率,全部失敗。
原因是分類題的「好答案」和「壞答案」只差幾個欄位,其他文字幾乎一樣。研究指出,這種情況下 DPO 會把兩個答案的機率一起壓低(Smaug/DPOP)。後來他們改用 DPO 調整回答的風格,好壞答案差的是一整段文字,才成功。
檢查方法:看你的比較資料,好壞答案差幾個字?只差幾個欄位值,就不要用 DPO。
檢查五:模型夠大嗎?
另外八輪實驗,是在 40 億參數的模型上做 DPO。每一次訓練資料都學得很好,但換成沒看過的題目就完全沒進步。換成 80 億參數的模型,馬上見效。
工作坊引用的研究顯示,DPO 在 70 億參數以上穩定,20 到 40 億不穩,20 億以下效果有限(Apple 研究、NeurIPS 2024)。
檢查方法:模型小於 70 億參數,先找到同樣大小、類似任務成功的證據,再投入。選模型可以參考地端 AI 模型怎麼選。
檢查六:模型架構支援這個方法嗎?
工作坊在 NVIDIA 的 Nemotron Nano 9B 上做 LoRA 微調,訓練損失降到 0.01,看起來完美,實際成績卻比原本差 2 到 5 個百分點,試了四次都一樣。
原因是這個模型約一半是 Mamba 架構。LoRA 調整的是一般的線性運算層,碰不到 Mamba 層真正負責推理的部分。工作坊說明,截至 2026 年初這仍是研究中的問題。
檢查方法:開工前確認模型架構。混合 Mamba 的模型,先用極少量資料訓練幾步,再用沒看過的題目測,分數沒進步就換方法或換模型。
檢查七:老師模型教的東西對嗎?
很多公司會用大模型產生訓練資料,再拿去教小模型。問題是,老師錯,學生會跟著錯,而且錯得很有自信。
工作坊的建議是至少人工抽查 5%,錯誤率超過 5% 就先修老師的提示。另一個好做法是「先定答案再寫題目」:先決定標準答案,再請大模型照答案寫出內容,答案就一定正確。
還有一個細節:只給正面例子,模型會學到錯的捷徑。例如每次提到「道路」都標「交通受阻」,模型就以為看到道路就要標。要刻意加入「提到道路,但道路正常」的例子,模型才學得到真正的判斷標準。
檢查八:合併、轉換之後,結果還一樣嗎?
這是很技術、但很致命的坑。工作坊把微調結果合併進原模型後,成績從 40% 掉到 16%。原因是存檔時設定檔的一個位置參數被改了格式,推論引擎讀不到,用了錯誤的預設值。
檢查方法:任何合併或轉換之後,拿同一題比對前後的回答;不一樣就比對設定檔,直接用原模型的設定檔覆蓋。
檢查九:每個貴的步驟,都先跑一個小的
工作坊每次正式訓練要 23 分鐘,先跑 20 步的小測試只要 30 秒,抓到了三個會浪費一小時以上的錯誤。同樣的原則用在每一步:產生資料先產 10 筆看看,評分先評 3 到 5 題,比較資料先抽 5 組。
用大模型自動評分時,也一定要人工看過至少 10 筆,跟你的判斷不一樣超過一兩筆,就先改評分標準。

老闆要怎麼用這份清單?
老闆不用懂 LoRA、DPO 是什麼,只要在每個階段問團隊或廠商三個問題:
| 階段 | 老闆該問 |
|---|---|
| 開始前 | 考卷在哪裡?這個分數進步,我們會不會真的用? |
| 要訓練前 | 把規則寫進提示試過了嗎?差在哪一塊? |
| 訓練中 | 這個方法適合這個任務、這個模型嗎?有先跑小測試嗎? |
答得出來,錢花得就有根據。答不出來,就是在賭。AI 導入費用怎麼看,可以參考 AI 導入要花多少錢。
常見問題
微調一直失敗,是不是要買更好的顯卡?
通常不是。NVIDIA 工作坊浪費最多的實驗,都是選錯方法:用偏好訓練做分類、在太小的模型上做偏好訓練、在不支援的架構上做 LoRA。這些換再好的顯卡也不會成功。
訓練數據一直變好,為什麼上線反而變差?
因為模型只是把訓練資料背起來,沒有學會判斷。一定要用沒看過的題目測,而且考卷要在訓練資料產生之前就寫好,避免考的都是練習過的。
用 AI 自動評分可靠嗎?
可以用,但一定要人工抽看。工作坊遇過評分模型把正確的回答判成錯,原因是評分標準寫得不夠清楚。至少看 10 筆,跟自己判斷不一致太多就先修標準。
中小企業也需要做到這麼嚴謹嗎?
需要,而且更需要。大公司試錯得起,中小企業沒有幾週可以浪費。這些檢查大多只要幾十分鐘,最重要的是先寫考卷、先試提示,很多時候到這裡就解決了,根本不用訓練。
結語:最便宜的教訓,是別人已經付過的
NVIDIA 這份教材最誠實的地方,是把自己浪費的實驗都寫出來:八輪用錯方法、八輪模型太小、四輪架構不支援。這些錢和時間,我們都不必再付一次。
如果你正在評估要不要微調模型,或已經做了一陣子卻沒有進展,可以先看看我們怎麼做 AI 系統開發,或帶著你們的考卷和目前的分數來找我,我們一起看卡在哪一層。




