雲端大模型不讓聊、也不讓改——一個 AI 陪伴聊天服務,怎麼用開源模型自己部署
陪伴聊天服務用雲端大模型,對話常被拒絕、角色也調不動。我們改用開源模型:選型、調整拒答行為、設計角色與記憶,部署在客戶自己的伺服器上。
- 客戶
- 一個 AI 陪伴聊天服務
- 產業
- AI Native
- 服務
- AI 系統客製化

Results · 成果
交付了什麼。
- 模型
- 開源模型,部署在客戶自己的伺服器
- 調整
- 依服務需求調整模型的拒答範圍
- 角色
- 角色設定+對話記憶
- 管理
- 使用規則+對話紀錄
Story · 過程
01雲端大模型很強,但不是你的
客戶經營一個 AI 陪伴聊天服務:使用者跟設定好的角色聊天,角色要有一致的個性,也要記得之前聊過什麼。
一開始他們用的是雲端大模型,很快就遇到兩個問題。第一,雲端廠商有自己的使用政策,很多正常的陪伴對話也會被拒絕或答得很含糊,使用者覺得角色「突然變了一個人」。第二,模型的行為完全調不動,廠商一改政策,服務就跟著變。
02為什麼改用開源模型
開源模型可以裝在自己掌控的伺服器上,模型的行為由服務方決定,不受雲端廠商改政策影響。代價是:選型、部署、調整、維運都要自己來。這正是我們做的部分。
03我們做了什麼
- 選型:依服務需要的中文對話能力、回應速度和硬體預算,實際測試幾個開源模型,用客戶自己的對話情境來考,再決定用哪一個。
- 調整模型的拒答行為:開源模型可以調整「哪些情況要拒絕回答」。我們依客戶的服務範圍調整,讓正常的陪伴對話不再被誤擋,同時保留客戶要守住的界線。
- 角色設定與對話記憶:每個角色有固定的個性、說話方式和背景,對話記憶讓角色記得使用者之前說過的事,聊起來前後一致。
- 自主部署:模型和推論服務裝在客戶掌控的伺服器上,對話資料不經過外部的 AI 廠商。
- 規則與紀錄:模型不再由雲端廠商把關,責任就回到服務方身上。所以我們另外加上使用規則、年齡與內容的管理設定,以及對話紀錄,出問題時查得到。
04這個案子證明了什麼
對川輝來說,這個案子證明的是一件事:我們會選、會調、會部署開源模型,而且知道把關的責任要怎麼補回來。同一套能力,我們也用在醫療、顧問這類「資料不能出公司」的地端 AI 案子上。
05為什麼不公開客戶名稱
這是客戶的服務品牌,我們只分享做法。
06我的判斷
開源模型最大的價值,是「模型的行為由你決定」。但這句話的另一面是:把關也由你負責。只調模型、不補規則和紀錄,等於把風險留給自己。

