雲端大模型不讓聊、也不讓改——一個 AI 陪伴聊天服務,怎麼用開源模型自己部署

陪伴聊天服務用雲端大模型,對話常被拒絕、角色也調不動。我們改用開源模型:選型、調整拒答行為、設計角色與記憶,部署在客戶自己的伺服器上。

客戶
一個 AI 陪伴聊天服務
產業
AI Native
服務
AI 系統客製化
雲端大模型不讓聊、也不讓改——一個 AI 陪伴聊天服務,怎麼用開源模型自己部署
Results · 成果

交付了什麼。

模型
開源模型,部署在客戶自己的伺服器
調整
依服務需求調整模型的拒答範圍
角色
角色設定+對話記憶
管理
使用規則+對話紀錄
Story · 過程

01雲端大模型很強,但不是你的

客戶經營一個 AI 陪伴聊天服務:使用者跟設定好的角色聊天,角色要有一致的個性,也要記得之前聊過什麼。

一開始他們用的是雲端大模型,很快就遇到兩個問題。第一,雲端廠商有自己的使用政策,很多正常的陪伴對話也會被拒絕或答得很含糊,使用者覺得角色「突然變了一個人」。第二,模型的行為完全調不動,廠商一改政策,服務就跟著變。

02為什麼改用開源模型

開源模型可以裝在自己掌控的伺服器上,模型的行為由服務方決定,不受雲端廠商改政策影響。代價是:選型、部署、調整、維運都要自己來。這正是我們做的部分。

03我們做了什麼

  • 選型:依服務需要的中文對話能力、回應速度和硬體預算,實際測試幾個開源模型,用客戶自己的對話情境來考,再決定用哪一個。
  • 調整模型的拒答行為:開源模型可以調整「哪些情況要拒絕回答」。我們依客戶的服務範圍調整,讓正常的陪伴對話不再被誤擋,同時保留客戶要守住的界線。
  • 角色設定與對話記憶:每個角色有固定的個性、說話方式和背景,對話記憶讓角色記得使用者之前說過的事,聊起來前後一致。
  • 自主部署:模型和推論服務裝在客戶掌控的伺服器上,對話資料不經過外部的 AI 廠商。
  • 規則與紀錄:模型不再由雲端廠商把關,責任就回到服務方身上。所以我們另外加上使用規則、年齡與內容的管理設定,以及對話紀錄,出問題時查得到。

04這個案子證明了什麼

對川輝來說,這個案子證明的是一件事:我們會選、會調、會部署開源模型,而且知道把關的責任要怎麼補回來。同一套能力,我們也用在醫療、顧問這類「資料不能出公司」的地端 AI 案子上。

05為什麼不公開客戶名稱

這是客戶的服務品牌,我們只分享做法。

06我的判斷

開源模型最大的價值,是「模型的行為由你決定」。但這句話的另一面是:把關也由你負責。只調模型、不補規則和紀錄,等於把風險留給自己。

認識熊董 →

你的案子先聊 30 分鐘,再決定要不要做。
30 分鐘免費診斷 · 線上選時段 · 熊董親自談診斷完如果評估不適合,我們會老實告訴你,不會勉強接案。或加 LINE 詢問 →