用 LLM 自動化第一線客服(而且不要把體驗弄更糟)

公司從 2023 年就在客服上疊 LLM。大部分部署不被客戶喜歡、production 脆、18 個月內悄悄拿掉。會 work 的有共同 pattern:範圍窄、容易升級、絕不假裝是人。

「第一線」實際是什麼

第一線支援是高量、低複雜度的進件:「怎麼重設密碼」、「我的退款在哪」、「你們退貨政策是什麼」、「能改寄送地址嗎」。這些 ticket 文件齊全、答案已知、塞爆團隊收件夾。大部分消費產品中佔 60-80% ticket 量。

LLM 從你的 help doc 回這些超強。它不擅長:技術 debug、帳號 access 問題、任何法律相關、任何情緒、不在 doc 裡的 edge case。

不要試著用 LLM 自動化 Tier-2 或 Tier-3。連 Tier-1 都應該慷慨升級。

能 work 的架構

真的能 deflect ticket 又不讓客戶恨你的 stack:

對你的 help doc 做 RAG — 切塊、embed 你已發布的文件、FAQ、服務條款、面對客戶的內部知識。
範圍窄的 LLM agent — Claude 4.5 或 GPT-5 加鎖在你的領域的系統 prompt。
嚴格 guardrail — 絕不發明政策、絕不確認金融交易、絕不代表公司做承諾。
一鍵升級給人 — 顯眼、低摩擦。「找真人」一直是按鈕,不被埋。
可觀察 transcript — 每段對話 log 起來,人每週審核。

不要加:角色扮演(「我是 Sarah,你的支援專員!」)、過多人格、聲音複製、或任何可能誤導客戶在跟人講話的東西。

系統 prompt 模板

基本能用的模板:

你是 [公司] 的自動化助手。你只用 context 裡提供的文件幫客戶處理常見問題。

規則:
- 第一條訊息一定表明你是自動化助手
- 只回答提供的文件能直接支撐的問題
- 絕不發明政策、價格、承諾
- 絕不確認退款、取消、帳號變動 — 一律說「會由真人團隊處理」並觸發 handoff
- 任何情緒、挫折、升溫的 — 立刻給人 handoff 選項
- 在答案裡引用相關文件章節
- 不能幫忙時清楚說明並給 handoff 選項

讓系統 prompt 的限制比你以為需要的更嚴。一個錯的退款承諾(損失 $50-500 善意)比一個不必要的 handoff(5 分鐘人時)成本高得多。

怎麼量是不是 work

三個指標重要:

Deflection rate — 多少對話沒讓人介入就結束?好的產品落在 30-50%。超過 70% 大概代表你在讓客戶失望(他們放棄,不是滿足)。
AI 對話的 CSAT — 對客戶做問卷。AI 對話評分應該至少在人類對話的 80% 內。如果評分明顯低,bot 在讓事情變糟。
各主題的升級率 — 追蹤哪些主題升級。如果 90% 的「退款」問題升級,直接把退款 route 給真人。

真人每週審核 transcript 沒得商量。你會發現 bot 講出你沒預期的話 — 有時候很棒、有時候很糟。

什麼時候不要自動化

某些 ticket 類型絕對不要碰 LLM:

帳號 access 問題 — bot 根據錯資訊重設憑證有資安風險
退款跟拒付 — 財務承諾需要人工授權
法律威脅 / GDPR / 監管 — 「請刪我的資料」需要第一次就做對
健康、醫療、心理健康 — 連相鄰產業(保險、健身)都應該升級情緒健康的 flag
危機或自殺相關 — 立刻 handoff 給人加危機專線,沒得商量
VIP / 高價值客戶 — 用你的人力資源在會 churn 大錢的人身上

為這些建立明確偵測,繞過 LLM。

自動化反而傷害的時候

你的客戶基礎重視關係(高接觸 B2B、專業服務、premium 消費品牌),自動化感覺冷。Deflection 省下的可能是真的,但客戶忠誠在更難量的方式上侵蝕。

你的產品常壞,用支援的客戶是生氣的。能對生氣客戶冷靜、有資訊地回應的 LLM 可以 work — 但過度雀躍或要求他們重新表述的會讓事情更糟。

你的 help doc 爛,LLM 就會爛。RAG 只跟來源一樣好。大部分團隊在自動化划算之前需要投資寫更好的文件。常常光寫文件就 deflect 掉 ticket,根本不需要 AI。

實際部署計畫

第 1 週:挑量最大的 top 20 ticket 類型。每一個確保有清楚、公開的 help doc。

第 2 週:把 help doc ingest 進 vector store。在上面做基本 RAG。

第 3 週:在「shadow mode」部署 LLM — 它生草稿給人類客服,但真人發實際回覆。看到什麼就調 prompt。

第 4-6 週:對自我認定低風險主題(FAQ、營業時間、退貨政策)啟用 AI 回覆。一直顯眼地給升級選項。看指標。

第 7 週起:根據資料擴張主題覆蓋。絕不擴進危險區(退款、帳號、法律)。

不要第一天就把 bot 上給所有客戶。漸進 rollout — 1%、10%、50%、100% — 每階段看指標。

揭露跟同意

把 bot 認作 bot。一定,在第一條訊息。「嗨!我是自動化助手。我能幫 X、Y、Z。更複雜的我會幫你接到真人。」

這不只是倫理。歐盟 AI Act 跟加州的 bot 揭露法都要求。而且客戶信任被「感覺被騙」破壞的速度比知道在跟 AI 講話快得多。

不要藏跟真人講話的選項。不要弄成迷宮。「找真人」應該一直可見。

決策樹

高量、有文件問題、B2C:小心自動化第一線
高接觸 B2B、premium 消費:不要自動化;用 AI 在內部幫客服
醫療、金融、法律:全部升級;AI 只用在內部分流
Tier-2/3 技術支援:AI 給內部 agent assist,不面對客戶

下一步

看一下專門為客服做的 RAG(切 help doc 的方式跟通用 RAG 不同)
看內建 AI 的客服平台:Intercom Fin、Zendesk AI Agents、Dixa
讀客服場景的 prompt injection(用戶會試著破壞你的 bot)
上線前設好 shadow mode;量 deflection 跟 CSAT,兩個都重要