用 ChatGPT 做客服机器人:微调为何答非所问,以及可落地的 RAG 路线
很多电商团队想拿几年历史客服对话直接微调模型,结果模型学会了语气却答非所问。本文拆解微调在客服场景失效的原因,对比微调与检索增强(RAG)的适用边界,给出一套从知识库整理、向量检索到提示词约束、兜底转人工的可操作流程,并说明用开源平台快速验证与上线前的检查清单。
做私域电商的团队常有一个朴素的设想:手里攒了五年、几十万条真实客服对话,直接拿去微调一个大模型,就能让 AI 顶掉大部分人工客服。真正动手的人大多会撞上同一个结果——模型确实学会了客服的语气和句式,但一被问到具体商品、尺码、发货时效,就开始答非所问,甚至一本正经地胡说。几十美元的训练费花出去,换回来一个“说话像客服、知识全不对”的模型。
问题往往不在数据量,而在路线选错了。下面把这类需求的常见误区、两条主流技术路线的取舍,以及一套能真正跑起来的落地方案梳理清楚。
微调为什么救不了客服场景
fine-tuning 的本质是让模型模仿一批输入输出样本的表达方式,调整的是语气、格式、句式习惯,而不是往模型里“存”一份可以随时查的知识库。用它来做客服,会遇到几个绕不过去的坎:
- 聊天记录不是训练样本。一段真实会话里有来回多轮、口语、错别字、表情、订单号、临时承诺,直接拼成 prompt/completion 对,模型学到的大半是噪声。
- 事实一直在变。价格、库存、活动规则每周都动,微调进去的知识没法单独修改,改一条就得重训一轮。
- 长尾知识稀疏。某个 SKU 一年只被问过三次,模型记不住;检索方案只要文档里写了就能命中。
- 无法保证“不知道就说不知道”。微调后的模型倾向于生成流畅答案,而不是拒答,这在客服场景是致命的。
微调真正有价值的地方是:统一回复风格、压缩提示词长度、把开场白和售后安抚这类固定话术固化下来、降低单次推理成本。它适合做“嘴”,不适合做“脑子”。
两条路线怎么选
| 维度 | 微调(fine-tuning) | 检索增强(RAG) |
|---|---|---|
| 知识存放位置 | 模型参数里,不可查 | 外部知识库,随时改 |
| 更新一条规则 | 需重新训练 | 改一条文档即可 |
| 幻觉控制 | 较弱,难以约束 | 较强,可设阈值拒答 |
| 冷启动成本 | 需要高质量样本,试错贵 | 整理文档即可开始 |
| 可解释性 | 几乎为零 | 能回溯命中了哪段资料 |
| 适合做的事 | 话术风格、固定流程 | 商品参数、规则、FAQ 问答 |
多数客服场景的正确组合是:检索负责“答得对”,微调(或提示词)负责“答得像”。预算和人力有限时,先把检索做扎实,微调可以完全不做。
可落地的实施步骤
第一步:把知识整理成可检索的单元
不要直接把原始聊天记录灌进去。先从历史会话里统计高频问题,人工写成标准问答对;同时补上商品参数、尺码表、发货与退换规则、活动说明。原则有三条:一条知识只讲一件事;长度控制在几百字以内;用用户真实的问法写问句,而不是内部术语。
第二步:切分与向量化
长文档按语义段落切块,块与块之间留少量重叠,避免答案被切断。用 embeddings 接口把每个块转成向量,写入向量库(pgvector、Milvus、Qdrant 之类都行)。这一步是一次性成本,后续做增量更新即可。
第三步:检索 + 生成
# 伪代码:最小可用的检索问答链路
q_vec = embed(user_question)
hits = vector_store.search(q_vec, top_k=5)
hits = [h for h in hits if h.score >= 0.75] # 相似度阈值,低于阈值直接走兜底
if not hits:
return "这个问题我暂时没有查到,帮您转接人工客服~"
prompt = f"""你是某店铺的客服。只能依据下面的资料回答,
资料里没有的内容一律回答“不确定,帮您转人工”,禁止推测和编造。
资料:
{format(hits)}
用户问题:{user_question}
"""
answer = chat_completion(prompt)
几个容易踩坑的工程细节:
- top_k 不要贪多,3~5 条足够,塞太多反而稀释重点。
- 一定要设相似度阈值并短路返回,这是控制“胡说八道”最有效的一招。
- 提示词里把角色、边界、兜底话术写死,并优先要求引用原文再作答。
- 回复末尾附一句“需要转人工吗”,给用户一个出口。
第四步:用现成平台快速验证
没有专职算法同学时,Dify 这类开源 LLMOps 平台可以把导入文档、选 embedding 模型、配提示词、发布成网页或 API 这几步做成可视化流程,适合先跑通 MVP 再决定要不要自研。落地建议:先只上线一个店铺或一个品类;问答对必须人工审一遍,宁少勿脏;接入第三方客服平台通常要自己基于 API 写对接层。
明明给了上下文,模型还是自己编?
这是最常见的反馈,通常不是模型的问题,按顺序排查:
- 检索没召回:用户问法和文档写法差太远,把问答对改写成口语化问法,或补充同义问法。
- 召回了但排序靠后:被前面的无关片段挤掉,减小 top_k 或加相似度阈值。
- 提示词约束太软:把“请尽量参考”改成“只能依据资料,否则明确回答不知道”。
- 上下文被截断:块切得太大,关键句被切走,调整切分粒度。
上线前的检查清单
- 抽 100 条真实会话做离线评测,分别统计「命中率」「误答率」「拒答率」,三个指标要分开看。
- 兜底与转人工路径必须通,且转人工时把上下文一并带给人工。
- 退款、赔偿、绝对化用语等承诺类话术做关键词拦截或强制转人工。
- 客户手机号、地址、订单号等敏感信息脱敏后再送第三方接口。
- 先灰度 10% 会话,人工复核一轮再放量。
- 按 token 计费的成本随会话量线性增长,具体单价与模型能力以官方最新文档为准。
运行环境与成本的一点补充
除了模型本身,还有两处容易被忽略的开销:向量化的一次性成本,以及服务长期在线的稳定性。如果机器人需要 7×24 小时响应,或者调用境外接口时本地网络经常抖动、断连,可以把服务和向量库放在网络更稳定的环境里跑;例如整台 Mac mini 托管在新加坡机房、按月远程使用的方案,适合需要长期挂着脚本或向量服务、又不方便自己维护本地机器的小团队。这只是可选项,本地或普通云主机能稳定跑通就不必折腾。
小结
客服机器人的核心难点从来不是“让模型像人”,而是“让模型不乱说”。把五年聊天记录直接丢进微调,期望一步到位,通常只会得到一个语气很专业但知识全错的模型。更稳妥的路径是:先把知识整理成干净、短小、口语化的问答单元,用向量检索保证答得对,用提示词和阈值保证不乱答,把微调留到需要统一风格或压缩成本时再上。先在一个小品类上跑通闭环,比一次性追求 80% 替代率现实得多。