用 100 条数据微调模型效果超预期:小样本微调怎么做
有开发者用约 100 条样本做了一次模型微调,效果明显好于预期。本文拆解小样本微调为什么可能有效、数据该怎么准备才不浪费、从校验到上线的完整流程、评估与回归检查的方法,以及哪些需求其实不该用微调解决。
有开发者用大约 100 条样本对模型做了一次微调,跑完发现效果比预期好不少,于是把结果发出来分享。这类反馈最近越来越常见:托管式微调把门槛压得很低,"几十条到几百条数据先跑一版看看"已经是很轻的动作。
但另一个方向的误判也在变多——不少人把微调当成"喂知识"的手段,数据不够就堆量,效果不好就换模型,钱花了问题还在。下面把这个话题拆开讲:小样本微调为什么可能有效、数据该怎么准备、一次完整流程长什么样、以及哪些需求根本不该用微调。
小样本微调为什么可能有效
一百条数据听起来很少,但对某些任务已经够用,关键在于任务性质:
- 任务是格式或风格问题,不是知识问题。 模型在预训练阶段已经会做这件事,微调只是把它"收窄"到你期望的输出形态:固定的字段顺序、固定的语气、固定的判定口径。
- 数据高度一致。 100 条遵循同一套标注标准、同一套模板的样本,信息密度远高于 1000 条互相矛盾的样本。
- 输出空间小。 分类、抽取、改写、意图判定这类任务,正确答案的分布很窄,模型容易对齐。
反过来说,如果任务是让模型记住内部文档里的条款、价格、SKU 细节,微调通常是错的选择——它更可能学会"编得像",而不是"记得准"。这类需求应该走检索增强。
数据准备:比数量更重要的是什么
把 100 条数据做扎实,胜过随意凑 2000 条。准备阶段建议按这份清单过一遍:
| 检查项 | 具体要求 |
|---|---|
| 一致性 | 语义相同的输入,标注结论必须相同 |
| 覆盖度 | 包含线上真实长尾,而不是只挑好处理的样本 |
| 边界样本 | 明确写出"信息不足应拒答""不确定应输出未知"的情况 |
| 去重 | 清理近重复样本,避免训练集与验证集互相污染 |
| 划分 | 留 10%–20% 作为验证集,且绝不出现在训练文件里 |
| 格式 | 一行一个 JSON 对象,UTF-8,注意别留空行、BOM 和缺失的结尾换行 |
对话式微调常用 messages 结构,一行长这样:
{"messages":[{"role":"system","content":"你是客服工单分类器,只输出一个类别名。"},{"role":"user","content":"付了两次钱,第二次能退吗"},{"role":"assistant","content":"退款"}]}
标注时最容易被忽略的是判定口径:同一个类别,两个人标出两种结果,模型学到的就是噪声。宁可先写一份 20 行的标注说明,再开始标。
从文件到可用模型:完整流程
1. 先做本地校验
格式错误是微调失败最常见的原因,而且往往在上传后才报。跑一段脚本提前拦掉:
python - <<'PY'
import json
n = 0
for i, line in enumerate(open('train.jsonl', encoding='utf-8'), 1):
line = line.strip()
if not line:
print('空行', i); continue
d = json.loads(line)
assert 'messages' in d and len(d['messages']) >= 2, i
n += 1
print('样本数', n)
PY
顺便统计一下各类别占比,某一类占了八成的话,模型大概率只会输出这一类。
2. 上传并创建训练任务
调用方式各家略有差异,思路一致:上传带微调用途标记的文件 → 创建任务 → 轮询状态。以官方 SDK 为例(模型名请填当前文档中列出的、支持微调的那一个):
from openai import OpenAI
client = OpenAI()
f = client.files.create(file=open("train.jsonl", "rb"), purpose="fine-tune")
job = client.fine_tuning.jobs.create(
training_file=f.id,
model="<文档中支持微调的模型名>",
hyperparameters={"n_epochs": "auto"},
)
print(job.id, job.status)
超参数(epoch 数、batch size、学习率倍数)第一版建议全部用默认,跑出基线再小范围调整。数据量只有几十到几百条时,epoch 设得偏少容易欠拟合,具体取值仍以官方文档的建议区间为准。
3. 看指标,但别只看训练 loss
训练 loss 一路下降是正常现象,不是好消息本身。真正要盯的是验证集表现:
- 训练 loss 降、验证 loss 也降 → 正常收敛;
- 训练 loss 降、验证 loss 先降后升 → 过拟合,减少 epoch 或补充数据;
- 两者都不动 → 数据或任务定义有问题,先回头查标注一致性。
4. 上线前灰度
新模型名不要直接替换线上调用,先按比例分流,对比基座模型 + 精心写的提示词这条基线。
评估:别被"感觉不错"骗了
主观试用很容易高估效果,尤其是你自己挑的示例。建议固定一套 50–100 条的人工标注评估集,从三个维度打分:
- 格式合规率:输出能否直接被下游解析;
- 内容正确率:结论对不对;
- 拒答正确率:该说"不知道"的时候有没有硬编。
还要专门做一次回归检查:挑一批原本就能答对的简单请求,确认微调之后没有变差。微调把模型往窄分布上拉,副作用常常出现在这里。
几个容易踩的坑
- 数据泄漏。 验证集样本以近似改写的形式出现在训练集里,分数会虚高。去重比加数据更值得做。
- 拿微调注入知识。 结果是更像样的幻觉,而不是更准的事实。
- 把生产依赖绑死在某个模型快照上。 支持微调的模型清单、参数格式、下线时间变动都比较频繁,以官方最新文档为准,并在代码里把模型名做成配置项。
- 只算训练成本。 训练按 token 计费,微调后的推理单价通常高于基座模型;调用量不大时,提示词加少量示例往往更划算。
- 敏感数据直接上送。 训练数据会离开自己的环境,先脱敏;也不要为了省钱去共享账号或共用额度,一旦触发平台风控,损失远大于省下的费用。
什么时候不该用微调
| 真实需求 | 更合适的做法 |
|---|---|
| 让模型掌握最新或内部知识 | 检索增强,把资料放进上下文 |
| 只要输出结构稳定 | 结构化输出 / JSON 模式 + schema 校验 |
| 偶发错误、想纠偏 | 改提示词、加少样本示例 |
| 只是嫌慢或嫌贵 | 换更小的模型、加缓存 |
| 任务种类很杂、样本难以覆盖 | 先做提示词工程,同时收集线上数据再判断 |
一个务实的顺序是:提示词 → 少样本示例 → 检索增强 → 最后才是微调。走到微调这一步时,你手上应该已经有一批来自真实流量的、标注口径统一的数据,而不是临时手工编的样本。
小结
100 条数据跑出好效果并不玄学,前提是任务本身适合微调、数据一致且覆盖了边界情况。落到操作上就是四件事:写清标注口径、本地校验格式、留出干净的验证集、上线前和提示词基线做盲评对比。至于模型支持范围和计费方式,变动较快,动手前请以官方文档的最新说明为准。