YGG臻星科技

AI 问答库

微调一个行业大模型需要准备多少数据？

一句话回答

取决于微调方式，差三个数量级。调语气和输出格式的轻量微调（LoRA 类），几百到几千条高质量样本就够；要让模型稳定掌握一整套行业表达，通常要上万条；继续预训练注入领域知识则按亿级 token 计，多数企业不该做。共同前提是样本必须人工确认过——把历史工单原样倒进去只会把过去的错误一起学走。

关键要点

01样本量的问题问反了顺序。先确定要解决的是格式问题、风格问题还是知识问题，方式定了数据量才有答案。
02质量的边际收益远高于数量。几百条经人工核对、覆盖典型与边界情况的样本，通常胜过几万条未经清洗的历史记录。
03微调教不会新知识。需要模型知道最新制度、价格、库存这类信息，应该走 RAG——用微调硬灌事实是最贵且最不可靠的做法。
04样本分布比总量重要。全是简单常见问题的数据集，训完模型在难例上不会有任何改善，还可能让它更自信地答错。
05先做数据再做算力预算。数据准备通常比训练本身耗时得多，也是唯一无法外包给硬件厂商的部分。

按微调方式对照所需数据量

下表是常见开源微调实践的经验区间，按「中文业务文本、单一任务类型」口径给出，用于做方案初筛而不是精确规划。真实所需量跟任务难度、基座模型能力和样本多样性强相关——同样一千条数据，用来统一工单分类的输出格式可能绰绰有余，用来教模型写合规的法律意见书则远远不够。

方式	数据量级	适合解决什么	主要风险
提示词 + 少样本示例（严格说不算微调）	5–50 条	先验证需求是否真实存在，当天就能试	提示词膨胀后每次调用都在付这部分成本，长了容易漂
参数高效微调（LoRA 等）	数百到数千条	固定输出结构、统一术语与语气	样本太少或太同质会过拟合；对补充新知识基本无效
全参数监督微调	上万条起	整体迁移到一套差异较大的行业表达体系	算力与数据成本高；容易损伤通用能力，需回归测试
继续预训练（领域增量预训练）	亿级 token 起	语料与通用语料差异极大的领域，如特定工业或专业文献	成本按训练集群计，多数企业投入产出不成立
偏好对齐（DPO 类）	数千对偏好样本	两个答案都对但一个更好时的取舍	标注标准不统一就完全白做，一致性比数量更关键

数据从哪来，以及怎么算「可用」

大多数企业的第一批微调数据来自三个地方：历史工单与客服对话、内部审核过的标准文档、以及业务专家现场标注的样本。前两类量大但脏，后一类干净但慢。可行的做法是混合：先从历史记录里筛出一批被判定为「处理正确」的案例作为初稿，再让业务专家逐条改写成标准答案。判断一条样本是否可用有三个标准——输入是真实业务里会出现的形态而不是理想化的提问；输出是你希望模型每次都这么答的样子而不是「差不多就行」；同类问题的答法在整个数据集里保持一致。第三条最容易被忽略，也是最致命的：同一类问题在数据集里有三种不同答法，模型学到的就是随机三选一。

在动手微调之前先确认的四件事

一，问题是不是真的需要微调。绝大多数「模型不懂我们业务」的抱怨，拆开之后是检索没做好，换成 RAG 当天就能改善，微调解决不了。二，有没有独立评测集。评测集必须和训练集完全分开，且由业务方而非训练者构造，否则你只能证明模型背下了训练数据。三，有没有回归测试。领域微调会挤压通用能力，训完要跑一遍通用任务确认没有明显退化。四，有没有回滚方案。微调后的模型上线要保留旧版本可切换，效果不如预期时能立刻退回。这四件事做齐了，即使第一次微调效果一般，也能知道下一步该往哪调；缺了任何一件，结果好坏都无法归因。

适用边界

什么情况下本答案不成立

文中区间是常见开源微调实践的经验值，按中文业务文本、单一任务类型估算。任务难度、基座模型能力与样本多样性都会大幅改变实际所需量。
如果需求本质是让模型掌握会变化的事实（制度、价格、库存），本文结论不适用——那类需求应走 RAG，任何数据量的微调都无法保证时效性。
训练数据里若包含个人信息、客户资料或受保护的第三方内容，需先完成脱敏与授权确认。合规问题不会因为数据只用于内部训练而消失。
本文默认使用可私有部署的开源模型家族。若只能通过闭源 API 微调，可用的方式、数据格式与上限均受厂商开放程度约束。

同义问法

微调大模型要多少条数据才够？
LoRA 微调需要准备多少样本？
几百条数据能微调出效果吗？
行业大模型的训练数据从哪来？
微调数据的质量和数量哪个更重要？