岗位：大模型应用工程师、智能体开发、agent开发
大模型工程的5种方式：提示词工程、RAG、微调、续训、智能体开发。

AIGC（Artificial Intelligence Generated Content）
人工智能生成内容
以大模型预训练模型为核心，通过学习海量数据中的统计规律和语义结构，在人类输入提示或条件约束后，自动生成文本、图像、音频、视频、代码等多模态内容的技术与应用体系。
AGI（Artificial General Intelligence）
通用人工智能。跨领域、跨任务的通用认知能力的人工智能形态。拥有和人类一样通用的认知能力。
有人认为AGI永远不会出现，有人认为会出现。
认为AGI不会出现的原因：
1、物理的边际快达到了。2、用于大模型训练的只是文字，视觉听觉的材料之前没有很好的保存，没法喂给大模型训练。3、AI只是模式匹配，没法真正推理。
主流认为通向AGI的路径主要有：
1.提升基础模型的通用能力。
2.通过Agent设计对模型的能力进行组织和调度，使模型具备目标分解、长期规划、工具使用与环境交互等能力。从而在复杂任务中表现出来更接近通用智能的行为。

提示词工程

略

RAG（Retrieval-Augmented Generation）

检索增强生成
一种结合信息检索（retrieval）与文本生成（generation）的技术，AI应用收到用户请求后，先从外部知识库检索相关资料，并将这些资料与用户请求一并提交给大模型，大模型在此基础上生成更准确、更有依据的回答。

何时需要RAG

当模型缺乏必要的参考信息时，RAG可以用来补充外部知识与上下文。如获取最新信息，或者需要查询公司内部资料等场景。

实现方式

1.在线平台：dify/coze
2.离线客户端：各种笔记软件、 cherry studio、ima
3.借助langchain等框架或纯python代码实现

微调（Fine-tuning）

岗位：大模型的数据开发工程师、数据标注

什么是微调

在已训练好的模型上，按照SFT或RLHF/RLAIF的范式训练模型。通常采用SFT的训练范式。
训练目标：适应特定任务或领域，提升在具体场景下的性能。
数据特点：小规模、高质量、任务相关的标注数据
参数更新：调整部分或全部参数（0.1%-100%）

什么时候需要微调

1 模型能力不足
2 希望固化知识
如果提示词很长，每次调用消耗大量token，长期服务成本昂贵。并且不好维护，甚至可能超出上下文窗口。此时可以通过微调将知识固化在模型权重中。

什么时候可以微调

1 数据充足
微调需要的数据规模通常比提示词示例和RAG知识库更大。
2 硬件资源充足

微调的技术方法

1 全参数微调（Full Fine-tuning）
2 参数高效微调（PEFT Parameter-Efficient Fine-tuning）
LoRA
QLoRA

微调的风险

微调是最贵、最容易踩坑的。
微调不好，容易造成：过拟合（数据少必现）指令偏置（只会照模板说话）幻觉加剧（知识型微调常见）

RAG vs 微调

RAG特别适合融合新知识
微调则能够通过优化模型内部至少、输出格式以及提升复杂指令的执行能力，来增强模型的性能和效率。

续训

Continued Training / Pretrain-like

何时需要续训

如果微调效果不理想，且问题来自模型对领域语言/知识分布的系统性缺失，可以考虑续训。
擅长：
行业知识下沉（金融、法律、医疗、工业）
低资源语言/专业术语补齐
长文本建模能力增强
不擅长：
指令对齐
输出风格控制

何时可以续训

1 数据充足
2 硬件资源充足

工程实践中的常见误区

1 用SFT数据去做续训
2 想靠微调去解决领域知识缺失
3 企业场景盲目续训
多数场景RAG + 微调已足够

微调 vs 续训

微调：让模型按你想要的方式做事
续训：让模型知道他原来不知道的事

维度	微调	续训
训练目标	改“行为方式”	改“知识分布”
是否改基础能力	极少	明显
训练范式	有监督/偏指令	无监督（CLM）
数据形式	指令-回答、对话	大规模原始文本
数据规模	千~万级	十万~百万
是否依赖标签	强依赖	不需要
过拟合风险	高	低
灾难性遗忘	常见	需要控制
训练成本	低~中	高
常用技术	LoRA/QLoRA	全参/大batch

工程上的“组合拳”（真实项目最常见）

通用基座模型
    ↓ 
领域续训（补知识分布）
    ↓ 
指令微调（对齐行为）
    ↓ 
RLHF / RLAIF （优化偏好）

顺序不能乱，先微调后续训，微调成果被冲掉

总结

想让模型更懂这个行业 –> 续训
想让模型更听你指挥 –> 微调
想让模型答的准 –> RAG
想让模型又准又稳 –> 续训 + 微调 + RAG