岗位：大模型应用工程师、智能体开发、agent开发
大模型工程的5种方式：提示词工程、RAG、微调、续训、智能体开发。

AIGC（Artificial Intelligence Generated Content）
人工智能生成内容
以大模型预训练模型为核心，通过学习海量数据中的统计规律和语义结构，在人类输入提示或条件约束后，自动生成文本、图像、音频、视频、代码等多模态内容的技术与应用体系。
AGI（Artificial General Intelligence）
通用人工智能。跨领域、跨任务的通用认知能力的人工智能形态。拥有和人类一样通用的认知能力。
有人认为AGI永远不会出现，有人认为会出现。
认为AGI不会出现的原因：
1、物理的边际快达到了。2、用于大模型训练的只是文字，视觉听觉的材料之前没有很好的保存，没法喂给大模型训练。3、AI只是模式匹配，没法真正推理。
主流认为通向AGI的路径主要有：
1.提升基础模型的通用能力。
2.通过Agent设计对模型的能力进行组织和调度，使模型具备目标分解、长期规划、工具使用与环境交互等能力。从而在复杂任务中表现出来更接近通用智能的行为。

提示词工程

略

RAG（Retrieval-Augmented Generation）

检索增强生成
一种结合信息检索（retrieval）与文本生成（generation）的技术，AI应用收到用户请求后，先从外部知识库检索相关资料，并将这些资料与用户请求一并提交给大模型，大模型在此基础上生成更准确、更有依据的回答。

何时需要RAG

当模型缺乏必要的参考信息时，RAG可以用来补充外部知识与上下文。如获取最新信息，或者需要查询公司内部资料等场景。

实现方式

1.在线平台：dify/coze
2.离线客户端：各种笔记软件、 cherry studio、ima
3.借助langchain等框架或纯python代码实现

微调（Fine-tuning）

岗位：大模型的数据开发工程师、数据标注

什么是微调

在已训练好的模型上，按照SFT或RLHF/RLAIF的范式训练模型。通常采用SFT的训练范式。
训练目标：适应特定任务或领域，提升在具体场景下的性能。
数据特点：小规模、高质量、任务相关的标注数据
参数更新：调整部分或全部参数（0.1%-100%）

什么时候需要微调

1 模型能力不足
2 希望固化知识
如果提示词很长，每次调用消耗大量token，长期服务成本昂贵。并且不好维护，甚至可能超出上下文窗口。此时可以通过微调将知识固化在模型权重中。

什么时候可以微调

1 数据充足
微调需要的数据规模通常比提示词示例和RAG知识库更大。
2 硬件资源充足

微调的技术方法

1 全参数微调（Full Fine-tuning）
2 参数高效微调（PEFT Parameter-Efficient Fine-tuning）
LoRA
QLoRA

微调的风险

微调是最贵、最容易踩坑的。
微调不好，容易造成：过拟合（数据少必现）指令偏置（只会照模板说话）幻觉加剧（知识型微调常见）

RAG vs 微调

RAG特别适合融合新知识
微调则能够通过优化模型内部至少、输出格式以及提升复杂指令的执行能力，来增强模型的性能和效率。

续训

Continued Training / Pretrain-like

何时需要续训

如果微调效果不理想，且问题来自模型对领域语言/知识分布的系统性缺失，可以考虑续训。
擅长：
行业知识下沉（金融、法律、医疗、工业）
低资源语言/专业术语补齐
长文本建模能力增强
不擅长：
指令对齐
输出风格控制

何时可以续训

1 数据充足
2 硬件资源充足

工程实践中的常见误区

1 用SFT数据去做续训
2 想靠微调去解决领域知识缺失
3 企业场景盲目续训
多数场景RAG + 微调已足够

微调 vs 续训

微调：让模型按你想要的方式做事
续训：让模型知道他原来不知道的事

维度	微调	续训
训练目标	改“行为方式”	改“知识分布”
是否改基础能力	极少	明显
训练范式	有监督/偏指令	无监督（CLM）
数据形式	指令-回答、对话	大规模原始文本
数据规模	千~万级	十万~百万
是否依赖标签	强依赖	不需要
过拟合风险	高	低
灾难性遗忘	常见	需要控制
训练成本	低~中	高
常用技术	LoRA/QLoRA	全参/大batch

工程上的“组合拳”（真实项目最常见）

通用基座模型
    ↓ 
领域续训（补知识分布）
    ↓ 
指令微调（对齐行为）
    ↓ 
RLHF / RLAIF （优化偏好）

顺序不能乱，先微调后续训，微调成果被冲掉

总结

想让模型更懂这个行业 –> 续训
想让模型更听你指挥 –> 微调
想让模型答的准 –> RAG
想让模型又准又稳 –> 续训 + 微调 + RAG

智能体开发

工具调用的实现方式

function call（已废弃）

mcp

智能体开发方式

1在线平台开发智能体：Dify Coze
2基于LangChain/LangGraph等框架开发智能体

工作流workflow

可以看做是一种智能体的设计模式，用于将复杂任务拆解为一系列可控、有序的步骤，并按照预先定义的流程逐步执行。

LangChain

lang就是大语言模型chain是链条。LangChain就是连接程序与大模型的桥梁。
LangChain 是一个用于构建大语言模型（LLM）应用的开源编排框架。是一个开发工具包，旨在简化将 LLM 与外部数据源、工具和复杂工作流集成的过程，让开发者能更高效地创建基于 LLM 的应用程序。
LangChain 是目前快速构建 LLM 应用的重要工具，尤其适合需要快速原型验证和集成多种外部能力的场景。

LangChain相当于Java开发中的spring

LangChain有哪些组成（ 6 大金刚）

Model
Memory
Retrieval（检索）
Chains
Agent
Callback

三步完成第一个智能体封装

模型提示词工具

定义工具
构建prompt
调用create_agent

LangGraph

基于LangChain构建的、面向智能体多轮交互/状态持久化/分支并行执行的图结构工作流框架
LangGraph = LangChain + 图编排 + 状态机
LangGraph相当于Java开发中的springBoot

LangGraph4件套

state(状态) Node(节点) edges(边) graph(图)