🤖 大语言模型实战
从 Transformer 架构到应用开发,系统掌握大语言模型的原理与工程实践。 涵盖模型训练、微调、提示工程、RAG、Agent 等核心技术。
已完成 5/10 篇 (50%)
📖 系列文章目录
-
01自注意力机制、多头注意力、位置编码、Encoder-Decoder架构,完整PyTorch实现。
-
02从 BERT、GPT 到 LLaMA、ChatGPT,梳理预训练模型的发展脉络与关键技术突破。
-
03预训练、监督微调(SFT)、人类反馈强化学习(RLHF)等训练流程的原理与实践。
-
04深入剖析LoRA、Prefix Tuning、Adapter等PEFT方法原理与实现,完整代码实战与性能对比。
-
05系统性Prompt设计方法论,包含Few-shot、CoT、ToT、Self-Consistency等高级技巧与实战案例。
-
06完整RAG系统构建指南:向量检索、Rerank重排序、混合检索、HyDE技术与性能优化实战。
-
07构建具有工具调用、规划与记忆能力的智能 Agent,实现复杂任务自动化。
-
08CLIP对比学习、BLIP生成式模型、GPT-4V视觉Token化、完整实现代码。
-
09量化、剪枝、KV-Cache、Flash Attention 等推理加速技术,vLLM、TensorRT-LLM 部署实战。
-
10模型安全风险评估、对抗攻击防御、价值对齐技术,构建可信赖的 LLM 应用。
🛠️ 推荐开发框架
Hugging Face
Transformers、PEFT、Accelerate
LangChain
LLM 应用开发框架
LlamaIndex
数据连接与索引
vLLM
高性能推理引擎