大语言模型实战

从基础到应用的LLM开发指南

🤖 大语言模型实战

从 Transformer 架构到应用开发,系统掌握大语言模型的原理与工程实践。 涵盖模型训练、微调、提示工程、RAG、Agent 等核心技术。

已完成 5/10 篇 (50%)

📖 系列文章目录

  • 01
    📅 2024-09-01 ⏱️ 30 分钟 ✅ 已完成
    自注意力机制、多头注意力、位置编码、Encoder-Decoder架构,完整PyTorch实现。
    Transformer 注意力机制 PyTorch
  • 02
    📅 2024-09-08 ⏱️ 预计 25 分钟 📝 占位
    从 BERT、GPT 到 LLaMA、ChatGPT,梳理预训练模型的发展脉络与关键技术突破。
    BERT GPT 模型演进
  • 03
    📅 2024-09-15 ⏱️ 预计 35 分钟 📝 占位
    预训练、监督微调(SFT)、人类反馈强化学习(RLHF)等训练流程的原理与实践。
    预训练 RLHF 训练流程
  • 04
    📅 2024-12-10 ⏱️ 40 分钟 ✅ 已完成
    深入剖析LoRA、Prefix Tuning、Adapter等PEFT方法原理与实现,完整代码实战与性能对比。
    LoRA PEFT 微调 QLoRA
  • 05
    📅 2024-12-12 ⏱️ 35 分钟 ✅ 已完成
    系统性Prompt设计方法论,包含Few-shot、CoT、ToT、Self-Consistency等高级技巧与实战案例。
    Prompt CoT ReAct ToT
  • 06
    📅 2024-12-15 ⏱️ 45 分钟 ✅ 已完成
    完整RAG系统构建指南:向量检索、Rerank重排序、混合检索、HyDE技术与性能优化实战。
    RAG 向量检索 Rerank 混合检索
  • 07
    📅 2024-10-13 ⏱️ 预计 30 分钟 📝 占位
    构建具有工具调用、规划与记忆能力的智能 Agent,实现复杂任务自动化。
    Agent 工具调用 任务规划
  • 08
    📅 2024-10-20 ⏱️ 25 分钟 ✅ 已完成
    CLIP对比学习、BLIP生成式模型、GPT-4V视觉Token化、完整实现代码。
    CLIP BLIP GPT-4V
  • 09
    📅 2024-10-27 ⏱️ 预计 30 分钟 📝 占位
    量化、剪枝、KV-Cache、Flash Attention 等推理加速技术,vLLM、TensorRT-LLM 部署实战。
    推理优化 量化 部署
  • 10
    📅 2024-11-03 ⏱️ 预计 25 分钟 📝 占位
    模型安全风险评估、对抗攻击防御、价值对齐技术,构建可信赖的 LLM 应用。
    安全 对齐 可信AI

🛠️ 推荐开发框架

Hugging Face

Transformers、PEFT、Accelerate

LangChain

LLM 应用开发框架

LlamaIndex

数据连接与索引

vLLM

高性能推理引擎

💬 互动与反馈

如果您在学习过程中有任何疑问或建议,欢迎在文章下方留言交流!
您的反馈将帮助我不断完善这个系列。