TRANSFORMERS_CODE_VIEW

围绕 HuggingFace Transformers 的源码阅读仓库，当前以 Qwen3 为主线整理 CausalLM 模型的构建、推理与训练代码。

目录

文章	说明	状态
Qwen3 代码阅读: Module Construction	从 config、注册表到完整模型对象的构建流程	🚧 TODO
Qwen3 代码阅读: Attention 机制	MHA/GQA、RoPE、QK Norm 与 FlashAttention/SDPA	🚧 TODO
Qwen3 代码阅读: KV Cache	自回归生成中的缓存结构、更新策略与推理路径	🚧 TODO
Qwen3 代码阅读: Fine Tune and Loss	CausalLM Loss 计算与 LoRA/QLoRA 微调接入	🚧 TODO

仓库结构

blog/
├── module-construction/   # draft: 模型构建流程
├── attention-mechanisms/  # draft: 注意力实现与后端切换
├── kv-cache/              # draft: KV Cache 推理逻辑
└── finetune-and-loss/     # draft: Loss 计算与微调训练

当前整理范围

• 入口层：AutoConfig、AutoModelForCausalLM、具体 Qwen3 模型类
• 模块层：Embedding、DecoderLayer、Attention、MLP、RMSNorm
• 推理层：KV Cache 更新、位置编码、后端分发
• 训练层：forward、标签对齐、Loss 计算、LoRA/QLoRA

说明

• 当前系列整体仍处于重构阶段，所有文章暂时统一保留为 draft: true
• 目标是把“概念说明 + 关键代码路径 + 文件定位”整理成一套可连续阅读的笔记