本仓库用于整理 Stanford CS336: Language Modeling from Scratch(Spring 2026) 的课程课件、可执行讲义、MinerU Markdown 与中文复习笔记。
- 课程原始网站:https://cs336.stanford.edu/
- 课程官方 GitHub 仓库:stanford-cs336/lectures
课程内容、时间安排和作业要求以 Stanford 官方网站与官方仓库为准。本仓库中的 Markdown 转换稿和中文笔记属于个人学习整理。
统一归档目录为 course_notes/。每一讲使用 course_notes/lecture_XX/,课程源文件与已完成的 HTML/PDF 笔记放在同一目录中。
| 讲次 | 官方主题 | 课程源文件 | MinerU Markdown | 中文复习笔记 |
|---|---|---|---|---|
| 01 | Overview, tokenization | Python | — | — |
| 02 | PyTorch、resource accounting | Python | — | — |
| 03 | Architectures, hyperparameters | Markdown | HTML · PDF | |
| 04 | Attention alternatives、Mixture of Experts | Markdown | — | |
| 05 | GPUs, TPUs | Markdown | HTML · PDF | |
| 06 | Kernels, Triton | Python | — | HTML · PDF |
| 07 | Parallelism | Python | — | HTML · PDF |
| 08 | Parallelism Basics | Markdown | Markdown · HTML · PDF | |
| 09 | Scaling laws | Markdown | Markdown · HTML · PDF | |
| 10 | Inference | Python | — | — |
| 11 | Scaling laws | Markdown | — | |
| 12 | Evaluation | Python | — | — |
| 13 | Data:sources, datasets | Python | — | — |
| 14 | Data:filtering, deduplication, mixing, synthetic data | Python | — | — |
| 15 | Mid/post-training:SFT, RLHF | Markdown | — | |
| 16 | Post-training:RLVR | Markdown | — | |
| 17 | Alignment、multimodality | Python | — | — |
Lecture 18 和 Lecture 19 是课程表中的 guest lectures;当前官方 lectures 仓库中没有对应的核心课件文件,因此暂不建立空导航项。
每讲目录按实际可用资料保存以下文件:
lecture_XX.py:Stanford 可执行课程讲义;lecture_XX.pdf:Stanford PDF 课件;lecture_XX.md:由 PDF 提取并规范命名的 MinerU Markdown;lecture_XX_notes.md:完整中文笔记源稿;lecture_XX_notes.html:可在浏览器中阅读的 Kami 风格笔记;lecture_XX_notes.pdf:使用 WeasyPrint 69.0 导出的 A4 复习版;assets/、content.json与构建脚本:笔记所需的图片、公式、字体和可复现构建材料。
并非每讲同时存在 PDF、Markdown 和 Python。官方课程采用两种形式:可执行课程以 .py 为权威源,非可执行课程以 .pdf 为权威源;Markdown 是本地 PDF 提取版本。
新增 Lecture 笔记时,直接写入 course_notes/lecture_XX/:
- 先复制或同步该讲官方
.py/.pdf,存在 MinerU 转换稿时规范命名为lecture_XX.md; - 将中文笔记的 Markdown、HTML、PDF、公式和图片资源放在同一目录;
- 检查 HTML 本地资源、公式、图片边框、A4 分页和 PDF 字体;
- 在本 README 的对应行补充 HTML/PDF 导航链接。
根目录仍保留 Stanford 官方仓库结构,避免破坏可执行讲义和课程网站构建。官方源文件仍可按原方式运行:
uv sync
git clone https://github.com/percyliang/edtrace
python execute.py -m lecture_01执行后会生成 var/traces/lecture_01.json。本地课程页面可通过官方 README 所述的 edtrace frontend 查看。