Andrej Karpathy《Deep Dive into LLMs like ChatGPT》学习笔记

📅 2026年9月27日

⏱️ 阅读约 74 分钟

#笔记

📑 文章导航

0. 整体框架：LLM 是怎么从“互联网文本预测器”变成 Assistant 的？2.1 Context 和 Context Length 4.1 课堂补充：Embedding Table 9.1 课堂补充：Cross Entropy 12.1 视频中的实际训练示例数学代码围棋注意 Verifiable RL RLHF SFT RL Context vs Parameters Parameters vs Activations Training vs Inference Base Model vs Assistant SFT vs RL Verifier vs Reward Model