Personal lab notes
边注
边端部署 + 类脑 SNN 的五卡图谱,以及 Karpathy / Attention / Triton 精讲。手机随时打开背。
每天先打开(记忆)
五卡 · 知识图谱
①瓶颈②图③算子④边⑤结案;挂 bid / hybrid / LxCC;手机录音背。
2026 学习总路线
对外叙事、L0–L3、双轨时间、抗替代五块、每周闭环。
compile / Triton
口卡③铺砖主入口;04b/04c 手写 tile。
统一章节
CUDA→Triton→编译器 Ch00–Ch08 归纳主路径。
Triton 精读
B 站合集 / Lecture 14·29 / 侧翼——可观看资料的上站精读。
类 CUDA · 类 Triton
高端芯片论证:两层生态、算子/众核编译/框架、补课清单。
阅读顺序(结构课)
GPT 零基础图解
人话 + 大图。看不懂 Token/Decoder/(B,T,C) 从这里开始。
GPT 结构精讲
整模型地图、Decoder 内部、训练 vs 推理、wq/wk 对照代码。
Attention 精讲
因果 mask、多头 / GQA、KV Cache、wq/wk/wv/wo。
MLA 精讲
相对 MHA/GQA 少存什么;对照
02_mla_attention.py。
张量并行与 AllReduce
切 m/n/k、Megatron 列+行、集合通信。ICML22 压缩。
torch.compile 与 Triton
手写 tile(04b/04c)+ Inductor 观察(04)。主线入口。
Triton 精读导览
合集 / L14 / Internals / 侧翼图文;媒体留本地 gpu_triton。
性能模拟
关键路径玩具;--bw / --mma 看瓶颈转移。
练习路径与取舍
飞书 5 项哪些必做、哪些浅尝。
发布与变现
挂站、公众号;广告预期说清楚。
线上地址
本地怎么看
cd 动手练习_模型与并行入门/site
python3 -m http.server 8765
# 浏览器打开 http://127.0.0.1:8765/
也可直接双击 index.html(部分浏览器对本地字体/路径更挑,推荐上面的方式)。
和 Markdown 笔记的关系
网页是「带图精读版」;notes/ 里的 md 仍可在编辑器里检索。两边内容同源,改站优先。