ROI

练习路径与取舍

飞书列了 5 项动手。主线是 Triton + LxCC，这里只求模型侧「知其然」。

#飞书练习本站 / 代码深度
1 Llama2 Decoder + MLA 结构 · Attn · MLA · 01 02 必做
2 TP=2 PP=2 四机 张量并行 · 03 形状 + 可选 2 进程 浅尝，口述通关
3 torch.compile 看 Triton compile / Triton · 04 04b 04c 建议做（连上算子线）
4 简易 simulator 模拟 · 05 选做半天
5 调参看硬件影响 改 05 的 --bw / --mma 选做；真调优回 Triton

通关（录音 3 分钟）

  1. Decoder 带参 matmul 列表 + 主要 shape（含 wq/wk 为何 GQA 更窄）
  2. MLA 相对 MHA/GQA：KV 存什么、为何省 cache
  3. TP 切 m/n/k；Megatron MLP 为何列+行配对
  4. Triton：program_id=tile、mask 挡尾块、融合少一次 HBM；compile：FX → Inductor → Triton

明确不做

← 性能模拟 · 回首页