飞书练习 4–5 · 玩具版

简易关键路径模拟

latency ≈ 关键路径上各指令时延之和。难点是找出关键路径:用几个硬件单元排队,模拟跑一遍。

1. 模型怎么抽象

每个节点 = 某类硬件上的一步(mma 矩阵核,或 vector 访存/逐元)。边 = 依赖。同一单元不能重叠。

rms1 → qkv → rope → score → softmax → av → o_proj
        → residual → rms2 → mlp_up → silu → mlp_down

这是「一层 Decoder 味道」的 DAG,数字是假的,用来看趋势。

2. 怎么跑

python code/05_perf_simulator.py
python code/05_perf_simulator.py --bw 5 --mma 0.5

看打印的 critical path:是一直卡在 mma,还是被 softmax/rms 这类 vector 拉长。

3. 和真编译器的边界

这不是工业 simulator。真调优回 Triton lab(tiling、流水、少 spill)。本玩具只训练「关键路径」语感。

← torch.compile · 练习路径 →