飞书练习 4–5 · 玩具版
简易关键路径模拟
latency ≈ 关键路径上各指令时延之和。难点是找出关键路径:用几个硬件单元排队,模拟跑一遍。
1. 模型怎么抽象
每个节点 = 某类硬件上的一步(mma 矩阵核,或 vector 访存/逐元)。边 = 依赖。同一单元不能重叠。
rms1 → qkv → rope → score → softmax → av → o_proj
→ residual → rms2 → mlp_up → silu → mlp_down
这是「一层 Decoder 味道」的 DAG,数字是假的,用来看趋势。
2. 怎么跑
python code/05_perf_simulator.py
python code/05_perf_simulator.py --bw 5 --mma 0.5
--bw放大 vector/访存类时延(模拟带宽变差)--mma缩放矩阵核时延(模拟算力变强/变弱)
看打印的 critical path:是一直卡在 mma,还是被 softmax/rms 这类 vector 拉长。
3. 和真编译器的边界
这不是工业 simulator。真调优回 Triton lab(tiling、流水、少 spill)。本玩具只训练「关键路径」语感。