Attention
Paying attention to papers, one at a time.
這裡是我的論文閱讀筆記。每篇論文一頁:問題是什麼、核心方法、我自己推導和驗算過的例子,還有可以延伸的研究方向。目前的重點是 ML Systems,從 LLM 推論開始。
論文
-
FlashAttention 可閱讀
結果完全精確,只改計算順序:用分塊加 online softmax,讓 N×N 的中間矩陣不寫回 HBM。
-
KV Cache 整理中
Prefill 和 decode,以及為什麼每生成一個 token 都要讀完整份快取。
-
Continuum 整理中
Agent 等工具回來的那幾秒,KV cache 該留在 GPU 上多久?用 TTL 和程式層級排程回答。