全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

LowRAM:低秩键与摊销值,实现测试时可组合的 KV 缓存压缩

Autoregressive decoding relies on the KV cache, whose memory footprint grows linearly with context length and caps batch size and throughput. Existing post-training methods exploit redundancy across tokens, layers, and feature dimensions, or lower numerical precision. We identify a complementary axis: within each atten

阅读原文 · Teresa Delgado, Hugo Hazard, Martin Benfeghoul, Jun Wang, Zafeirios Fountas

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

这篇论文值得看的地方,在于它抓住了一个常被忽略的压缩维度: 在同一个注意力头里,value 很大程度上可以从对应的 key 预测出来 。 现有的 KV cache 压缩大多围绕 token 冗余、层间冗余、特征维度冗余或数值精度做文章。LowRAM 说这些之外还有一条互补的路:既然 value 和 key 高度相关,那就不必把 value 老老实实全存下来,...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出