全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

AutoCompress:硬件引导的自动化模型压缩

LLM pruning must preserve quality while meeting hardware- and workload-specific constraints on latency, throughput, and memory. Existing pruning workflows often target parameter counts, requiring practitioners to manually select model sizes that meet latency, throughput, and GPU memory limits. However, parameter count

阅读原文 · Sheldon Liang, Ali Taghibakhshi, Saurav Muralidharan, Sharath Turuvekere Sreenivas, Ashwath Aithal, Pavlo Molchanov, Nima Tajbakhsh

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

这篇论文解决的是模型压缩里一个很实际的错位:大家按参数量选模型,硬件却按延迟、吞吐和显存给答案。 参数量砍到一半,延迟可能没降多少,也可能直接崩掉。因为真实性能取决于架构、负载、硬件和推理引擎的组合。AutoCompress 想做的事,是把这个组合直接塞进压缩搜索过程里。 如果做端侧部署、长上下文推理或推理服务成本优化,这篇值得看一眼。 这篇论文想解决什么...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出