全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

在哪里连接?通过跨所有 ViT 与 LLM 层的动态门控通路提升 MLLM

A central yet under-explored question in Multimodal Large Language Models (MLLMs) is where to connect---how visual information from a hierarchical vision encoder should be wired into the layer-wise semantics of a large language model. Mainstream MLLMs inject a fixed single-layer visual representation into the LLM and t

阅读原文 · Yingying Yan, Jiaqi Tang, Wei Wei, Qianzhou Wang, Lei Zhang, Jianmin Chen, Yuyang Xia, Botong Geng, Jinjian Wu, Qifeng Chen

乔木风格重写

向阳乔木 · opencode-go/deepseek-v4.1-flash

多模态大模型里有个被忽略的问题:视觉特征到底该接到 LLM 的哪一层? 主流做法是把 ViT 最后一层的输出压成一个视觉 token 序列,塞进 LLM 的输入端就完事。这套做法默认所有 LLM 层需要同样的视觉粒度。可 LLM 的浅层在管词法和局部对齐,深层在做语义推理,它们要的视觉信息本来就不同。 这篇论文的出发点是: 连接位置本身是个可学习的变量 。...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出