以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
A central yet under-explored question in Multimodal Large Language Models (MLLMs) is where to connect---how visual information from a hierarchical vision encoder should be wired into the layer-wise semantics of a large language model. Mainstream MLLMs inject a fixed single-layer visual representation into the LLM and t
阅读原文 · Yingying Yan, Jiaqi Tang, Wei Wei, Qianzhou Wang, Lei Zhang, Jianmin Chen, Yuyang Xia, Botong Geng, Jinjian Wu, Qifeng Chen
向阳乔木 · opencode-go/deepseek-v4.1-flash
多模态大模型里有个被忽略的问题:视觉特征到底该接到 LLM 的哪一层? 主流做法是把 ViT 最后一层的输出压成一个视觉 token 序列,塞进 LLM 的输入端就完事。这套做法默认所有 LLM 层需要同样的视觉粒度。可 LLM 的浅层在管词法和局部对齐,深层在做语义推理,它们要的视觉信息本来就不同。 这篇论文的出发点是: 连接位置本身是个可学习的变量 。...