Beyond the Readout: A Latent Numerical Frame Shared Across Modality and Operation· 超越读出：跨模态和操作的潜在数值框架
When a multimodal model computes 17+35 from text or 91-39 from a rendered image, it produces the same answer, 52. Does it use one internal concept of number for both, or separate machinery for each path? Similarity metrics such as RSA or CKA cannot settle this question. They give the same score to identical and to rotated directions, and two representations can look alike only because both prepare the same output digits. We therefore use causal interventions. For four conditions (text or image, addition or subtraction), we learn a small subspace of Gemma4-12B-it's residual stream in which swapping coordinates swaps the model's answer. The subspaces answer three questions. First, do the conditions write numbers along the same directions? They do not. Reusing a subspace from text in an image
研究揭示多模态模型中数值概念的内部一致性。
- 核心方法
- 通过因果干预方法，在Gemma4-12B的残差流中学习一个小子空间，通过交换坐标来交换模型答案，以验证内部数值表示的一致性。
- 适合谁读
- 研究者
- 要解决的问题
- 探究多模态模型是否在处理不同模态（文本和图像）的数值操作时使用相同内部数值框架。
- 关键实验
- 实验包括四种子条件（文本/图像，加法/减法），通过因果干预验证模型内部数值表示的一致性。
- 主要贡献
- 提出了一种新的方法来验证多模态模型内部数值表示的一致性，发现不同模态的数值操作并不共享相同的数值框架。
- 意义与局限
- 该研究有助于理解多模态模型如何处理数值信息，为模型的内部机制提供了新的见解，但局限于特定模型和任务。