NeuronEye: Query-Guided Visual Concept Activation for Vision-Language Reasoning· NeuronEye: VLM中视觉概念激活
Current vision-language models (VLMs) encode visual information in dense hidden states where object identity, spatial layout, and local attributes are implicitly entangled rather than explicitly disentangled, limiting their ability to isolate and modulate the specific visual evidence required by a given language query. Inspired by sparse population coding and top-down modulation in biological vision, we introduce NeuronEye, a plug-in framework that constructs a sparse, concept-level neuron vocabulary from intermediate VLM representations and selectively activates query-relevant visual concepts during inference. NeuronEye decomposes vision-token states into an overcomplete sparse basis organized by concept-level clusters, uses the language query to activate relevant clusters and localize th
提出NeuronEye框架，通过概念级神经元词汇实现视觉-语言推理中的查询引导视觉概念激活。
- 核心方法
- NeuronEye框架从VLM的中间层表示中构建了一个由概念级聚类组织的超完备稀疏基，利用自然语言查询激活相关聚类并定位相关信息，从而实现视觉概念的稀疏、选择性激活。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 现有的视觉-语言模型（VLMs）在密集的隐状态中隐式地纠缠了对象身份、空间布局和局部属性，限制了它们根据给定的自然语言查询隔离和调节特定视觉证据的能力。
- 关键实验
- 论文展示了NeuronEye在多个视觉-语言任务上的性能提升，包括图像描述、视觉问答等，但具体实验数据未完全给出。
- 主要贡献
- 1. 提出了一种新的插件框架NeuronEye，改进了VLMs对视觉概念的处理；2. 通过稀疏表示和概念聚类提高了模型的查询相关性和解释性。
- 意义与局限
- NeuronEye增强了VLMs对特定视觉概念的激活能力，提高了模型的推理准确性和可解释性，但可能需要更多的计算资源。