From Parameters to Answers: How LLMs Retrieve and Use Their Internal Knowledge· 从参数到答案:大模型如何检索和使用内部知识
How does a language model's dependence on query-routing information and target knowledge change as it answers a question? We study this question through layerwise interventions on the hidden state at the end of the question. Across Qwen, Llama, and Gemma, we compare country-continent questions with noun, adjective, and code answers while keeping several fitted measurements distinct. A pair-conditioned request direction describes which country is queried in natural single-country questions; a global request direction describes first- versus second-country requests in paired questions; separate selection candidates test control among contents already available in the hidden state. A diagnostic reanalysis of frozen Qwen natural-question states shows that the pair-conditioned direction grows s
研究大模型在回答问题时如何依赖和使用内部知识。
- 核心方法
- 通过对Qwen、Llama和Gemma等模型的隐藏状态进行逐层干预,分析不同问题类型(如国家-大陆、名词、形容词和代码)下的模型依赖和知识检索机制。
- 适合谁读
- 研究者
- 要解决的问题
- 探讨大模型在不同类型的问答任务中如何检索和利用其内部存储的知识。
- 关键实验
- 关键实验包括对不同模型的隐藏状态进行逐层干预、条件请求方向的分析、全局请求方向的比较以及已存在于隐藏状态中的内容的选择测试。
- 主要贡献
- 揭示了模型在回答问题时对特定信息的依赖程度及其变化规律,为理解模型内部机制提供了新视角。
- 意义与局限
- 该研究有助于深入理解大模型的知识存储和检索机制,对模型优化和应用具有重要指导意义。局限性在于实验主要集中在特定类型的问题上,未能全面覆盖所有应用场景。