Can Language Models Play the Wikipedia Game?· 语言模型能否玩维基百科游戏？
Language models increasingly support or automate information retrieval from document collections too large to index. This task is difficult when it requires specialist linguistic or scientific knowledge. We used the Wikipedia Game to test language models on an analogous information retrieval task. In the game, players must reach a target article using only article links. We compared sentence embedding models and LLMs across five Wikipedia languages and five academic-literature datasets. We construct very large local graphs of Wikipedia pages and of paper citations using OpenAlex and provide code to build and navigate them. This allows the study of language models' navigation capabilities without relying on third-party APIs. We compared the models with human and TF-IDF benchmarks. The Wikip
研究语言模型在维基百科游戏中的信息检索能力。
- 核心方法
- 使用维基百科游戏作为测试框架，构造大规模的本地维基百科页面和论文引用图，比较句子嵌入模型和大语言模型在五种维基百科语言和五个学术文献数据集上的表现。
- 适合谁读
- 研究者、工程师
- 要解决的问题
- 需要测试语言模型在大规模文档集合中进行信息检索，特别是在需要专门语言或科学知识时的能力。
- 关键实验
- 构建了大规模的本地图，比较了句子嵌入模型和大语言模型与人类和TF-IDF基准的表现。
- 主要贡献
- 提供了构建和导航大规模本地图的代码，允许在不依赖第三方API的情况下研究语言模型的导航能力。
- 意义与局限
- 为语言模型的信息检索能力提供了新视角，展示了其在特定任务上的局限性，有助于未来模型的改进。