MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents· MNIST-PRO：AI代理的部分可观测世界
AI agents in partially observable environments need to coordinate active sensing with working memory to maintain an evolving perceptual state. However, existing benchmarks struggle to isolate this perceptual-state construction and interpretation capability because they introduce physical and control complexities. We address this with MNIST-PRO, a benchmark that isolates agentic perception by converting MNIST digit recognition into a sequential, glimpse-based search task with lookback constraints. We evaluate ten multimodal models across four memory representations, including raw visual history, textual states, structured metric grid maps, and a consolidated visual canvas. While models excel under full observability, partial observability exposes a clear performance gap. We identify three d
MNIST-PRO将经典的MNIST数据集转化为部分可观测的环境，以评估AI代理的感知与记忆能力。
- 核心方法
- 将MNIST数字识别任务转换为基于序列和部分视野的搜索任务，加入回顾限制，以此来模拟部分可观测环境；评估不同记忆表示的多模态模型在该环境中的表现。
- 适合谁读
- 研究者
- 要解决的问题
- 现有基准测试无法有效地隔离和评估AI代理在部分可观测环境中通过主动感知与工作记忆协调来构建和解释感知状态的能力。
- 关键实验
- 评估了十种多模态模型，这些模型采用了四种不同的记忆表示方式（原始视觉历史、文本状态、结构化度量网格图和综合视觉画布），并分析了它们在完全可观测和部分可观测条件下的性能差异。
- 主要贡献
- 提出MNIST-PRO基准，专门用于评估AI代理在部分可观测环境中的感知状态构建与解释能力；揭示了部分可观测性对模型性能的影响。
- 意义与局限
- 意义在于提供了一个简单却有效的评估工具，有助于研究者专注于感知与记忆能力而不受其他复杂因素的干扰。局限性在于MNIST-PRO环境相对较简单，可能无法完全反映真实世界的情境。