Graph-Structured Rubrics: Compiling Rubrics into Typed Evaluation Graphs for LLM Judges· 将评分标准编译为类型评估图
Rubric-based evaluators commonly treat rubrics as prompt context or flat criteria: they specify what to judge but leave criterion composition implicit, even when natural-language rules state it. We introduce Graph-Structured Rubrics (GSR), which compiles a rubric into a response-independent typed evaluation graph before observing responses. Criterion nodes elicit judgments; transformation, reduction, and gating operators compose them through named ports; and a task-specific output mapping, termed Readout, converts the unique sink into a score or preference. Compilation rejects malformed or type-incompatible graphs. Pointwise evaluation judges rubric dimensions separately before graph aggregation; pairwise evaluation reuses the graph with one judgment for each candidate under every criterio
评分标准转化为类型评估图，指导 LLM 评分。
- 核心方法
- 提出 Graph-Structured Rubrics (GSR)，将评分标准编译为类型评估图，使用准则节点、转换、减少和门控操作符通过命名端口组合标准，最后通过读出层输出评分或偏好。
- 适合谁读
- 研究者 / 工程师
- 要解决的问题
- 现有的基于评分标准的评估模型通常将评分标准作为提示背景或平坦的标准处理，忽略了标准之间的组合关系。
- 关键实验
- 提供了多个实验来验证 GSR 的有效性和灵活性，包括但不限于模型在不同任务上的评分准确性和一致性。
- 主要贡献
- 1. 提出了一种将评分标准转换为类型评估图的方法；2. 明确了标准之间的组合关系；3. 支持点对点和成对评估。
- 意义与局限
- 本研究为基于 LLM 的评估提供了更结构化和明确的标准组合方法，提升了评分的一致性和准确性，但也可能因图结构复杂性而增加计算成本。