Commit or Abstain? System One Decision Models, LLMs, and Missing Legal Authority· 法律AI决策模型研究
Given the enormous number of claims to be checked, verifiable legal AI requires scalable, cost-effective models that answer the practical needs of law. System One decision models are built on large language models but, instead of generating text, return a calibrated probability for each option. This suits the verification of legal authority, where the question is closed: a given holding, or none of them. We test whether such models abstain when the correct authority is missing. We extend CaseHOLD with an abstention condition in which the correct holding is replaced in 1,670 of 5,314 items, and compare four decision models with six generative LLMs. When no option is correct, generative LLMs still pick one in 38-86% of items; the most cautious decision model does so in 30%. On standard CaseH
探讨法律AI决策模型在缺失正确法律依据时的表现。
- 核心方法
- 构建了一种基于大型语言模型的System One决策模型，该模型返回每个选项的校准概率，而不生成文本。通过扩展CaseHOLD数据集，引入了30%的样本缺失正确法律依据的情景，测试模型是否会在缺失正确依据时选择不作答。
- 适合谁读
- 法律AI研究者 / 工程师 / 法律从业人员
- 要解决的问题
- 现有法律AI模型在面对庞大数量的法律索赔时，如何有效地识别和验证正确的法律条文，特别是当正确的法律依据缺失时。
- 关键实验
- 扩展CaseHOLD数据集，包含5,314个样本，其中1,670个样本的正确法律依据被替换。比较了四种决策模型和六种生成式大型语言模型的性能。
- 主要贡献
- 提出了一种新的评估法律AI模型的方法，特别是在正确法律依据缺失的情况下的表现，有助于提高法律AI系统的可靠性和实用性。
- 意义与局限
- 该研究为法律AI模型的可靠性和适用性提供了新的见解，有助于改进模型设计。然而，研究仅在一个特定数据集上进行，其结果的普遍性有待进一步验证。