EnterpriseVal: Quantifying the Efficacy, Reliability and Value of Generative AI in the Enterprise· 企业级生成式 AI 评估
Frontier language models now produce professional deliverables that expert graders judge to match human work on a substantial share of economically valuable tasks, yet most enterprise GenAI initiatives fail to show a measurable business effect and a large fraction of agentic projects are expected to be cancelled. We argue that this is substantially a measurement problem: public benchmarks answer "what can the model do?", whereas a deployment decision requires "is this workflow fit, reliable, safe and worth scaling - here, on our data, under our controls?". We present EnterpriseVal, a use-case-level evaluation system that closes this gap. It comprises (i) a formal specification of the use case and of the frozen socio-technical configuration under test, model, prompts, retrieval, tools, guar
提出 EnterpriseVal 评估系统，量化企业生成式 AI 的有效性、可靠性和商业价值。
- 核心方法
- EnterpriseVal 系统包括（i）使用案例的正式描述和（ii）测试的固定的社技术配置（模型、提示、检索、工具、保证措施等）的具体信息，以企业实际数据和控制下评估生成式 AI 的性能。
- 适合谁读
- 适合企业 AI 项目负责人、研究者和工程师阅读
- 要解决的问题
- 目前大多数企业级生成式 AI 项目未能展示出可量化的商业效果，导致很多项目被取消，主要原因是测量问题。
- 关键实验
- 未提供
- 主要贡献
- 为解决企业生成式 AI 项目中常见的测量难题提供了具体方法，通过更贴合实际业务需求的评估体系帮助企业做出更明智的部署决策。
- 意义与局限
- 意义在于填补了公共基准测试与企业实际应用之间的空白，但可能会受到企业具体业务场景复杂性的影响，具有一定的局限性。