不要批准 AI 模型，批准应用 - Doneyli De Jesus, Langfuse

Highlights

• 受监管行业的金融机构不依赖公开模型基准测试，而是侧重于评估内部具体用例的生产环境表现。

• 某头部银行的投资分析师10-K分析大模型初始测试中事实接地准确度达到97%，但在数学计算和数值处理上频繁出错。

• 大语言模型在引入确定性计算工具后，其数值准确率从60%大幅提升至95%以上。

• 银行和受监管机构不认证单独的模型，而是认证包含系统提示词、模型和工具的整个应用程序。

• 构建自动化测试流程时使用包含150个到1500个测试用例的黄金数据集作为整个评估体系的锚点。

• 多维度评估框架将应用评估耗时从数周甚至数月大幅缩短至几分钟。

Timeline

1. 00:00 - 03:04

   受监管行业的真实需求与基准测试的局限性

   虽然每周都有各种新模型在公开基准测试中领先，但这些公开数据无法有效转化为企业内部的具体用例。银行对自身数据极其敏感，不向公众暴露此类数据，因此真正的核心在于评估构建的应用能否成功部署到生产环境中。例如为投资银行家构建10-K分析师时，单纯总结财报电话会议记录远远不够，必须将银行和公司运营的专业上下文带入模型中。

   • 受监管行业不在乎公开模型的基准测试排名。
   • 金融机构内部数据和业务用例属于高度敏感的商业机密。
   • 投资银行家10-K分析师等复杂任务需要注入大量的专业知识与上下文。
2. 03:04 - 06:01

   金融级AI解决方案的三大要求与应用认证

   随着人工智能发展，银行业重新利用自身的数据中心并搭建GPU基础设施，以确保敏感信息留在本地。他们甚至不希望给人留下模型提供商会在其数据上进行训练的印象，因此部署必须具备气隙隔离特性。组织需要对应用程序的系统提示词、模型或工具等任何更改给予批准或拒绝的盖章，以确保产品满足合规要求并获得用户采用。

   • 金融机构要求AI解决方案保留在本地数据中心。
   • 部署必须是气隙隔离且受控的，不直接连接公共因特网。
   • 监管合规要求促使机构认证应用程序而不是单独的模型。
3. 06:01 - 09:33

   黄金数据集与多维度评估的运行机制

   评估流程的第一步是构建包含输入、预期输出及元数据的黄金数据集作为测试用例。一旦系统运行就会生成追踪记录，作为模型评估的证据并产出多维度的通过与失败结果。在实际测试中，模型从内部来源提取信息的落地准确度达到了97%的及格标准，但由于大语言模型天生不擅长数学计算，导致财务数字或简单数学计算的准确率跌至60%。

   • 黄金数据集充当整个测试体系的锚点。
   • 模型运行会生成用于评估的追踪记录与通过失败分数。
   • 模型在信息提取上表现良好但在数值计算上表现不佳。
4. 09:33 - 14:46

   引入计算工具与多维度质量关卡

   针对模型表现不佳的领域，系统为其提供了一个确定性的Python计算工具，使数值准确率从60%提升到95%以上。评估过程涵盖准确性、监管合规性等多个维度，不能仅靠总分平均值来决定通过。评分标准融合了简单的确定性代码评估、智能体路径评估以及利用大模型作为评委的定性评估，确保所有指标达到阈值后产品才能获得批准进入生产环境。

   • 通过为模型提供确定性计算工具大幅提升了数值准确性。
   • 多维度评估结合了确定性和非确定性评分标准。
   • 监管合规等二元指标未达标会直接阻断产品进入生产环境。
5. 14:46 - 19:12

   人类专家介入与最终落地建议

   当监管合规等二元指标出现失败时，系统会将失效模式放入标注队列，让领域专家审查轨迹并提供反馈以改进智能体。提示词升级会触发门禁清理流程，专家反馈也会转化为黄金数据集的候选对象。整个端到端流程最终将应用程序的风险和合规评估耗时从数周缩短至几分钟，为受监管行业提供了可复制的落地范本。

   • 领域专家通过标注队列对失效模式提供反馈并改进智能体。
   • 多方位评估将合规和风险评估耗时从数周缩短至几分钟。
   • 核心建议为编写自有基准测试、把关应用而非模型以及引入领域专家。