零容错金融监管：Harness赋能AI Agent照章办事
在金融监管报送这类对数据准确性要求近乎苛刻的垂直领域，通用大模型的自由发散特性往往成为合规落地的最大阻碍。如何将原本灵活的AI Agent改造为“宁可不答、不能答错”的严格受控系统，成为不少金融科技团队的核心攻关方向。
金融监管报送是所有持牌金融机构必须完成的合规工作，机构需要将日常经营的关键数据报送给监管部门进行审查。这项工作在小型金融机构中约占三成工作量，大型机构也会占用五分之一左右的人力成本，且一旦出现数据错误，轻则面临数百万乃至数亿元的罚款，直接影响机构的经营效益。
这类数据处理场景有四个鲜明的核心特征：首先是口径复杂，同一贷款数据在信贷、财务、统计等不同部门的定义可能存在差异，且内部理解存在潜移默化的偏差；其次是频度高，数据处理覆盖按月、按旬、按周等多种节奏，流程繁复；第三是零容错，数据准确率必须达到百分之百，任何错误都可能引发监管风险，我们的原则是宁可不报，也不能报错；第四是强追溯，一旦发现业务问题，数据链路必须能够完整回溯到源头，定位问题环节。
在落地金融监管相关的AI Agent过程中，我们遇到了三个最棘手的共性问题：一是口径漂移，监管和业务口径的解释往往缺乏统一标准，微小的口径调整就会导致数据结果出现巨大差异，比如统计支持“五篇大文章”的小微企业时，不同口径会让数据出现显著偏差；二是大模型幻觉，直接使用监管发文让大模型处理时，模型常会自行推理生成不存在的规则，违背监管的明确要求；三是不可解释性，AI输出的结果无法追溯计算链路，无法满足监管对数据归因的要求。这些问题的根源，在于通用AI Agent的自由发散特性，而在监管场景中，我们需要的是“照章办事”而非过度发挥的系统。
AI Agent在这个场景中主要介入四个核心环节：第一是需求侧，结合监管要求和机构内部指标体系，自动化生成数据处理流程；第二是报送审核与复核，实时检查数据加工、指标计算的质量，对异常数据进行预警，相比传统规则模型，我们的方案可以针对每一期数据实时生成适配的校验规则，覆盖更多边界场景；第三是问题处置，定位并修复数据错误，完成根因分析和链路追溯，金融机构的数据处理链路往往超过十五层，从原业务系统到中间数据中台，再到各级集市和业务应用，理清血缘关系本身就是极大的挑战，我们通过Agent实现了高效的链路追溯；第四是报送前复核，通过多维度数据交叉验证生成复核报告，辅助业务人员确认报送可行性。这些应用场景对AI Agent提出了四个强制要求：必须实现口径受控，不允许自行发散理解；必须支持强追溯，取数和处理链路全程可查；必须保证逻辑可追溯，每一步操作都有明确依据；必须保证能力可复用，确保同一指标的计算结果保持一致。
为了实现百分之百准确的目标，我们搭建了自研的Harness架构，这套架构以知识底座和数据底座为核心支撑。
知识底座的来源包括监管机构发布的正式发文、制度规范，以及机构内部的业务知识和流程。我们没有单纯依赖向量检索，而是将向量、精确数据处理和图库结合使用，同时针对特定任务对知识进行切片，避免大模型因接触过多冗余知识而产生幻觉。如果直接将超大知识库交给Agent使用，很容易引发幻觉问题，因此精准的知识切片是提升效果的关键。
数据底座则涵盖明细数据、指标数据、报表数据以及非结构化和半结构化数据，元数据、数据标准和安全分级分类构成了底座的支撑层。我们会根据权限范围限制Agent的数据访问权限，确保不会越权访问敏感数据，同时将数据质量治理和责任归属作为底座的重要组成部分，确保数据使用的合规性。
在双底座之上是执行层，包括Agent的任务编排与判断、Skill能力固化、受控连接以及全过程可追溯机制，最上层对应前文提到的四大应用场景，侧面则配套了治理和工具保障体系。
监管口径和机构分析逻辑每年都会有大约三成的变动，因此我们需要对知识版本和数据版本进行清晰管理。同时我们建立了测评和编排机制，让Agent每月运行后都能回归基线，在测试、准生产和生产环境之间完成迭代。在权限与审计层面，我们基于数据分级分类和报表指标权限划分，限制Agent的访问范围；在可观测性方面，每个Agent运行后都会由独立审计Agent对执行日志进行审计，只有连续多轮测试无异常后才能上线生产。
要将通用的自由Agent循环改造为受控机制，我们在Agent构建过程中做了五个关键优化：第一是计划环节，限制Agent只能从已注册的Skill库中调用工具，生成结构化的执行计划，避免偏离任务目标；第二是保护环节，设置动作白名单明确允许的操作范围，比如能否连接核心数据、能否修改数据等，同时通过Schema校验拒绝越界操作；第三是执行环节，将确定性的计算过程固化为Python、Java等程序，仅让Agent调用成熟的工具而非直接执行计算，确保结果可控，比如大模型可以调用固化的算法工具完成计算，而非自行推导；第四是检核环节，对Agent的输出进行契约校验和一致性校验，未通过则无法进入下一环节；第五是过程维度检查，只要四个核心维度存在缺失，就直接判定任务失败。
整体来看，我们封闭了Agent的动作空间，未注册的Skill或工具都无法被调用，同时限制了自动创建Skill的行为。我们还设置了部署和预算上限，我们曾遇到单个月Token消耗达三四万人民币的情况，因此设置了严格的消耗阈值，一旦超过预估步数或Token上限，就直接终止任务，避免无效的资源消耗。此外，我们在流程中设置了审批中断点，比如口径确认、数据补全和最终签发环节都需要人工介入，任何环节出现问题都直接停止任务，绝不将错误结果交付使用，核心目标就是可以没有结果，但绝对不能出错。
在报送场景中，AI Agent的完整执行流程分为六个步骤：第一步是接单拆解，将报送任务按单个指标逐一拆解，避免一次性处理过多指标导致失败，比如一个报送任务可能涉及数百个指标，拆分后单任务成功率会显著提升；第二步是获取口径，通过知识库获取对应指标的精准口径信息；第三步是取数，根据口径描述生成取数逻辑，从受控通道获取数据；第四步是勾稽校验，通过数据间的关联关系验证数据准确性，比如两个关联指标的差值不能超过预设范围；第五步是异常处理，当校验发现问题时，结合数据库、Agent和图库获取链路信息，定位问题并给出处置建议，比如数据异常可能源于原始业务填报错误，需要回溯到源头环节修正；第六步是出具复核报告，针对所有指标生成包含异常说明和计算链路的报告，辅助业务人员确认报送可行性。
为了确保口径的受控执行，我们对Skill的定义采用了严格的结构化规范，硬绑定语义版本并指向具体的知识条目，明确口径的来源和计算引擎，同时通过契约化的输入输出类型限制模型的发散。比如币种字段只能使用预设的五种类型，避免模型自行生成不符合要求的内容。每个Skill在发布前都需要通过多轮回归测试，确保稳定性后才能进入准生产和生产环境。
对于高频的指标计算动作，我们将其固化为Skill，金融行业的指标计算大多不需要复杂的经济算法，固化后不仅可以保证计算结果一致，还能通过回归测试持续优化。同时我们为每个Skill建立了版本管理体系，确保不同周期的报送可以使用对应版本的Skill，适配监管口径的变动。当遇到口径缺失的情况时，我们要求Agent必须明确回答“不知道”，不能自行拼凑结果，只有经过人工确认的建议才能继续推进流程。我们在早期项目中曾出现大量“不知道”的情况，经过口径治理优化后，这类情况逐渐减少，系统逐步达到可上线生产的状态。
我们将监管相关的Skill分为五大类：第一类是口径类，包括口径解释结构化、版本对比和口径适应性判定；第二类是计算类，涵盖指标计算、报表数据汇总以及期初期末、同期、同比、环比等数据推导，不同周期的同期计算逻辑存在差异，固化后可以保证一致性；第三类是校验类，包括表内表外勾稽、跨表一致性、值域和非空等校验规则，这类校验规则相对稳定，核心数据体系建成后可以长期使用；第四类是追溯类，实现数据处理链路的血缘查询和变更影响分析；第五类是取数回放类，支持完整链路的回溯和影响分析。此外，质量分析报告、复核报告和审核建议也被固化为专用Skill。
在整个链路中，大模型仅负责意图识别、任务分解、槽位抽取、Skill路由和参数填充、异常判定和文本识别，不允许进行数据计算、汇总、口径判别、生成引用等操作。所有的数据和知识访问都必须通过受控的接口，确保路径可控。
全链路可追溯要求记录每一次调用的Skill、引用路径、数据来源、血缘链路、勾稽关系、耗时和校验过程，包括人工操作的痕迹都需要纳入链路记录。Agent只能调用知识资产和数据资产，知识资产包括口径、表和字段含义，数据资产包括各类明细和指标数据，元数据同时作为知识资产的一部分进行管理。
在图库中，我们完整记录了数据从原始明细表到汇总指标的全链路，以及各指标间的勾稽关系。结合数据治理，我们将监管文件、填报说明等内容纳入体系，形成版本化的有效口径供Agent使用。对于向量检索，我们通过引入语义本体处理同义词和易混淆内容，同时前置版本和生效条件校验，避免检索歧义，提升召回率和准确性。相比单纯的文档向量检索，结合结构化数据和图库的方案可以获得更高的召回精度。
知识库本身有五大健康度指标：覆盖率必须达到百分之百，确保所有需要的口径都有覆盖；鲜度确保使用的是最新版本的口径；冲突检查避免出现同时激活的矛盾条文；清理过期项目及时移除未使用的内容；统计引用命中率，自动登记知识缺口并形成改进方案。我们会持续维护这些指标，确保知识库的有效性。
数据资产治理是一个边加工边沉淀知识的过程，从原系统接入登记到明细层元数据管理，再到指标层口径和计算逻辑定义，最后到报表层的口径、频度和确权管理，形成完整的闭环。Agent在调用知识和数据资产的同时，也会补充完善两者的不足，最终形成有效的知识资产体系。
在上线生产环境前，我们有三个核心保障机制：一是红线机制，只要出现口径歧义、跨表勾稽错误、极值异常或空值等问题，就禁止上线；二是回归机制，每个Skill都需要使用历史报送数据运行多期测试，确保稳定性；三是灰度双轨机制，上线后并行运行一段时间，对比人工和系统的结果，确保无异常后再全面推广。
回到核心概念，治理和智能是相互促进的，我们并非先完成治理再推进智能化，而是通过AI提升数据治理能力，同时用治理成果增强Agent的稳定性和准确性。后续我们计划将Skill资产化，实现数据处理流程的自动化改造，并加强对中间过程的度量和评估，提升系统的可信性。
