文章摘要
大模型训练等全流程中，高质量数据集生成是难点，传统方案有短板。DataFlow - Harness应运而生，其研究成果登上HuggingFace Papers热门榜。该工具基于DataFlow开源生态，用户可通过WebUI操作。架构含四核心组件，性能验证效果好，应用价值高，推动数据处理能力代理化。

在大模型训练、微调以及RAG知识库搭建的全流程中，高质量的AI-ready数据集始终是核心落地难点。无论是针对专业领域的微调数据生成，还是通用指令集的构建，想要产出符合要求的样本都需要经过多环节的复杂处理，而每一步都可能涉及不同的算子配置、schema规范、质量标准和执行环境。

传统的解决方案往往依赖工程师手写临时脚本，或是通过代码代理生成一次性脚本再进行拼接，但这两种方式都存在明显的短板：无法实现流程复用、难以进行平台审计、缺乏可视化编辑能力，也无法长期治理数据资产，最终很难输出稳定的高质量数据集，直接影响后续大模型应用的效果。DataFlow-Harness正是针对这些痛点推出的解决方案。

该工具相关的研究成果上线后登上了HuggingFace Papers榜单的当日热门项目。研究团队提出了NL2Pipeline gap的核心概念：用户通过自然语言表达的数据处理需求，和生产环境中需要的可检查、可编辑、可复用的平台原生流水线之间存在明显鸿沟。DataFlow-Harness基于DataFlow开源生态，加入了Harness工程约束，让代码代理能够在真实平台的边界内执行数据处理操作，最终输出符合平台规范的可维护流水线。

用户可以通过DataFlow-WebUI来使用该工具，支持两种操作模式：既可以在对话窗口中用自然语言描述需求，让代理自动搭建工作流；也可以直接在DAG画布上进行拖拽调整节点、修改参数、重新连线，两种模式下的流水线状态会保持实时同步。

系统架构：让数据引擎成为代理底座

DataFlow-Harness的系统架构围绕四个核心组件构建：

  • Data Pipeline Backend：作为整个系统的状态中心，该组件将一条流水线表示为P = (D, O, E, S, R)，其中D代表数据源，O代表配置好的算子实例，E代表算子之间的有向依赖边，S记录输入输出字段的Schema规范，R保存运行时状态例如模型服务端点。所有对流水线的修改都会直接同步到该后端状态中。
  • MCP Tools Layer：负责将代码代理的意图转化为结构化的操作。代理不会直接编写自由脚本，而是通过类型化的变更操作来修改流水线，例如添加/删除算子、更新参数、连接节点等。每次修改都会经过请求-验证-提交的完整流程：先获取当前流水线状态，再提交结构化的变更请求，随后检查DAG是否无环、相邻算子的Schema是否兼容，最后将变更写入后端存储。
  • DataFlow-Skills：提供流程知识的封装，该模块编码了算子选择模式、Schema依赖关系、参数配置经验以及流水线装配步骤，帮助代理处理需要程序性经验的复杂任务。对于QA生成、VQA抽取、长文档处理这类任务，代理不仅需要工具列表，还需要了解工具的组合顺序和执行逻辑。
  • DataFlow-WebUI：提供交互和可视化的承载界面。用户可以通过对话迭代调整需求，也可以在DAG画布上直接检查、编辑和运行流水线。WebUI与后端共享同一份流水线状态，手动修改和代理生成的修改都会同步到同一个工作流中，后端提交变更后，系统通过WebSocket实时更新前端画布，保证对话界面和可视化DAG始终保持一致。

这套架构让自然语言的数据需求能够完整进入DataFlow平台的生命周期：用户表达目标，代理结合Skills模块规划流程，通过MCP层操作真实的运行环境，后端完成校验和提交，最终通过WebUI将结果呈现为持久化、可编辑、可复用的DAG流水线。

性能验证：兼顾效果与效率

在12个覆盖数据转换、问答生成、质量过滤、长文档处理、Schema规范化的典型数据工程任务中，DataFlow-Harness进行了120次重复测试，通过端到端通过率、Token使用量、成本和生成延迟四个维度来衡量整体表现。

  • 端到端构建效果：DataFlow-Harness的端到端通过率达到93.3%，接近Context-Aware Claude Code的94.2%的水平。
  • 成本控制：相比基础的Vanilla Claude Code，该工具的运行成本从$0.950降至$0.261，降幅达到72.5%。
  • 生成延迟：同样对比基础版本，生成延迟从190.7秒降至95.5秒，降低了49.9%。
  • 平台产物特性：DataFlow-Harness输出的是原生的DAG格式流水线，可以直接在DataFlow-WebUI中查看、编辑和复用。

复杂文档数据抽取能力：Textbook-to-VQA

Textbook-to-VQA是更贴近真实生产场景的任务，需要从教材、解答手册和考试答案页中抽取视觉问答数据，涉及长距离问题答案对齐、图表理解、版面结构恢复和多模态内容抽取等多个环节。

该任务的测试结果显示：

  • Precision指标：DataFlow-Harness达到0.972的精度水平。
  • Coverage Rate指标：该工具的覆盖比例达到0.873。
  • 流程构建能力：任务需要组合PDF解析、版面恢复、OCR、图形提取、多模态理解和问答匹配等多种能力，DataFlow-Harness能够有效组织这些工具形成完整的处理流水线。

程序性经验的价值：Skills模块作用

DataFlow-Harness的性能提升主要来自复杂任务中的流程知识封装。对于简单任务，仅需要明确的算子路径，仅使用MCP-only模式就可以完成；但对于复杂任务，则需要掌握算子的组合方式、字段流转规则以及质量检查的顺序。

通过对比不同任务的测试结果可以发现：

  • 基础QA任务：MCP-only的通过率为6/10，而DataFlow-Harness达到10/10。
  • 带过滤的QA任务：MCP-only为6/10，DataFlow-Harness为9/10。
  • 文本到问答链任务：MCP-only为6/10，DataFlow-Harness达到10/10。
  • 简单路由任务：包括字段重命名、嵌套展开、长度过滤、语义过滤等，DataFlow-Harness均达到10/10的通过率。

整体来看，DataFlow-Skills模块的作用集中在复杂流程的组织上：算子注册中心解决了“有哪些工具”的问题，而Skills模块则解决了“这些工具如何连接成正确的数据流水线”的核心问题。

合成数据质量传导到模型训练：Math Pipeline

DataFlow-Harness还通过下游模型训练效果来验证数据流水线的质量。在数学推理场景中，代理需要构建完整的数据清洗和合成流水线，包括题目验证、低质样本过滤、问题扩展、推理链生成和n-gram去重等环节，生成的数据用于微调Qwen2.5-32B-Instruct模型。

测试结果显示：

  • 训练1个epoch：DataFlow-Harness的模型平均分为51.6，而Vanilla CC为49.9。
  • 训练2个epochs：DataFlow-Harness的平均分提升至55.7，Vanilla CC为54.5。
  • AIME24@32数据集：训练1epoch时模型性能从25.1提升至35.9。
  • AIME25@32数据集：训练1epoch时模型性能从21.6提升至34.5。

通用指令数据流水线：General SFT

General SFT任务要求代理从零构建通用指令数据合成流程，包括主题条件生成、先批评后重写、LLM作为评审的评分过滤等步骤，每条流水线生成10K条指令-响应对数据，用于微调Qwen2.5-7B-Base模型。

测试结果如下：

  • 整体平均分：DataFlow-Harness为63.8，Vanilla CC为61.5。
  • HumanEval指标：从78.0提升至80.5。
  • HE+指标：从70.1提升至72.6。
  • MBPP指标：从64.6提升至75.4。
  • MBPP+指标：从51.6提升至58.2。

整体来看，DataFlow-Harness在代码类基准测试上的提升最为明显，带动整体平均分从61.5提升至63.8。这说明当critique、rewrite、judge等阶段被组织为稳定的流水线后，生成的样本质量更适合后续的模型训练。

应用价值：两层能力叠加的工程系统

DataFlow-Harness的应用价值来自两层能力的有机叠加：

  • DataFlow工业级底座：DataFlow本身已经围绕数据生成、清洗、过滤、评估、去重、流水线编排等环节，形成了一套面向AI数据准备的工业级工具体系，并在工业、科研、金融、医疗等多个场景中积累了落地应用经验。对于基础模型训练、领域微调、RAG知识库构建和评测集搭建来说，DataFlow提供了经过验证的数据处理底层支撑。
  • Harness化的代理封装：DataFlow-Harness将DataFlow的算子、Schema、流水线和运行状态接入代码代理，让用户可以通过自然语言来调用这些能力。过去需要理解算子、编写配置、连接节点、调整脚本的复杂流程，现在可以通过对话交互和可视化DAG编辑共同完成。

这一设计让DataFlow-Harness更适合高频、复杂、需要持续迭代的数据准备任务：例如微调任务需要稳定产出高质量的SFT数据，RAG知识库需要对文档进行解析、抽取、切分和治理，行业评测集需要沉淀样本构造、答案生成、质量检查和格式统一的标准化流程。DataFlow-Harness将这些流程转化为可运行、可查看、可修改、可复用的数据流水线。

从本质上来说，DataFlow-Harness是DataFlow走向代理化调用的重要一步，它将经过验证的数据处理能力封装为面向自然语言交互的工程系统，让以数据为中心的AI理念从概念落地为更易实现的生产流程。

论文地址：https://huggingface.co/papers/2607.16617
开源仓库（DataFlow-Harness工程交互入口）：https://github.com/OpenDCAI/DataFlow-WebUI
开源仓库（DataFlow主库）：https://github.com/OpenDCAI/DataFlow
更多开源项目可查看https://github.com/OpenDCAI
以上内容不代表本平台立场，仅供读者参考