Databricks：AI Agents与LTAP架构重塑数据未来

当企业级AI代理开始承担实际业务工作时，数据基础设施的价值被重新定义。成立于大数据时代的Databricks，早已跳出了传统湖仓一体的框架，正逐步进化为专为企业AI代理打造的完整数据与AI操作系统。这家估值1750亿美元的科技公司，近期推出了一系列重磅产品，从开源代理协作工具到重构数据库栈的技术方案，每一项进展都在强化其在AI原生数据领域的领先地位。

转型脉络：从大数据平台到AI代理操作系统

Databricks最初依托伯克利AMP实验室的Spark项目起步，其推出的湖仓一体架构让企业意识到，无需再分别搭建数据湖、数据仓库、机器学习平台和治理层，只需一个开放的基础架构就能承载所有数据的存储与分析。随着AI技术的快速发展，数据的角色发生了根本性变化：不再是仅用于临时分析的静态资源，而是AI代理执行任务时必需的上下文信息。

如今，企业的核心诉求已经从“如何存储所有数据”转变为“如何在AI代理执行任务的瞬间，向其暴露正确的状态、历史、权限和业务逻辑切片”。当前沿大模型的性能逐渐商品化时，企业的持久竞争优势将转向专属的业务上下文：专有数据、受控访问、运营状态、事务日志、工作流和反馈循环。而Databricks的产品布局，恰好完美契合了这一行业趋势。

在最新的数据与AI峰会上，Databricks一口气推出了Genie One、Omnigent、LTAP等多款产品，清晰传递出其核心战略：成为企业AI代理的操作系统。

Omnigent：统一AI代理的协作与控制

Omnigent是Databricks开源的AI代理元框架，用于整合、控制并共享 across 多种代理工具，包括Claude Code、Codex、Cursor、Pi以及自定义代理和内部工具。其开发的初衷源于内部的实际痛点：无论是代码代理还是企业级自定义代理，都面临着可移植性差、协作困难、会话历史丢失、安全管控缺失、花费不可控等共性问题，同时缺乏一个通用的上层API来适配不同的代理框架。

开发团队最初在内部搭建了名为Isaac的工具，作为Claude Code和Codex的包装层，支持在网页沙箱或本地开发环境中使用，并逐步添加了协作、会话管理等功能。但随着更多团队使用，他们发现每个团队都在搭建自己的代理工具，却无法共享和复用，这促使Databricks将这一方案开源。

Omnigent的核心价值在于提供了统一的API接口：支持代理会话、文件传输、流式响应、工具调用和会话取消等能力，能够兼容不同的代理运行环境，包括终端中的Cloud Code、Codex、Py以及OpenAI SDK等。此外，它还内置了安全管控与花费控制功能，比如基于会话状态的上下文策略，而非简单的黑白名单——例如，当代理安装了风险包或读取了大量敏感文档时，自动阻断后续操作，同时支持自定义策略库来扩展安全规则。

开源后的Omnigent快速获得了社区反馈，上线仅数天就收到了大量生态集成贡献，包括Kubernetes支持、云沙箱集成等，目前已经兼容Cursor、CLI、Antigravity等多种工具。Databricks选择开源Omnigent的核心原因在于，这类工具需要生态网络效应，开源能够吸引更多开发者参与集成，而公司则专注于提供托管的基础设施服务，保障数据安全与稳定运行。

LTAP与Lakebase：重新定义数据库的存储与计算

数据库领域长期存在OLTP（事务处理）和OLAP（分析处理）的分离：OLTP系统如Postgres、MySQL用于处理单笔事务更新，而OLAP系统则用于大规模数据分析。传统的做法是通过CDC（变更数据捕获）将OLTP数据同步到分析系统，但CDC非常脆弱，常被戏称为“持续数据损坏”—— schema变更、数据延迟等问题常常导致流水线在凌晨崩溃，许多数据工程师都曾为维护CDC管道彻夜难眠。

HTAP（混合事务/分析处理）一直是数据库工程的圣杯，试图用单一系统同时支持两种 workload，但实践中往往需要在性能和兼容性上做出妥协：要么牺牲OLTP性能，要么无法兼容现有生态，最终陷入“两头不讨好”的困境。

Databricks提出的LTAP（湖事务分析处理）则换了一种思路：通过统一存储层而非统一查询引擎来实现HTAP的核心价值。具体来说，将事务数据以列存格式写入对象存储，利用存储集群闲置的CPU资源进行行存到列存的转码，既保证了OLTP的写入性能，又能让分析场景直接读取最新的列存数据，无需额外的数据同步管道。

这一方案的优势显而易见：既保留了OLTP系统的生态兼容性，又实现了分析数据的实时可用，同时避免了CDC管道的维护成本。一位澳大利亚客户曾反馈，其团队在排查SLA故障时，无法通过现有日志了解数据库的实际运行状态，而LTAP方案能让AI代理直接获取完整的业务上下文，大幅提升了问题排查效率。

Lakebase作为这一架构的核心，依托分离存储与计算的理念，将数据写入开放格式的对象存储，通过转码技术实现事务与分析的统一，目前已经在大规模生产环境中验证了其稳定性与性能。

安全与成本：企业级AI的核心护城河

在AI代理的落地过程中，安全与成本管控是企业最关注的两个核心问题。传统的代理安全策略多采用简单的黑白名单，例如允许或禁止代理执行某些操作，但这种方式难以平衡安全性与易用性：比如允许代理安装npm包，但如果同时允许读取敏感文档，就可能被提示注入攻击导致数据泄露。

Databricks提出的解决方案是基于会话状态的上下文策略：跟踪代理的每一步操作，根据会话状态动态调整权限。例如，当代理安装了风险包时，自动阻断后续的敏感数据读取操作，或者需要用户手动确认后才能继续。此外，Omnigent还支持实时花费统计，用户可以为单个会话设置花费上限，当达到阈值时自动暂停或请求用户确认，避免出现单次会话花费数百美元的情况。

Databricks内部的实践也证明了这一点：内部工程师使用代理时，最担心的就是意外安装恶意包或泄露内部数据，同时也希望避免无限制的Token消耗。通过上下文策略和花费控制，既保证了开发效率，又降低了安全风险。

除了代理安全，Databricks依托Unity Catalog的治理经验，将数据治理与AI安全深度结合，为企业提供了完整的AI代理安全管控体系。

快速原型：持续创新的文化密码

Databricks的快速产品迭代能力一直是其核心竞争力之一，许多产品都是从针对单个客户的定制需求发展而来。例如，早期的存储层产品就是为了满足某大型客户的云原生事件存储需求，工程师仅用数周就完成了原型开发，并在验证通过后推广到所有客户。

公司的文化鼓励团队快速尝试、快速反馈，避免过度设计和“煮海”式的全面开发。团队在开发新产品时，首先会明确目标客户，与核心用户保持紧密沟通，确保产品能够解决实际痛点。这种“小步快跑”的方式，既降低了开发风险，又能快速获得用户反馈，不断优化产品。

例如Omnigent的开发就源于内部工程师的实际需求，团队仅用数周就完成了原型，并在内部验证通过后快速推向开源。而数据库重构项目则依托十年的生产数据Trace，通过机器学习模型预测不同算法在特定 workload 下的性能，从而选择最优的实现方案，避免了传统数据库引擎的技术债务问题。

同时，Databricks也清晰区分了科技公司与传统企业客户的差异：科技公司更倾向于自研工具，对成本敏感，而传统企业则更愿意采购成熟的解决方案，更关注安全合规与采购流程。公司针对不同类型的客户制定了差异化的产品策略，确保能够覆盖全场景的需求。

重构数据库栈：摆脱十年技术债务

目前主流的数据库引擎大多已有十年以上的历史，最初都是针对特定场景设计的，随着功能的不断扩展，逐渐在原有架构上堆砌了大量的临时解决方案，形成了沉重的技术债务。许多团队都曾尝试从头构建新一代数据库引擎，但往往会陷入“第二系统综合征”——过度追求完美，导致项目延期甚至失败。

Databricks的数据库重构项目则采用了更务实的 approach：依托团队十年的生产数据Trace（总计数万亿的数据点），通过机器学习模型快速预测不同算法和数据结构在特定查询场景下的性能，从而选择最优的实现方案。这种方式避免了仅凭理论选择算法的风险，能够真正适配大规模生产环境的 workload。

新的数据库引擎将支持从低延迟事务处理到大规模数据分析的全场景，同时兼顾吞吐量与 latency 的平衡。团队还将根据不同的查询特征，动态选择最合适的算法和数据结构，例如对于低基数的字符串字段，采用数组哈希而非传统的哈希表，大幅提升查询性能。

这一项目目前处于快速迭代阶段，将以增量的方式逐步发布新的端点和功能，避免长时间的开发周期，让用户尽快受益于新技术的优势。

专用模型：AI落地的正确方向

在收购Mosaic之后，Databricks曾被认为将专注于通用大模型的训练与部署，但实际的战略却转向了专用模型的开发。团队认为，当前通用大模型的性能已经足够强大，但针对特定场景的专用模型能够在成本和效果上实现显著优势。

例如，文档解析是一个非常常见但又极具挑战的任务，使用通用大模型解析PDF或Word文档不仅成本高昂，而且准确率往往不尽如人意。Databricks的团队开发了专用的文档视觉模型，能够将文档页面转换为结构化的JSON数据，成本仅为通用模型的1%，准确率却更高。

此外，Databricks还推出了Genie，一款专为数据场景优化的AI代理，能够帮助用户快速查询数据、生成分析报告，其准确率是通用代理的3倍。Genie的核心优势在于深度整合了Databricks的数据治理能力，能够安全访问企业的所有数据资产，同时自动优化查询逻辑，避免不必要的计算成本。

团队认为，随着基础模型的性能不断提升，模型定制化和RL微调将成为主流趋势。通过利用企业内部的生产数据和反馈循环，能够快速训练出适配特定业务场景的专用模型，而Databricks的AI Runtime平台则为用户提供了便捷的GPU集群和训练工具，降低了模型定制的门槛。

行业前瞻：数据+代理重构传统软件

Databricks的核心战略背后，隐藏着一个大胆的行业预判：传统软件将被“数据到位+代理叠加”的新模式重构。当AI代理具备了足够的推理能力，且能够访问完整的业务上下文时，无需复杂的定制开发，就能快速实现业务流程的自动化。

这一预判的核心在于数据的价值：只要能够将正确的数据以合适的方式暴露给AI代理，就能快速生成满足业务需求的解决方案。Databricks近期推出的安全团队专用产品和营销团队专用产品，都是这一战略的落地实践——通过将企业数据与AI代理深度结合，大幅提升团队的工作效率。

从早期的大数据处理到如今的AI代理操作系统，Databricks始终站在技术趋势的前沿。其开放的架构、务实的产品理念和快速的迭代能力，使其成为企业级AI领域的领先者。随着AI技术的不断发展，Databricks的战略布局将为更多企业提供数字化转型的新路径。

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。