文章摘要
云端AI服务价格攀升、有断网失效和数据安全风险,有团队提出本地AI方案,将AI模型和代理程序部署在本地。该团队三年完成三次产品迭代,推出全场景Work平台。本地AI需具备智能运行、长期记忆、定向优化等能力。未来,使用AI差距取决于记忆,软件或成“日抛型”,本地AI成本低、断网可用,为用户提供新选择。

当云端AI服务的价格持续攀升,使用成本不断走高时,你是否会担忧断网后AI工具彻底失效?近期行业观察显示,主流云端AI平台的峰值时段调用成本较此前上涨五倍。以某热门专业AI服务为例,其订阅费用高达每月200美元,一年的开支足以购买一台可运行本地AI模型的全新电脑。不少用户调侃,未来使用AI或许需要定闹钟,专门选择凌晨流量闲时时段来压缩成本。

云端大模型就像安装在电脑之外的公共水龙头,用水的多少、费用的高低完全由服务提供商决定,一旦断网,所有AI相关工作都会陷入停滞。更值得关注的是,所有数据都需要上传至云端,对于需要严格保障数据安全的行业而言,这无疑是不小的风险。

本地AI方案:把AI员工装进电脑

针对这些痛点,有团队给出了全新思路:不再依赖云端服务,而是将AI工具直接部署在本地。相关从业者表示,他们的产品可将AI模型和智能代理程序一同安装在用户电脑中,即使断开网络,AI仍能稳定完成复杂工作任务,所有数据都不会离开用户设备,无需上传到云端。

三年迭代:从单点工具到全场景Work平台

该团队的首款产品是2023年3月上线的Excel智能处理工具,在当时GPT-4刚发布不久,同类AI办公工具还较为少见。产品形态为右侧聊天窗口、左侧Excel表格编辑区,用户仅需输入自然语言指令,就能完成表格数据处理、分析等工作。

产品推出后的两年多时间里,团队需要反复回答用户的一个问题:这个工具和传统Office、WPS有什么区别?直到2025年下半年,随着AI技术快速发展,用户才逐渐接受“用自然语言处理表格”的使用方式。

团队选择Excel作为切入点并非偶然。一方面,团队核心技术成员长期从事AI数据处理相关研究;另一方面,Excel是AI应用中容错率最低的场景之一——AI生成的图片出错可重新生成,文案不通顺可修改,但表格中的一个小数点错误就会导致整个分析结果失效,一旦出错,用户就会失去信任。因此数据类AI产品的发展速度远慢于文生图、AI短剧等领域。

2026年初,一款名为OpenClaw的智能代理工具在网络迅速走红,团队在当天就抓取相关代码进行研究,第二天就完成了本地部署测试。随后团队推出小程序版本的相关产品,但因备案和春节假期影响,比原计划晚了不少时间。在这款产品热度下降后,团队并未停止迭代,而是将相关技术整合到全新的Work平台中,也就是现在的本地AI解决方案。

从最初的Excel智能工具,到智能代理产品,再到全场景本地AI Work平台,这个十几人的团队在三年时间里完成三次关键迭代,对技术浪潮的反应速度以天为单位计算。

本地AI的核心:完整的智能系统而非单一模型

很多用户在尝试本地部署AI模型后会产生疑问:安装完模型之后能做什么?不少人只是用它来聊天,并未真正发挥AI的生产力价值。这也是团队研发过程中需要解决的核心问题。

团队负责人表示,单纯将模型安装到本地只是完成了“大脑”的部署,但如果没有配套工具和运行框架,AI依然无法完成复杂工作任务。真正能够落地的本地AI,需要具备三个核心能力:

首先是智能代理运行时:当用户需要处理100G本地文件数据时,任务可能需要数十分钟甚至数小时才能完成,此时AI需要能够自主调用工具、自我纠错、断点续跑,确保长任务稳定完成。很多同类产品在简单任务上表现不错,但一旦运行长任务就容易出错,核心原因就是缺乏完善的运行时框架。

其次是长期记忆能力:普通AI聊天机器人在多轮对话后会遗忘之前的上下文,因为上下文长度存在天然限制。而能够真正投入工作的AI智能体,需要记住用户的使用习惯,比如用户写周报时习惯将利润率放在前面、收入放在后面,在后续对话中可自动沿用这套格式。团队采用类似Git仓库的方式对记忆进行分层存储和无损压缩,避免记忆文件无限膨胀。

最后是定向优化的模型能力:云端模型通常拥有数千亿甚至上万亿参数,而本地设备很难运行这么大的模型,只能部署8B、27B、35B等参数规模较小的模型。团队的解决方案是针对办公和数据处理场景进行定向后训练,不追求全能的通用模型,而是打造专业场景下的“专才”模型。经过定向训练的小模型在文档处理、数据分析等场景下的速度和准确率都优于通用大模型,同时Token消耗更低。

团队负责人提到,很多企业为部署私有化大模型,需要投入数十万甚至上百万的硬件成本,但对于部门级办公场景来说,一套搭载27B或35B定向训练模型的解决方案,成本仅为十几二十万,却能达到接近满血私有化大模型的效果。不少企业在采购大模型时存在盲目追求参数规模的情况,就像为了通勤购买坦克,参数看起来诱人,但实际使用成本却很高。

从Prompt工程到问题定义能力

在行业交流中,团队负责人提到了一个有趣的变化:他们的平台上曾经有大量提示词教程,但现在用户再询问如何写好Prompt时,他们的回答已经变成“任意问,任意用”。

随着模型能力不断提升,如何向AI提问已经不再是核心竞争力。团队负责人认为,在很多工作场景中,AI的能力已经超过99%的普通用户,此时真正拉开差距的是用户是否清楚自己需要解决的问题是什么。也就是说,“怎么做”的成本越来越低,而“为什么做”和“做什么”才是更重要的。如果目标选错了,即使AI执行得再高效,也是在高效率地走错路。

对于从业者来说,现在最应该学习的不是某一个AI工具的使用方法,而是多尝试市面上的优质付费产品,只有用过足够好的工具,才能真正了解当前AI技术的上限在哪里。这也在悄然改变企业的组织方式:一个能够为AI明确目标、验证结果的员工,其价值已经不亚于过去的一个小型团队。

长期记忆:AI时代的核心护城河

如果只能记住一个核心观点,团队负责人希望读者能够了解:未来人与人之间使用AI的差距,很大程度上取决于记忆的差距。

同一个AI智能体,如果你使用了三个月,不断向它反馈正确的操作方式,它会越来越贴合你的使用习惯,和你形成高度适配的协作模式;而另一个用户只是刚安装使用,可能会觉得AI的表现平平。此时你们使用的已经不是同一个AI工具了。

这还只是个人层面的记忆,如果上升到组织层面,记忆的价值会更大。比如企业中一位优秀的员工总结出了一套完善的指标体系,包括销售率、利润率、回款率的排序和分析逻辑,这套经验过去只存在于这位员工的脑海中。如果能够将这套经验沉淀为AI智能体的记忆,并复制给全公司的智能体,其价值远远超过采购一个更昂贵的模型。

优秀员工和普通员工的区别,从来都不在于是否听话,而在于他们的工作经验和处理问题的路径。现在,这些经验第一次可以被复制和传承。当然,这也带来了新的问题:记忆如何迁移?更换电脑后之前积累的上下文能否保留?组织内部不同角色的记忆权限如何设置?团队负责人表示,这些问题都在研发计划中,记忆的权限和共享机制将是未来的核心竞争点。

未来的软件形态:日抛型工具

在交流中,团队负责人提出了一个让人印象深刻的概念:“日抛型软件”。他判断,两三年之后,企业内部的很多系统和流程,将不再需要长期固化为一个固定的软件。用户只需要明确说出想要的结果,AI会自动完成整个中间过程,任务完成后工具就可以被丢弃,也就是“用完即走”。

当前企业购买软件的本质,是为“中间过程”付费;而当AI将中间过程黑盒化之后,用户只需要为最终的结果付费。团队负责人作为资深软件从业者,认为这个判断有充分依据:传统的软件工程是一条漫长的翻译链,业务人员提出需求,产品经理将需求转化为文档和原型,程序员再将原型转化为代码,每一次翻译都会产生损耗和成本。而AI出现后,终端用户可以直接和模型对话,直接获取想要的结果,中间的翻译环节正在被大幅压缩。

团队负责人用电力发展做比喻:当前的AI应用就像是电灯刚发明的时候,大家都在比拼灯泡的亮度、大小和外观,但电灯只是开始,真正改变世界的是电力进入每一台机器。从长远来看,全球的GPU和云端算力始终是有限的,但设备的数量是无限的,每个人手里的手机、电脑,工厂里的机器,实验室里的仪器,都可以成为AI的载体。当模型体积缩小,能够被安装到各种设备中,让所有设备都具备一定的智能,整个世界将会发生彻底的改变。

结语:选择属于自己的AI工具

在交流的最后,团队负责人分享了自己的创业感悟:作为连续创业者,他认为创业本身就是一种生活方式,非常享受这个过程。他还提到,AI的核心价值应该是让人类的生活更幸福,而不是更焦虑,应该让AI在人类休息的时候继续工作。

回到成本对比:云端AI专业版每月200美元订阅费用,峰值时段调用成本上涨五倍;而本地AI方案的订阅费用仅为每月49元起,只需要一台32G内存的新电脑就能运行,即使断网也能正常工作。

关于云端服务和本地部署的选择,每个人都有自己的考量,但至少从现在开始,用户多了一个新的选项:把AI员工“领回家”,安装在自己的电脑中。

以上内容不代表本平台立场,仅供读者参考