Ahmad Osman在AIEWF：本地AI正成为严肃基础设施

在近期举办的AI行业技术盛会中，本地AI——即在个人电脑、工作站或专用硬件上运行模型——的长期倡导者Ahmad Osman分享了他对当前开源大模型与本地AI生态的观察。作为Osmantic的创始人，这家公司专注于开发部署和运营本地AI系统的开源软件，他多年来一直在推动本地AI的落地，而这一理念也在本次盛会上成为了核心话题之一。

本次盛会的一个突出主题是，开源大模型正逐渐成为大型专有前沿模型的可靠替代方案。由于大多数本地AI系统都依赖开源模型，这一趋势进一步强化了Osman的主张。他曾提到，开源模型与闭源前沿模型之间的差距正在不断缩小。他还在Open Source AI Must Win平台上明确提出，无需征得许可即可研究、构建、修复、部署、审核、适配、教学、保存和运行智能系统，这具有至关重要的意义。

在本次盛会上，Osman举办了两场关于本地大模型和工作站智能体的工作坊，场场爆满，不少参会者因为场地限制未能入场。工作坊展示了本地AI领域的快速发展：从手机和笔记本上运行的模型，到专用GPU工作站和企业级基础设施，技术迭代速度远超以往。参会群体不仅限于硬件爱好者，从准备第一台AI设备的学生，到关注模型路由、私有基础设施和企业数据控制权的企业高管，都对活动表现出了浓厚兴趣。以下是本次访谈的内容整理，Osman详细解释了本地AI受关注的原因、模型与硬件环境的变化，以及为何越来越多的开发者和企业会将本地AI视为重要的基础设施。

让本地AI从概念走向实操

本次工作坊中，Osman团队带来了一个开源演示平台，用户可以在其中对比不同硬件设备的运行表现，包括DGX Spark、AMD Strix Halo等机型，还可以将本地系统的性能、输出质量、速度和延迟与前沿云模型进行直接对比。活动的核心目的是让参会者直观感受到本地AI的实际效果，打破2022年时大家对本地AI能力不足的固有印象。

虽然目前本地模型仍比前沿模型落后4到8个月，但追赶的速度非常快。团队希望参会者能够亲手互动体验这些系统，而不仅仅是听取理论上的讨论。本次演示背后的开源代码已经上传到开源社区，第二场工作坊还详细讲解了如何部署这套系统并展示完整的运行流程。

本地AI不止是跑一个模型那么简单

很多人对本地AI存在误解，以为只是在自己的机器上运行模型就足够了，但实际上像ChatGPT或Claude Code这类产品，背后是一套完整的模型与智能体基础设施，绝非单一的模型本身。Osman分享了一个真实案例：他的朋友购买了RTX 5090显卡来运行Qwen 3.5本地模型，连接Claude Code后尝试修改GPU的RGB灯光失败，但使用托管版的Claude Code却顺利完成了任务。

经过询问，他发现朋友没有给本地模型开启联网搜索功能，而模型的训练数据有明确的截止日期，相关的软件和文档在此之后已经更新。当给本地系统添加搜索接口后，任务就顺利完成了。这一案例说明，使用托管智能体时，用户得到的不只是模型，还有搜索、工具、基础设施等配套服务。

Osman团队的开源部署系统正是为了提供从聊天界面、文档导入到智能体、工具链和搜索功能的端到端体验，而这正是当前本地AI生态所缺失的关键部分。

参会群体覆盖全赛道：从学生到企业高管

本次工作坊的参会者范围非常广泛，既有准备上大学的学生咨询应该选购什么样的AI硬件，也有来自英特尔的高管询问如何在Windows系统上优化软件体验。有人是硬件爱好者，也有人带着企业级的问题，比如模型路由、数据收集、追踪、智能体沙箱和延迟优化等。

大家的共同诉求都是希望能够运行自己可控的AI系统，不管是在MacBook上跑模型、在家用GPU部署，还是在企业级的专用硬件集群上运行。Osman本人的家用环境拥有22台RTX 3090显卡，这也让他对硬件配置有足够的实践经验。这次工作坊的参与广度超出了他的预期，作为首次举办AI工作坊的从业者，他连续完成了两场活动。

不一定需要专门购买GPU显卡

开发者想要尝试本地AI，不一定非要专门购买GPU。这取决于想要运行的模型规模：比如4位量化的Qwen模型可以在MacBook上流畅运行，而超大型的前沿开源模型则可能需要多台RTX Pro 6000显卡才能支撑。

但整体趋势是模型的效率正在大幅提升，现在的智能手机上就可以运行性能超过几年前云服务系统的模型，而且不会占用设备过多的内存，这充分说明模型效率在短时间内取得了巨大的进步。

模型与硬件协同进化

本地AI的进步来自于模型和硬件的双重提升，其中模型本身的改进尤为显著。模型架构变得更加高效，诸多小的优化叠加在一起效果明显。当前沿实验室展示出一项新的能力后，开源生态会快速跟进，找到更高效的复现方式。

现在，数十亿参数的模型就能实现过去需要更大规模系统才能达到的性能，其中一些模型甚至可以在2020年发布的RTX 3090上运行，而两年前，在这类硬件上实现同等性能是完全不现实的。目前这个领域还处于早期阶段，我们还不知道最终的发展形态，但可以确定的是，相关系统会持续进步。

混合与自主AI的兴起

未来会有越来越多的应用结合本地和云端AI，这一趋势不仅限于消费端，企业端的需求更为明显。企业越来越意识到，他们依赖的模型可能无法始终保持当前的可用状态，服务商可能会改变质量、定价、访问权限或政策，这让企业有动力转向专用硬件和安全计算环境。

这种专用硬件不一定非要部署在企业本地，也可以使用企业可控的托管硬件。这样做的好处是，模型质量不会无故变化，访问权限不会被随意收回，企业还能保留对知识产权、数据、隐私和合规义务的控制权。同时，开源模型与闭源前沿模型的差距正在不断缩小，从Llama、Mistral到Qwen、DeepSeek、GLM和Kimi，每一代模型都在缩小差距。

垂直专用模型或是企业的真正机遇

对于企业来说，小型垂直专用模型将是未来很多业务场景的发展方向。企业可以先从通用模型入手，收集员工使用过程中的痕迹、消息和反馈，随着时间推移，这些数据可以用来微调出更适合企业自身业务的专用模型，这能够提升性能、降低成本，让系统对企业更有价值。

同时，开源模型厂商也可能会通过微调、强化学习或专用商业部署的授权来实现商业化。随着越来越多的企业不再完全依赖云端API，转而构建自己的安全计算环境，这些开源实验室会有动力持续发布优秀的开源模型，同时在企业将模型适配为专有使用场景时获取商业价值。整体的发展方向是更高程度的自主可控：企业和个人能够控制自己的模型、计算和数据，同时还能受益于开源生态的快速进步。