桌角小主机当AI搭子!本地Agent部署保姆级教程

在办公桌角落放着一台24小时待命的小主机,深夜离开工位后,只用手机发一条消息,它就能自动完成图片和视频的重命名任务——整个过程仅用了1分钟多。这台设备就是华硕新推出的ProArt GR1X,搭载NVIDIA RTX Spark芯片,配备最高128GB统一内存,是搭建本地AI Agent的理想选择。
将整套环境部署在本地,对AI Agent而言有多重好处:一是无需担心试错成本,Agent调试代码时反复重试,本地推理不按Token计费,无需心疼资源消耗;二是数据资产完全可控,脚本、素材、日志都存储在本地硬盘,不经过第三方云端,避免数据泄露风险。
这款ProArt GR1X体积小巧,正面高度仅约一手掌跨度,放在笔记本旁几乎不占空间。它相当于给AI Agent配了一台独立异步主机:大模型常驻本地,自动化工具链在后台运行,工程文件和执行日志都存在本地,合上电脑离开工位时,还能远程操控它继续完成任务。
给本地Agent选大模型,核心看显存大小——显存直接决定了能运行的模型参数规模和上下文长度。对比同价位的50系桌面显卡,主流RTX 5070/5080仅有12GB~16GB显存,只能运行十几B参数的小模型,顶配RTX 5090也仅32GB显存;而ProArt GR1X的RTX Spark芯片提供了CPU与GPU物理共享的128GB统一内存,相当于4张RTX 5090的显存容量,完全不用在模型选择上妥协。
基于这一优势,这里直接部署了Qwen3.8-Flash-Next模型,选择它的核心原因是原生多模态能力:在相同内存占用下,无需额外部署视觉模型,单模型就能同时处理文字、代码、图片和视频任务。该模型采用MoE架构,主模型参数约125B,每个token激活约6B,加上N-gram嵌入和MTP参数,总规模约176B~180B;原生支持262,144 token上下文,还可通过YaRN扩展;官方评测中,视觉Agent任务ClawEval-MM Pass@3达64.4,长视频理解LVBench达76.6。
实测中,用llama.cpp测试125B MoE模型的IQ4_XS量化版,开启MTP投机解码后,自由生成速度达42.94 token/秒,长文本改写48.31 token/秒,代码改写更是达到57.52 token/秒以上。依托RTX Spark的算力和统一内存带宽,配合MTP解码,这台小主机能高效完成千亿级MoE模型的代码改写任务,响应速度完全满足长程需求。
模型在本地部署完成后,接入飞书仅需两步。第一步是让Codex接管本地Qwen模型,具体安装和配置可参考相关教程;第二步是通过开源项目将飞书机器人与主机上的Codex连接,配置时在本机核对权限和事件订阅即可。
接入后,手机发消息就能唤醒主机工作,结果会直接返回群聊,飞书成为了系统的远程入口。比如要做动画短片,只需在飞书里发5轮消息,就能看着它一步步生成脚本和视频:
- 第一轮零模板跑通第一版,用Python和Pillow绘图、系统语音合成配音、FFmpeg封装,生成米色彩纸卡片风的内容;
- 第二轮加入官网和社区的真实素材,替换方块为带阴影的照片卡片动效;
- 第三轮补充第三方媒体报道,对齐配音和镜头节奏,放开时长限制;
- 第四轮核对榜单依据,在画面和旁白里注明统计口径;
- 第五轮升级1080p分辨率,替换高清原图,添加推近动效,精修音频和片尾。
整个过程中,只需把控方向,剩下的任务都由本地Agent完成,而且Agent生成的脚本、音画逻辑、排版规范等都会留在本地目录,下次可直接复用,无需从头再来。
除了视频脚本,这台主机还能用于模型的本地微调与偏好对齐。虽然单台桌面主机无法实现科幻中的全自动递归自我改进,但可以用工作流中的修改反馈,对轻量或定制模型进行微调,让模型贴合个人习惯。
这得益于硬件架构的通用性:ProArt GR1X的RTX Spark芯片与之前的单机实验设备同源,同样是CPU和GPU共享128GB统一内存,运行原生CUDA栈。之前的单机训练链路可直接移植到这台小主机上,相关代码已开源。
从视频工作流的5轮交互中,可攒出两类实用训练数据:一是SFT纠偏问答对,比如修改素材、核对口径的需求,连同Agent的回复,作为prompt-response样本,配合Prompt损失掩码训练;二是GRPO可验证规则任务,比如脚本是否通、FFmpeg是否报错等,这类任务有明确客观标准,用GRPO算法训练。
关键在于128GB统一内存带来的从容:平时调外部API模型,只能做记忆管理,无法微调;而常规16GB~24GB显存的本地机器,运行GRPO也容易爆显存,只能训小模型。但有了128GB内存,就能运行大模型并进行微调,让它越来越懂用户。
在手机发一条消息,就能唤醒桌角的小主机;用得越久,反馈就越能让模型更贴合自己。这台安静待命的小主机,让AI不再是屏幕上的光标,而是24小时在线的工作搭子,围绕真实工作流运转的AI PC,有着独特的价值。

