OpenRSI与SGLang-Omni合作 优化AI基础设施吞吐显著提升

在AI基础设施优化领域，一项技术突破正推动多模态模型的性能跃升。相关团队开发的OpenRSI框架，近期与合作团队携手，将递归自我改进（RSI）机制落地到真实AI模型的性能优化中，取得了显著成果。

双方合作覆盖8个多模态模型，在H100硬件上实现了7.6%至326.5%的吞吐提升，14项优化提案（PR）全部通过审核并合入，为AI推理服务带来了切实的性能增益。

不同于传统依赖人工深度介入的优化流程，OpenRSI采用了Harnessed RSI架构，将人从性能优化的内循环中移出，保留人负责定义问题、设计系统框架和最终审核的核心职责，由智能体承担持续的性能探索与迭代任务。这套架构构建了两层嵌套的永不停歇循环：智能体在内层循环中探索潜在的优化方向，而管理机制掌管外层循环，负责评估每次迭代的收益并将经验传递到下一轮，整个过程无需等待人工介入。每一步优化的收益都由独立验证器确认，确保结果的可靠性。

为了快速规模化RSI优化，团队构建了RSI-Anything轻量管道，将研究提案转化为可合入的代码：智能体根据提案构建可执行基准测试、搜索改进方向、复现收益并生成优化提案，而人负责提案撰写和最终合入审核。在多轮交互中，合作团队的维护者会参与设计、补充代码或复现结果，确保优化方案的可行性。

本次合入的14项PR覆盖了语音服务的全流程，从音频编码器到解码器和vocoder，可归纳为5种优化模式，主要围绕消除模型运行时的开销展开：

• 空闲线程争抢CPU核：让等待时空转的线程休眠，释放被占用的CPU核心，提升后续任务的处理效率，对应相关优化提案。
• 减少数据跨阶段转换开销：将张量直接传递，仅在最终消息时转换为类型化字节，避免重复的格式转换，对应相关优化提案。
• 跳过无效计算：剔除无调用方需要的量化器重建、冗余张量创建等操作，减少不必要的算力消耗，对应相关优化提案。
• 优化GPU kernel启动流程：将小kernel启动合并为CUDA graph或融合kernel，减少GPU等待CPU的时间，还将编码器注意力改为FlashAttention-4，对应相关优化提案。
• 实现机器并行：让prefill阶段完成后立即启动下一个请求，decode阶段在解码机器完成前一个请求后立即开始，避免两台机器互相等待，对应相关优化提案。

这项优化工作能快速推进，得益于几个关键因素：一是推理服务的吞吐和延迟可自动测量，为优化循环提供了密集可靠的反馈；二是统一的管理机制支持同一任务框架下的多模型优化，一份提案可对应多个模型的PR；三是设置了严格的护栏，确保优化不会导致延迟或质量退化；四是每个PR都附带性能研究和核查记录，为审核提供了清晰依据。六个模型的优化过程显示，五个模型在8小时内就出现了符合要求的候选方案，体现了这套方法的高效性。

当问题定义清晰后，推理优化的瓶颈从专家精力转向算力、评估器质量和审核带宽。这套方法能够挖掘服务栈中的“长尾”优化空间，让原本难以逐一尝试的小设置、小调整都能被系统探索和测量，比如一项优化就带来了32.5%的流式吞吐提升。同时，调优工作从一次性项目转变为持续迭代，更换新模型、新运行时或硬件配置时，只需启动新一轮搜索即可，无需重新搭建整个体系。

本次合作是OpenRSI与合作团队的首次合作，未来计划将更多人工运行的循环交给智能体，朝着完全自主的RSI方向迈进。目前，相关工具均已开源，欢迎贡献新的优化任务，符合要求的贡献者将受邀成为共同作者。

致谢：本项目由多位成员牵头完成，感谢合作团队的多轮审核、设计意见、代码贡献和独立复现，也感谢同期有优化合入的其他贡献者。