RadixArk开源DaisyRose-27B纯RL增强多模态模型 提升编程与长程Agent能力

某开源社区近日推出一款基于Qwen3.8-27B的纯强化学习增强多模态模型——DaisyRose-27B,该模型通过144张H200 GPU完成18天训练,重点提升编程与长程智能体(Agent)任务能力,支持256K token上下文窗口,采用Apache 2.0协议免费商用。
这款模型是该项目推出的首款多模态推理模型,训练全程仅使用强化学习,未进行监督微调或蒸馏操作,围绕约1200个精心筛选的长程Agent任务展开训练。训练过程通过摘要机制处理累计长度达百万token的任务会话,在公开评测中,其Terminal-Bench 4.1的pass@1指标达到12.0%,在多项编程、推理及指令遵循基准上较基座模型有明显提升。
DaisyRose-27B保留了基座模型的架构、分词器、对话模板、图像理解能力及256K token上下文窗口,可作为现有推理与后训练流程中Qwen3.8-27B的替代模型。本次开源提供BF16模型权重,以及FP8、NVFP4两种量化版本,开源地址如下:
- FP16:https://modelscope.cn/models/RadixArk/DaisyRose-27B
- FP8:https://modelscope.cn/models/RadixArk/DaisyRose-27B-FP8
- NVFP4:https://modelscope.cn/models/RadixArk/DaisyRose-27B-NVFP4
训练数据筛选标准
该项目与相关机构合作,从涵盖机器学习、软件工程、科学等领域的任务池中,筛选出约1200个训练任务,筛选主要围绕三个核心方向:任务能否暴露基座模型的具体错误、是否需要长程推理与执行、奖励是否真实反映任务完成情况。
首先,每个任务都针对基座模型的薄弱环节设计,团队先运行基座模型观察其失败方式,再重新设计任务以明确暴露目标错误,并将任务成功率调整到适合学习的区间,避免任务过于简单或难以完成。
其次,每个任务包含多个相互依赖的问题,需要模型跨阶段推理、规划和执行,单次最长尝试可持续1.5小时,涉及超过100次工具调用,累计输出超过256K token,要求模型在持续操作中保持目标,利用前期信息完成后续步骤,而非仅给出单次正确回答。
最后,团队逐一审核任务及模型尝试,检查是否存在“不解决问题也能获得奖励”的漏洞,发现问题后在训练前修复或移除相关任务,减少模型学习错误捷径的机会。
训练后端优化
DaisyRose-27B使用开源强化学习框架Miles,采用全异步训练方式,使Agent执行任务与训练器更新模型并行进行,互不等待。144张H200 GPU中,128张用于Agent推理,16张用于训练,每个训练步骤结束后,新权重同步回推理侧供后续任务使用。
项目内部训练后端针对Agent任务优化,这类训练需处理少量但极长的会话,执行框架通过摘要机制将总长度达百万token的会话组织成多条训练轨迹,此处的百万token指整个任务会话的累计长度,模型原生上下文仍为256K。
在本次基于Qwen3.8-27B的H200训练中,内部后端的模型浮点运算利用率(MFU)达到37%,对照的开源训练器Megatron为16%,约为其2.3倍;按此效率,完成相同训练工作所需的GPU时间减少约57%。
团队还在其他MoE模型上测试后端效率:在GB300上,Qwen3.6-35B-A3B的MFU达16.1%,对照为2.6%,约为其6.2倍;约300B参数的GLM-5.3-Flash达11.7%,对照低于1%,提升超过10倍。将Agent执行时间计入后,正式训练的端到端吞吐达16800 token/s,按开源训练器估算约为8300 token/s,相差约2倍。
整个18天训练期间,后端速度与利用率保持稳定,按训练步骤统计,吞吐中位数为19300 token/s,MFU中位数为37%;开源训练器可比实验参考值为13500 token/s和16%,两者口径不同需分开理解。本次正式训练累计使用约63000 GPU小时。
沙箱服务保障
每次Agent尝试都需要新的任务环境副本,用于执行命令、编辑文件和评估结果,项目基于开源项目AgentENV构建沙箱服务,并向该项目贡献修复,以支持长时间、高并发的Agent训练。
从9月中旬到11月中旬,项目累计运行约944000个沙箱,峰值并发达1566个,服务从单机扩展至最多12台机器,期间进行了10次升级,绝大多数升级发生在训练运行过程中。
九周内,沙箱创建成功率约为99%,经过持续修复(包括处理内存不足导致环境卡死等问题),10月下旬以后,创建成功率超过99.95%,该指标衡量任务环境创建的可靠性,而非模型完成任务的成功率。
相比主流云沙箱供应商的同等沙箱,项目的沙箱云基础设施成本降低约80%,关键做法是按实际使用量动态分配内存:任务申请的内存往往高于实际占用,动态分配可提高每台机器承载的沙箱数量,该成本降幅仅针对沙箱基础设施,不包含GPU训练费用。
本地部署方式
DaisyRose-27B推荐使用SGLang部署,并通过DSpark投机解码加速生成,模型提供BF16、FP8和NVFP4三种权重,支持H200、B200、GB300、RTX PRO 6000、RTX 5090及DGX Spark单卡推理。
模型下载
安装相关工具后,根据硬件选择一种主模型权重下载,无需同时下载三个版本:
pip install modelscope # BF16 modelscope download RadixArk/DaisyRose-27B \ --local-dir RadixArk/DaisyRose-27B # FP8 modelscope download RadixArk/DaisyRose-27B-FP8 \ --local-dir RadixArk/DaisyRose-27B-FP8 # NVFP4 modelscope download RadixArk/DaisyRose-27B-NVFP4 \ --local-dir RadixArk/DaisyRose-27B-NVFP4
开启DSpark还需下载独立草稿模型,三种精度主模型使用同一草稿权重:
modelscope download RadixArk/Qwen3.8-27B-DSpark \ --local-dir RadixArk/Qwen3.8-27B-DSpark
SGLang部署
在已安装Docker和NVIDIA Container Toolkit的Linux环境中,拉取包含DSpark支持的SGLang镜像:
docker pull lmsysorg/sglang:latest
以下以单张GB300、BF16权重为例启动服务,主模型和草稿模型均从本地目录加载:
export MODEL_DIR="$PWD/RadixArk/DaisyRose-27B" export DRAFT_DIR="$PWD/RadixArk/Qwen3.8-27B-DSpark" docker run --gpus '"device=0"' --ipc=host --shm-size 32g \ -p 127.0.0.1:30000:30000 \ --mount "type=bind,src=$MODEL_DIR,dst=/model,readonly" \ --mount "type=bind,src=$DRAFT_DIR,dst=/draft,readonly" \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path /model \ --served-model-name DaisyRose-27B \ --tp-size 1 --dp-size 1 \ --context-length 262144 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --trust-remote-code \ --mem-fraction-static 0.85 \ --kv-cache-dtype fp8_e4m3 \ --chunked-prefill-size 2048 \ --mamba-full-memory-ratio 11.01 \ --mamba-radix-cache-strategy extra_buffer_lazy \ --mamba-ssm-dtype float32 \ --speculative-algorithm DSPARK \ --speculative-draft-model-path /draft \ --speculative-draft-attention-backend flashinfer \ --host 0.0.0.0 --port 30000
在GB300上使用FP8或NVFP4时,将MODEL_DIR改为对应下载目录即可。
OpenAI兼容API调用
安装客户端:
pip install openai
服务启动后,通过本地接口发起请求:
from openai import OpenAI
client = OpenAI(
base_url="http://127.0.0.1:30000/v1",
api_key="EMPTY",
)
sampling = {
"temperature": 1.0,
"top_p": 0.95,
"extra_body": {
"top_k": 20,
"min_p": 0.0,
"chat_template_kwargs": {"reasoning_effort": "xhigh"},
},
}
response = client.chat.completions.create(
model="DaisyRose-27B",
messages=[{"role": "user", "content": "360 有多少个正因数?"}],
**sampling,
)
print(response.choices[0].message.reasoning_content)
print(response.choices[0].message.content)

