文章摘要
近期Speridlabs团队开源业内首款无需变分自编码器（VAE）、直接生成RGB像素的3B参数图像生成模型Iris-3B，相关权重、代码均以Apache 2.0协议开放。该模型支持多宽高比百万像素级多风格文生图，性能接近参数更大的Qwen-Image 20B，经微调还可完成单目深度估计、图像修复、4倍超分等视觉任务，同时公开了部署使用指南。

近期，Speridlabs团队正式开源了Iris-3B模型，这是业内首款直接生成RGB像素的3B参数图像生成模型。该模型无需借助变分自编码器（VAE）进行图像压缩与解码，即可支持百万像素级的多种宽高比图像创作，同时还可通过针对性微调实现单目深度估计、图像修复以及4倍超分辨率处理等多种视觉任务。

该模型的文生图基座、深度估计模型以及图像修复/超分模型的权重与代码均采用Apache 2.0开源协议对外开放。需要注意的是，这里的3B参数特指图像生成网络本身，文生图功能还需要额外加载冻结的Qwen3-VL-4B-Instruct文本编码器。

相关开源资源链接：

模型性能表现

在公开基准测试中，Iris-3B在OneIG-EN英文整体评测中取得了0.540的分数，表现接近参数规模更大的Qwen-Image 20B模型；不过在GenEval、DPG和LongText等细分评测项中，其性能仍略低于Qwen-Image。

文生图多场景创作能力

Iris-3B可以根据文本提示生成多种风格的图像内容，涵盖多个创作领域：

人像与时尚摄影

可以生成带有串珠首饰和皮肤纹理的马赛族长者肖像，或是沙漠中白裙随风舒展的时尚摄影作品，能够精准呈现面部细节、织物质感与环境光影的组合效果。
示例：马赛族长者肖像与沙漠时尚摄影

自然景观与微距摄影

支持生成阳光穿过狭缝照亮红色砂岩的峡谷景观，或是停在叶片上的跳蛛微距作品，分别展现岩壁层次与微小主体的毛发、眼睛和景深细节。
示例：砂岩峡谷与跳蛛微距

水彩与植物插画

可以将巴黎雨天撑伞行人的街道场景绘制成水彩风格，或是绘制带有野玫瑰、蕨类和蝴蝶的植物插画，保留水彩渗色、路面反射与纸张质感。
示例：巴黎雨街水彩与植物插画

微缩场景与3D风格

能够生成在玻璃瓶中构建的灯塔、岩岛和海浪组成的微缩景观，或是等距视角的巫师书房场景，包含悬浮书籍、药水和发光水晶球等细节。
示例：瓶中灯塔与巫师书房

彩色玻璃与马赛克艺术

支持用彩色玻璃表现从火焰中升起的凤凰，或是用金色、青绿色小瓷砖拼出拜占庭风格的孔雀作品，展现不同材料的分块结构与光泽效果。
示例：凤凰彩色玻璃与孔雀马赛克

带文字的场景与海报

可以生成带有“Books & Tea”字样的书店橱窗场景，或是带有“VISIT THE MOON”标题、火箭和月面景观的复古旅行海报。官方提醒，图像内文字和精确物体计数仍可能存在误差，不应将成功样例视为稳定性保证。
示例：书店橱窗与月球旅行海报

单目深度估计能力

经过微调的深度模型可以输入单张图像，输出相对深度图。以客厅和浴室场景为例，左侧为原始输入图像，右侧为模型预测的深度结果，可以清晰展示家具、墙面和地面之间的远近空间关系。
示例：三组室内场景的输入图像与相对深度对比

图像修复与4倍超分辨率

修复与超分微调模型可以接收退化图像，执行单步恢复与放大操作。比如佛罗伦萨圣母百花大教堂的穹顶和立面、雪豹的胡须与斑纹，以及旧照片中的人物服饰，都可以实现输入与输出的清晰对比。更多案例包括古建筑的屋檐和砖墙，以及影视画面中的花饰、发型与衣物。需要注意的是，恢复出的高频细节属于模型预测结果，不应等同于对原始真实纹理的精确还原。
示例：佛罗伦萨建筑、雪豹、旧照片修复对比
示例：古建筑与影视画面修复对比

核心技术架构设计

无需VAE的像素空间生成

目前主流的扩散模型通常会先用VAE将图像压缩为潜在表示，在潜在空间完成生成后再解码为像素图像。而Iris-3B将生成过程直接放在像素空间，绕过了VAE的有损压缩步骤，也避免了潜在表示对图像纹理的固有偏向。简单来说，该模型无需先将画面浓缩为“压缩草稿”，而是直接学习如何生成完整的RGB像素；这并不意味着生成结果没有误差，但减少了独立压缩器带来的性能限制。

24个主干块实现跨模态建模

模型会先将输入图像切分为16×16像素的图块。主干网络的前8个双流块为文本和图像保留独立的权重参数，随后通过16个单流块联合处理两种模态的token。文本条件由冻结的Qwen3-VL-4B-Instruct模型提取，汇聚其12层隐藏状态后，经过包含2个Transformer块的文本适配器送入主干网络。模型采用2D RoPE位置编码，让同一套权重可以支持不同分辨率和宽高比的图像输入，而非局限于固定尺寸。

4层PiT头负责像素流预测

主干网络主要学习图块层面的全局语义信息，模型末端的像素Transformer（PiT）头会接收当前带噪图像经1×1切分得到的像素token，并以主干输出的图块语义token作为条件。4个PiT块通过逐像素自适应归一化引入语义条件，将像素特征压缩后进行跨图块注意力计算，最后展开特征并输出RGB像素的流预测。这种分工将全局语义计算与高分辨率像素输出分开，避免所有主干层都直接处理百万像素级的序列数据。

迁移先验到密集视觉任务

深度估计模型和图像修复/超分模型沿用了相同的基础架构，但分别采用针对对应任务的微调权重。两种任务模型都使用预先保存的空提示表示，采用单步预测模式，无需文生图所需的多步采样，也不需要运行文本编码器。在修复大尺寸图像时，模型会按1024×1024的重叠窗口进行分块处理，每个窗口分别执行一次前向传播。

模型训练采用Rectified Flow算法，从256像素分辨率开始逐步提升到512和1024像素，之后再进行1024像素分辨率的监督微调，总计训练66.5万步。其双层设计将图块级语义建模与像素级输出结合，深度估计与图像修复的能力则来自后续各自的任务微调步骤。

本地部署与使用指南

官方代码要求Python 3.11及以上版本、PyTorch 2.7.1及以上版本，以及支持CUDA与bfloat16的NVIDIA GPU，同时需要预留充足的系统内存和显存。文生图权重以float32 EMA格式保存，约占用12GB显存，CUDA前向传播可使用bfloat16自动混合精度；depth/和upscaler/目录的任务权重各额外占用约12GB显存。文生图功能还需要下载独立的4B文本编码器。

环境安装

在已配置CUDA版PyTorch的Python 3.11+环境中，获取官方代码并安装依赖，以下命令均在仓库根目录下执行：

git clone https://github.com/speridlabs/iris-3b.git

cd iris-3b

python -m pip install -e .

下载模型权重

完整下载Iris仓库会同时获取文生图基座、depth/和upscaler/的任务权重。如果需要使用文生图功能，还需要额外下载Qwen3-VL-4B-Instruct文本编码器；若仅使用深度估计或图像修复模型，可以省略第二条下载命令。

modelscope download --model speridlabs/iris-3b --local_dir ./checkpoints/iris-3b

modelscope download --model Qwen/Qwen3-VL-4B-Instruct --local_dir ./checkpoints/Qwen3-VL-4B-Instruct

文生图功能使用

通过--set参数将文本编码器明确指向本地目录，无需修改源码。示例采用官方推荐的朴素英文提示，生成1024×1024分辨率的图像，使用100步采样、CFG比例3和固定随机种子。

python scripts/sample.py \

--checkpoint ./checkpoints/iris-3b \

--set text_encoder.pretrained=./checkpoints/Qwen3-VL-4B-Instruct \

--prompt "a red fox sleeping in fresh snow, golden hour" \

--height 1024 --width 1024 \

--steps 100 --cfg-scale 3 --seed 0 \

--outdir ./output/samples

单目深度估计功能使用

将命令中的photo.jpg替换为本地图像路径，--weights参数指向depth目录，该模式不会加载文本编码器。

python scripts/depth.py photo.jpg \

--weights ./checkpoints/iris-3b/depth \

--out ./output/depth

输出结果包括相对对数深度的.npy文件和着色预览的.png文件。

图像修复与4倍超分辨率使用

通过--weights参数指向upscaler目录，生成的输出文件名会带有_x4.png后缀。默认会先将大尺寸输入图像的短边限制为不超过512像素、长边不超过1024像素，再执行4倍放大操作。

python scripts/upscale.py photo.jpg \

--weights ./checkpoints/iris-3b/upscaler \

--out ./output/upscaled
以上内容不代表本平台立场，仅供读者参考