文章摘要
AI图像生成存在“内容泄漏”问题，近期推出的FreeStyle模型旨在实现风格迁移、内容保留与泄漏抑制的平衡。它提出社区LoRA挖掘管线构建数据集，采用两阶段训练策略抑制内容泄漏，搭建多维度评测基准体系。实验显示，该模型在多方面取得平衡。此外，项目提供全面开源资源，其贡献在于挖掘数据、解决泄漏问题及构建评测体系，为相关任务提供框架与基础。

在AI图像生成领域，当我们希望模型同时参考一张内容图保留主体结构、参考一张风格图迁移视觉气质时，很容易遇到一个棘手的问题：模型往往会不自觉地将风格图中的具体人物、物体甚至场景细节也复制到生成结果中，也就是所谓的“内容泄漏”。近期推出的FreeStyle模型，正是针对这一痛点展开的系统性研究，旨在实现风格迁移、内容保留与泄漏抑制的最优平衡。

该论文的arXiv预印本地址为：https://arxiv.org/pdf/2606.20506

基于社区LoRA的数据集构建方案

FreeStyle的核心思路之一，是将AIGC社区中海量的LoRA模型作为天然的数据资源。当前主流的AIGC社区中，LoRA资源极为丰富，既有专注于特定绘画风格的模型，也有对应各类角色、物体的视觉概念模型，相比从零搭建风格数据集，社区LoRA天然覆盖了大量长尾风格与复杂视觉概念，是构建高质量监督数据的优质来源。

为此，这项工作提出了一套完整的社区LoRA挖掘管线：首先从主流社区平台收集LoRA资源，随后基于基础模型、元数据、触发词、演示图与生成结果对LoRA进行筛选分类，区分出可用的内容LoRA与风格LoRA；接着通过批量生成候选图像，结合视觉语言模型与特征相似度工具，过滤掉生成效果不稳定、不一致的样本；最后对内容LoRA与风格LoRA的组合进行兼容性验证，避免出现内容漂移或风格泄漏的无效组合，最终得到符合要求的内容-风格监督数据。

最终，项目构建了两类核心数据集：一类是SRef风格参考数据集，包含约61.9万条序列，覆盖622种风格，用于训练模型在给定内容图与风格图的情况下完成风格迁移；另一类是更复杂的CRef+SRef双参考数据集，包含约48万条序列，覆盖1704种风格，同时包含内容参考图、风格参考图、文本指令与目标图像，用于训练模型在双参考条件下实现更可控的生成。

两阶段训练策略：针对性抑制内容泄漏

除了数据集构建，FreeStyle的另一大亮点是定制化的两阶段训练流程，针对不同场景下的内容泄漏问题分别设计解决方案。

第一阶段：稳定学习单风格参考生成

第一阶段主要使用SRef风格参考数据集进行训练，目标是让模型先掌握将风格迁移到内容图上的基础能力。研究团队观察到，单风格参考场景下的内容泄漏，往往源于模型对风格参考token的注意力过强，尤其是在部分降噪步骤与浅层Transformer模块中，模型过度关注风格参考图，会不自觉将风格图中的主体、构图等内容信息带入生成结果。

为解决这一问题，项目引入了注意力层级增强约束（attention-level enrichment constraint），通过调节模型对风格参考图的注意力分布，让模型既能获取足够的风格特征，又不会过度依赖风格图中的具体内容，有效降低了单场景下的内容泄漏风险。

第二阶段：掌握内容-风格双参考生成

第二阶段引入CRef+SRef双参考数据集，让模型同时学习内容参考、风格参考与文本指令的联合约束。双参考任务中的泄漏机制更为复杂，除了注意力过强，还可能源于RoPE位置编码带来的局部位置对应问题：模型可能在风格图与输出图之间建立局部Patch级别的对应关系，直接复制风格图中的局部细节。

针对这一问题，项目提出了频率感知的RoPE调制（frequency-aware RoPE modulation）：在风格参考分支中，抑制容易引发局部复制的高频位置信息，同时增强偏向全局结构与整体风格的低频成分，既减少了风格图中具体内容的泄漏，又保留了风格层面的引导信号，且该调制仅作用于风格参考分支，不会破坏内容参考图的结构信息。

多维度评测基准体系

FreeStyle还搭建了一套系统性的评测基准，用于全面评估SRef与CRef+SRef两类任务的生成效果，不再依赖单一指标进行评判。评测维度涵盖五大核心方面：

  • 风格一致性：模型是否准确学习并迁移了风格参考图的视觉特征
  • 内容一致性：模型是否完整保留了内容参考图中的主体结构与细节
  • 指令遵循度：模型是否严格按照文本提示完成生成任务
  • 美学质量：生成图像的自然度与美观程度
  • 泄漏程度：风格参考图中的具体元素是否被错误复制到生成结果中

其中一个关键指标是CAS（Content Alignment Score），该指标基于DINOv2视觉特征，通过实例归一化去除风格相关的统计信息，能够更精准地衡量生成结果与内容参考图的结构相似度，解决了传统内容相似度指标容易被风格变化干扰的问题。

实验表现：实现三方平衡的最优解

从实验结果来看，FreeStyle的核心优势并非追求单一指标的极致表现，而是在风格迁移、内容保留与泄漏抑制之间找到了更稳健的平衡。

在SRef基准测试中，FreeStyle在开源方法中取得了优异的风格一致性与验证分数，证明其能够稳定学习风格参考图的视觉属性，同时避免过度破坏内容图的结构。在难度更高的CRef+SRef基准测试中，项目同样展现出出色的风格迁移能力，该任务本身存在明显的权衡矛盾：部分模型能够较好保留内容，但风格迁移效果不足；另一部分模型风格表现突出，但容易引入风格图中的冗余内容。FreeStyle则在这两个方向之间找到了最优平衡点。

消融实验：核心模块的有效性验证

研究团队通过消融实验验证了两个核心模块的作用：

首先是注意力层级增强约束：移除该约束后，模型更容易从风格参考图中复制具体语义内容，加入该约束后，内容泄漏现象得到明显抑制，证明了注意力调控在单风格参考生成任务中的关键作用。

其次是频率感知的RoPE调制：在双参考场景中，未使用该调制的模型更容易在风格图与输出图之间建立局部对应关系，引发内容泄漏；加入该模块后，泄漏现象得到有效缓解，同时保留了出色的风格迁移能力。

此外，对比不同数据来源训练的模型结果显示，FreeStyle基于LoRA挖掘的数据集管线，在复杂风格与长尾风格的适配上更具优势，证明社区LoRA生态不仅是模型插件资源，更是构建大规模风格-内容数据的重要来源。

完整开源资源

该项目提供了全面的开源资源，包括项目代码、数据集、评测基准、模型权重以及LoRA挖掘相关的元数据，方便后续研究者复用与拓展：

从项目仓库结构来看，该资源不仅包含了FreeStyle模型的推理代码与Demo，还提供了完整的社区LoRA数据生产流水线、社区LoRA元数据以及多模型推理与评测工具，形成了从数据挖掘到模型训练、评测的完整闭环。

研究总结与价值

整体而言，FreeStyle的贡献可以概括为三个核心方面：

第一，提出了一套系统性的社区LoRA挖掘管线，将海量的社区LoRA资源转化为大规模、多样化的内容-风格监督数据，相比传统人工构建的数据集，能够更好覆盖复杂风格与长尾视觉概念。

第二，针对双参考生成中的两类内容泄漏问题，设计了两阶段训练策略，分别通过注意力层级约束与频率感知RoPE调制解决不同场景下的泄漏问题，实现了风格迁移、内容保留与泄漏抑制的平衡。

第三，构建了多维度的评测基准体系，从风格一致性、内容保留度等多个维度全面评估模型性能，为后续相关研究提供了可靠的评测基线。

FreeStyle的价值不仅在于提出了一款性能优异的图像生成模型，更在于开辟了一种新的思路：将社区生态中的现有资源系统性转化为可控的AI训练数据，为后续的风格参考生成、多图参考可控生成等任务提供了可复用的技术框架与数据基础。

以上内容不代表本平台立场，仅供读者参考