文章摘要
ECCV 2026收录的ICRDrag（上下文区域拖拽模型）解决了AI拖拽修图难题。它对比传统修图工具优势明显，有上下文学习框架等核心技术，基于PRD数据集训练。可用于人像修图、产品设计等场景，由上海交大牛力实验室研发。

还在为AI拖拽修图的种种问题头疼吗？曾经依赖DragGAN、DragDiffusion这类工具的拖拽修图时代已经成为过去式——ECCV 2026收录的ICRDrag（上下文区域拖拽模型），通过精准的掩码定位实现了真正的「选哪改哪」，无论是移动、缩放还是变形操作，都能保持画面丝滑自然，同时兼顾编辑精度与视觉真实感。

传统拖拽修图的痛点

传统AI拖拽修图究竟有哪些致命缺陷？不少尝试过这类工具的用户都遇到过这些问题：

  • 基于单点拖拽：

    主流的DragGAN、DragDiffusion等模型仅依靠少量点位对来控制画面调整，点位信息本身就存在模糊性，AI很容易误解用户的真实需求。点位越少，歧义性越强，想要精准调整物体形态往往需要反复尝试，很难严格对齐目标位置。

  • 现有区域拖拽：

    后续出现的RegionDrag、DragFlow等改用掩码来控制编辑区域，但依然存在明显缺陷：拖拽后的物体边缘容易出现断层，和背景融合生硬，面对复杂的形状或姿态调整时完全无能为力。

上下文区域拖拽的核心技术

ICRDrag作为全新的上下文区域拖拽方案，从底层解决了拖拽编辑的控制难题，核心技术亮点包括：

  • 上下文学习框架：

    基于DiT上下文学习框架，模型可以一次性接收原图、源区域掩码、目标区域掩码作为输入，直接输出完成编辑的图片，无需复杂的中间调整步骤。

  • 图像-掩码注意力一致性约束：

    在模型借鉴原图信息生成目标图像时，注意力分布需要和目标掩码匹配源掩码的分布保持一致，让AI不再割裂看待画面和选区，确保生成的画面严格贴合掩码划定的空间轮廓。

  • 源-目标双向注意力对应约束：

    建立编辑前后物体的对应关系，让目标物体可以精准对应原图的原始区域，同时原图区域也能反向关注目标物体，保证编辑的连贯性。

  • 图片/掩码专属模态LoRA：

    图像本身带有丰富的纹理细节，而掩码仅存储空间轮廓信息，二者的属性差异较大。ICRDrag为图像和掩码分支分别使用了独立的LoRA模块，更好地适配两种不同类型的输入数据。

  • 分阶段课程式训练：

    实际使用中用户手绘的掩码往往比较粗糙，模型采用两阶段渐进式训练：第一阶段使用完整的语义掩码进行训练，让模型先掌握区域变换的基本逻辑；第二阶段则使用稀疏不完整的掩码进行训练，通过随机膨胀来模拟手绘时的粗糙选区，大幅提升模型的容错率，哪怕用户绘制的掩码不够工整，AI也能精准理解编辑意图。

专属大规模训练数据集

为了训练ICRDrag模型，研究团队基于百万级视频数据集OpenVid，打造了首个大规模区域拖拽数据集PRD（Paired Region Dataset），填补了该领域的数据空白：

  • 训练集：

    包含28.7万组「原图 + 源掩码 + 目标图 + 目标掩码」的配对样本，每组样本都包含完整的源和目标区域的细节信息。

  • 评测基准PRDBench：

    包含1000组经过人工校验的高质量样本，同时标注了掩码和关键点，可以公平对比单点拖拽和区域拖拽两类模型的性能。

实用落地场景

ICRDrag的图像拖拽编辑能力可以覆盖多个落地场景，成为设计师和摄影爱好者的高效工具：

  • 人像修图：

    可以框选人脸、四肢等区域，自由调整身材比例、姿态或五官位置，全程不会出现变形或失真的问题。

  • 静物/产品设计：

    拖拽调整商品的摆放位置、缩放尺寸，无需重新绘制光影效果，快速完成产品效果图的调整。

  • 场景构图优化：

    移动画面中的人物、花草、建筑等元素，AI会自动填充背景区域，让调整后的画面保持无缝融合的视觉效果。

  • 创意设计：

    可以自由扭曲物体的轮廓，实现复杂的创意形变，告别传统编辑中生硬的拼接痕迹。

在线演示使用说明

官方提供的在线演示工具支持用户用不同颜色绘制最多5对源区域和目标区域，将多个选中的局部区域拖拽到对应目标位置。如果担心其他区域出现意外改动，还可以额外添加锚点式的区域对来锁定无关画面，让编辑更加精准可控。你可以通过这个链接体验ICRDrag的效果。

研发团队简介

ICRDrag由上海交通大学牛力实验室研发，该实验室近年来的研究重点集中在图像生成与编辑领域，核心方向包括图像合成与物体插入、少样本图像生成，同时也涉及图像填充、图像分层、风格迁移、拖拽编辑等多个子领域。近两年团队还在关注生成模型的后训练以及理解与生成一体化模型的研发。

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。

以上内容不代表本平台立场，仅供读者参考