魔搭ModelScope开源LingBot-Vision视觉模型，附使用教程

2026-07-08 09:09:34

文章摘要

近期，Robbyant团队推出含深度补全模型LingBot - Depth 2.0与通用视觉基座模型LingBot - Vision的空间感知模型套件。前者数据规模扩大，性能跃升；后者实现训练范式突破。团队开源了LingBot - Vision四版本，还与奥比中光合作落地。此外，文中给出本地部署与使用指南。

近期，Robbyant团队正式推出了全新一代空间感知模型套件，包含深度补全模型LingBot-Depth 2.0与通用视觉基座模型LingBot-Vision。该套件凭借1.5亿规模的训练数据以及业内首创的“边界结构”预训练范式，在深度补全任务的16项基准测评中斩获12项第一，以亚像素级的空间感知能力重新定义了机器人视觉基座的性能标准。

LingBot-Depth 2.0：大规模数据驱动的深度感知升级

作为面向真实场景的深度补全模型，LingBot-Depth 2.0相当于机器人在物理世界的“视觉眼睛”。相较于1.0版本，该模型的训练数据从300万扩充至1.5亿规模，在深度补全基准的16项测评中拿下12项第一，性能实现了全面跃升。

在最难的室内大面积深度缺失场景中，LingBot-Depth 2.0的深度误差较上一代减半，RMSE从0.132降至0.062；针对玻璃、镜面、透明物体等传统深度相机极易失灵的场景，该模型也能补全出完整、平整的三维结构，解决了机器人看清透明、反光、密集物体的空间感知难题。

目前，LingBot-Depth 2.0已通过奥比中光深度视觉实验室的专业认证。基于奥比中光Gemini 330系列双目3D相机提供的芯片级3D原始数据，实际场景测试显示，该模型在边缘清晰度、物体轮廓完整性、细小物体识别、远距离深度估计以及复杂光照、材质场景下的鲁棒性等方面均有明显提升。

LingBot-Vision：边界结构预训练的通用视觉基座

LingBot-Depth 2.0的突破性进展，离不开LingBot-Vision提供的强大视觉表征能力。作为一款通用视觉基础模型，LingBot-Vision区别于传统视觉模型的建模思路，率先开启了面向空间原生的几何建模方式，也是业内首个把“边界结构”作为预训练目标的视觉基础模型，实现了空间感知训练范式的突破。

该模型拥有亚像素级的边界定位与空间结构理解能力，能够实现更高精度、更稳定的空间感知效果。值得一提的是，LingBot-Vision的预训练语料仅为1.6亿张图像，比DINOv3小一个数量级，但即便如此，与主流视觉基础模型相比，其对物体边界和空间结构的识别更清晰、更稳定，还能在视频中连续追踪物体边界。

本次发布中，团队同步开源了LingBot-Vision的四个版本——ViT-G/L/B/S，该模型除了支持LingBot-Depth 2.0的训练需求外，还具备“一模多用”的通用能力，适配多种视觉场景需求。

产业落地：与奥比中的深度联动

在商业化落地方面，Robbyant已与奥比中光展开多维度深度合作。奥比中光最新推出的无本体数据采集产品矩阵中，RGB-D版本的EGO设备将适配Robbyant专门为数采场景优化的LingBot-Depth版本，后续还将进一步集成更高级别的商业版本模型，持续补全深度缺失、优化物体边缘和空间结构细节，为具身智能模型训练提供更精准、更稳定、更可用的真实世界数据底座。

此外，奥比中光将推出集成LingBot-Depth最新模型能力的SDK产品，供机器人客户在端侧使用，让使用Gemini 330系列相机的机器人获得更好的深度效果；并计划于年底推出集成LingBot-Depth商业版的一体化相机产品，实现“3D相机 + 空间感知能力”的一体化交付。

本地部署与使用指南

LingBot-Vision已在开源社区上线四个版本，采用Apache 2.0协议，运行环境要求Python ≥ 3.10、PyTorch ≥ 2.0，推荐使用CUDA GPU进行大模型推理。

开源地址

Model：https://www.modelscope.cn/collections/Robbyant/LingBot-Vision
Website：https://technology.robbyant.com/lingbot-vision
Code：https://github.com/robbyant/lingbot-vision
Tech Report：https://github.com/robbyant/lingbot-vision/blob/main/paper.pdf

模型下载

# 任选所需规模的 backbone，也可全部下载
modelscope download --model Robbyant/lingbot-vision-vit-large --local_dir ./lingbot-vision-vit-large
modelscope download --model Robbyant/lingbot-vision-vit-giant --local_dir ./lingbot-vision-vit-giant
modelscope download --model Robbyant/lingbot-vision-vit-base  --local_dir ./lingbot-vision-vit-base
modelscope download --model Robbyant/lingbot-vision-vit-small --local_dir ./lingbot-vision-vit-small

环境安装

git clone https://github.com/robbyant/lingbot-vision.git
cd lingbot-vision
conda create -n lingbot-vision python=3.10 -y
conda activate lingbot-vision
python -m pip install -r requirements.txt
python -m pip install -e .

加载预训练主干网络

将load_pretrained_backbone的第一个位置参数指向从开源平台下载的本地目录即可。variant可选giant、large、base或small（默认为large）：

import torch
from lingbot_vision import (
    load_pretrained_backbone,
    extract_patch_tokens,
    load_image,
)
device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32
backbone, embed_dim = load_pretrained_backbone(
    "./lingbot-vision-vit-small",
    variant="small",
    device=device,
    dtype=dtype,
)
img_norm, _, _ = load_image(
    "examples/example.png",
    size=512,
    patch_size=backbone.patch_size,
    mode="square",
)
patch_tokens, patch_grid = extract_patch_tokens(
    backbone, img_norm, device, dtype,
)
print(patch_tokens.shape, patch_grid, embed_dim)
# torch.Size([1, 1024, 384]) (32, 32) 384

patch_tokens形状为[B, H*W, C]，H与W为patch网格尺寸。

PCA 可视化 Demo

将下载得到的model.pt作为--ckpt传入即可运行：

./scripts/run_pca_demo.sh \
  --config-file lingbot_vision/configs/lbot_vision_vitl.yaml \
  --ckpt ./lingbot-vision-vit-large/model.pt \
  --input examples/example.png \
  --out outputs/pca_demo \
  --size 512 \
  --mode square \
  --dtype bf16

Demo会将patch token的前三个PCA主成分映射为RGB，输出PCA-only与输入/PCA对比两张可视化。CPU推理可将参数改为--dtype fp32 --device cpu；对于ViT-g/16，--size 512对应32×32 patch网格。--mode square会resize到size×size且不保留宽高比，--mode shortest则将最短边resize到size后中心裁剪。

Checkpoint 格式说明

开源平台发布的.pt checkpoint仅包含backbone权重，不含optimizer state、projection head或训练时的boundary head。Loader同时接受纯state dict或{"backbone": state_dict}字典结构，若key带backbone.前缀会被自动剥离。

塔猴是一个专注于为用户提供系统学习、内容创作与商业连接的AIGC综合服务平台，致力于为每一位AI探索者打造理想的创作、成长家园。在塔猴，你不仅可以学习众多AIGC类实战课程，获得与时俱进的AIGC技能和视野，还有机会获得长期商业合作和接单机会！点击进入：https://www.tahou.com/

AI生成内容提示：本文由人工智能辅助创作，内容仅供参考，不代表平台观点。请注意核实信息的准确性，并理性判断。

以上内容不代表本平台立场，仅供读者参考