文章摘要
腾讯近期开源Hy4 flash系列多模态模型,总参数2240亿、单token仅激活120亿,支持百万token上下文与图文输入,设3个适配不同场景的版本。该模型日常任务表现优于前代,使用成本更低,用户满意度接近同类标杆,支持多种部署与微调方式。

一款多模态开源模型近期发布,总参数达2240亿,仅激活120亿参数,支持100万token的上下文窗口,日常任务表现与使用成本均优于前代产品,用户满意度接近同类标杆模型。

该开源多模态模型包含2240亿总参数,其中有640亿Engram参数,每个token激活120亿参数。模型原生支持文本与图像输入、文本输出,重点优化日常工作任务的完成质量、使用成本与端到端处理时长。

本次开源包含三个版本:指令微调版Hy4 flash、FP8量化的指令微调版Hy4 flash-FP8,以及未经过指令微调的预训练基座模型Hy4 flash-base。前两个版本适用于对话与推理场景,基座模型则作为基础预训练模型使用。此外,第三方压缩工具提供该模型的GGUF量化版本,支持128GB设备部署,后续会推出更多设备适配方案。

在内部任务评测中,该模型的综合表现优于前代产品,同时降低了单任务成本。在WorkIndex评测中,该模型得分42.1,前代产品为39.7,另一款同类模型得分为51.4。评测覆盖PPT制作、文档编辑、表格修复等8项日常任务;在公开Agent任务评测中,覆盖DeepSWE、ProgramBench等7项基准任务。对于深度搜索、文档处理、PPT制作等日常生产力任务,推荐使用该模型;长程复杂任务则更适合上限更高的同类模型。

为验证实际使用体验,团队邀请85位内部用户参与27类共259个日常任务的盲测,对比用户满意度、端到端完成时间中位数与单任务成本。结果显示,该模型用户满意度为2.79/4,接近同类标杆模型的2.81/4;端到端任务完成时长中位数为6.7分钟,单任务成本0.26元,在参评模型中成本最低、处理速度最快。

模型部署方式

该模型支持本地推理与服务部署,可通过Transformers框架实现本地推理,也可使用vLLM、SGLang工具部署服务,提供BF16与FP8指令模型。部署需要大显存多卡GPU,以下为基础操作步骤:

安装相关下载工具:

pip install modelscope

Transformers本地推理示例(使用BF16指令模型):

modelscope download Tencent-Hunyuan/Hy4-flash \
 --local-dir Tencent-Hunyuan/Hy4-flash

vLLM与SGLang服务部署示例(使用FP8指令模型):

modelscope download Tencent-Hunyuan/Hy4-flash-FP8 \
 --local-dir Tencent-Hunyuan/Hy4-flash-FP8
export MODEL_DIR="$PWD/Tencent-Hunyuan/Hy4-flash-FP8"

服务就绪后,可通过OpenAI兼容API调用,安装客户端后即可使用标准SDK发起请求。

模型微调流程

该模型支持通过ms-swift工具进行纯文本与多模态监督微调,提供全参数训练与LoRA两种方式,均建议使用至少4台机器、32张GPU,单卡显存不低于96GB,单机器CPU内存不低于2TB。

安装与模型准备步骤:

git clone https://github.com/modelscope/ms-swift
cd ms-swift
pip install -e .
pip install modelscope
pip install deepspeed
# 需从对应PR安装适配源码
pip install "transformers[torch,vision] @ git+https://github.com/huggingface/transformers.git@refs/pull/50903/head"
modelscope download Tencent-Hunyuan/Hy4-flash \
 --local-dir Tencent-Hunyuan/Hy4-flash

训练脚本位于ms-swift/examples/models/hy4_flash/目录。微调需准备JSONL格式的训练数据,每行对应一个样本,通过messages保存对话。当前插件固定使用no_think模式,如需训练思考模式可调整配置。根据任务选择对应训练脚本,启动前需替换模型路径、数据路径与输出路径,LoRA与全参数训练分别采用不同配置,多机训练需配置免密SSH与节点列表。

以上内容不代表本平台立场,仅供读者参考