Haru-4B全双工语音模型开源 Mac端延迟仅65毫秒

Higurashi AI开源了一款名为Haru-4B的全双工连续语音对话基础模型,参数规模为4B。该模型能够同时接收和输出语音,无需等待用户说完再回应,可学习对话中的附和、打断、话轮交替等自然行为,训练数据来自超过4000万小时的真实语音,覆盖160多种语言,且不依赖LLM或TTS生成的合成对话。在搭载Apple M1 Max的MacBook上,其端到端延迟仅约65毫秒,还支持通过文本提示和参考音频来控制角色人设、说话风格与声音特征。
本次开源内容包括Haru-4B预训练基础模型,以及配套的语音分离与修复模型FastDialogueSidon,后者可将单声道混合对话录音重建为时间对齐的全双工语音流,为Haru的训练提供数据。相关资源地址:
● 语音对话模型Haru-4B:https://modelscope.cn/models/higurashi-ai/Haru-4B
● 语音分离与修复模型FastDialogueSidon:https://modelscope.cn/models/higurashi-ai/FastDialogueSidon
● 体验链接:https://modelscope.cn/studios/AI-ModelScope/Haru-4B
Haru-4B基于Qwen3.5-4B构建,核心是通过统一语言模型同时处理输入与输出语音。其架构包含四个关键设计:
原生全双工多流建模:模型同步处理用户输入音频、模型输出音频和模型文本三条数据流,通过逐元素相加合并嵌入后由共享语言模型处理,无需按token交错排列,可将上下文长度缩减至三分之一,同时保持文本流连续。
7.5Hz连续语音token:不同于多数语音模型依赖离散音频token,Haru采用64维连续声学潜变量,频率为7.5Hz,每个token对应约133毫秒语音,避开离散码本以减少训练和推理中的LLM顺序建模步骤。
单步连续语音生成:基于下一潜变量扩散框架,使用轻量级多层感知机直接从语言模型的隐藏状态生成连续声学token,推理时每个声学token只需一步采样即可生成,无需迭代流采样或额外声学Transformer。
分块级文本对齐:将文本表示为块并添加填充位置与专用结束token,用于预测开始说话的时机,适配文本与音频的不同时间分辨率,同时减轻预训练语言模型知识的灾难性遗忘。这些设计共同实现了高效的大规模语音预训练,将推理降至每秒仅7.5次自回归音频处理,使低延迟实时全双工互动在本地硬件上也具备可行性。
研究团队认为,大规模真实语音对学习自然对话动态至关重要,与合成对话不同,真实录音包含自发的打断、犹豫、附和、重叠发言以及不规则的话轮边界。Haru-4B使用超过4000万小时的语音进行预训练,覆盖160多种语言,其中九种为主要语言,训练时排除了LLM生成的对话和TTS合成的语音,以学习自然的人类对话模式。整个预训练分为两个阶段:
阶段1:单声道语音预训练:通过混合自动语音识别(将语音与语言表示关联)、语音与文本续写(学习连续语音建模与生成)、纯文本复习训练(减轻知识遗忘)三个任务,让Qwen3.5-4B适配语音。
阶段2:全双工预训练:使用超过1300万小时经过分离处理的全双工对话数据,训练样本包含最长达60分钟的对话,让模型学习长程对话动态,包括持续话轮交替和重叠发言。同时,为每条训练样本生成角色提示并使用同一说话人的参考音频作为条件,使模型可通过文本提示和参考音频控制角色个性与声音特征。
3.1 预处理与训练优化
加速语音预处理:处理大规模语音需要大量计算资源,团队使用定制Triton内核优化神经音频编解码器、Sidon和FastDialogueSidon等预处理模型,加速大规模数据准备。
大规模分布式训练:Haru-4B使用256块NVIDIA B200 GPU进行预训练,耗时约8天,训练基础设施基于Megatron-LM并针对高效语音预训练优化。
3.2 实时推理优化
Apple Silicon上的超低延迟推理:在搭载Apple M1 Max的MacBook上,原生Swift应用使用优化的定制Metal内核,实现约65毫秒的端到端延迟,延迟明细如下:输入(麦克风→应用)5.3±0.0毫秒,一次模型处理34.2±0.5毫秒,Socket通信与交接4.1±0.3毫秒,输出等待13.3±1.5毫秒,输出(应用→耳机)8.1±0.2毫秒,总计(p50)65.2±1.5毫秒。该延迟不包括音频分帧,分帧会额外引入最多133毫秒算法延迟。
高性能GPU服务:支持通过vLLM-Omni在GPU上部署,在NVIDIA B300 GPU上,音频编码、解码与一次语言模型处理合计约需15毫秒。
Haru-4B提供三种推理实现,共用同一份模型权重:PyTorch(需约12GB显存的NVIDIA GPU)、Apple Silicon上的MLX(需macOS 13或更新版本,建议至少16GB内存)、vLLM-Omni插件。下载模型与代码可执行以下命令:
pip install modelscope
modelscope download higurashi-ai/Haru-4B --local-dir higurashi-ai/Haru-4B
git clone https://github.com/higurashi-ai/Haru.git
PyTorch:网页语音对话
创建环境、安装依赖并加载本地模型:
python3 -m venv Haru/.venv
source Haru/.venv/bin/activate
pip install -e ./Haru/haru
python -m haru.server --model ./higurashi-ai/Haru-4B --device cuda --language zh --port 8998
浏览器访问http://localhost:8998,允许麦克风访问,选择角色并上传参考声音即可对话。
MLX:Mac本地语音对话
需Python 3.10+和Apple Command Line Tools,未安装则执行xcode-select --install。安装与启动命令:
python3 -m venv Haru/haru_mlx/.venv
source Haru/haru_mlx/.venv/bin/activate
pip install -e ./Haru/haru_mlx
(cd Haru/haru_mlx/swift && ./build_app.sh)
python -m haru_mlx.native --model ./higurashi-ai/Haru-4B --language zh --quantize 8
--quantize 8对语言模型主干进行8位量化,另开终端运行客户端:./Haru/haru_mlx/swift/.build/haru-client --voice "$PWD/voice.wav"(voice.wav为准备好的参考声音)。
vLLM-Omni:并发语音服务
使用独立环境安装指定版本与插件:
python3 -m venv Haru/.venv-omni
source Haru/.venv-omni/bin/activate
pip install vllm==0.32.0 vllm-omni==0.32.0
pip install -e ./Haru/haru -e ./Haru/haru_vllm
vllm serve ./higurashi-ai/Haru-4B --omni --deploy-config "$(python -m haru_vllm.deploy)" --host 127.0.0.1 --port 8000
另开终端连接服务:
source Haru/.venv-omni/bin/activate
python -m haru.server --backend vllm --vllm-url http://localhost:8000 --language zh --port 8998
浏览器访问http://localhost:8998,该后端使用实时全双工WebSocket协议,非普通对话接口。
注意:三种部署方式均需自行准备具有授权的参考声音,建议使用单人清晰WAV音频,时长3秒至3分钟,使用有线耳机和麦克风可减少设备延迟与回声。

