Voicebox

开源 AI 语音工作室——克隆任意声音，听写进任意应用，给 Agent 装上你拥有的声音

更新于 2026-08-10

一句话定位

ElevenLabs + WisprFlow 的开源替代，一台本地应用全搞定

两个云厂商各占语音 I/O 循环的一半——ElevenLabs 管输出、WisprFlow 管输入。Voicebox 两个都做，用内置本地 LLM 做润色与人格，整条语音栈跑在本机：模型、声音数据、采集内容永不离机。

核心数据

零样本克隆（几秒参考音频）+ 50+ 预设声（Kokoro/Qwen CustomVoice）；8 种后期效果（Spotify pedalboard）；词级时间戳字幕；多轨 Stories 编辑器；全局听写热键；REST API + 内置 MCP server。

语音 I/O 循环的断裂

7 个 TTS 引擎矩阵

多引擎按次切换；加新引擎有 step-by-step 指南 + 专用 agent skill 可自主集成。

语音输入 → 输出闭环

隐藏的实力

• 无限长度：句边界自动分块 + 交叉淡化拼接，最多 50,000 字符，智能切分尊重缩写/CJK 标点/[tags]
• 版本溯源：每次生成保留 Original + 效果链版本 + 不同种子 Takes，记录谱系，可收藏
• 异步队列：生成不阻塞，串行防 GPU 争抢，SSE 实时进度，崩溃自动恢复陈旧任务
• Whisper STT：Base→Turbo 全档位；Turbo 比 Large 快 ~8x 且质量损失极小；Parakeet v3 / Qwen3-ASR 在路线图
• Captures：所有听写/录音/上传与转写配对保存，可重转写、精修、一键转语音、提升为克隆样本
• GPU 全平台：macOS MLX(Metal 4-5x Neural Engine)、Windows CUDA、Linux ROCm、Intel Arc、Docker

API-First + MCP

# REST：生成 / 说话 / 转写 / 列表
curl -X POST http://127.0.0.1:17493/speak \
  -H "Content-Type: application/json" \
  -H "X-Voicebox-Client-Id: my-script" \
  -d '{"text": "Deploy complete.", "profile": "Morgan"}'

# Claude Code 一行接入 MCP
claude mcp add voicebox --transport http \
  --url http://127.0.0.1:17493/mcp \
  --header "X-Voicebox-Client-Id: claude-code"

四个工具：speak / transcribe / list_captures / list_profiles。HTTP + stdio 双传输；每 Agent 声音绑定 + last_seen_at 确认安装。用 personality: true 走「文本 → 人格 LLM → TTS」流水线。

起步

# 桌面端：官网下载 DMG/MSI（macOS/Windows）或
docker compose up

# 开发环境
git clone https://github.com/jamiepine/voicebox.git
cd voicebox
just setup   # Python venv + 全部依赖
just dev     # 启动后端 + 桌面应用

仓库自带 .mcp.json，在 checkout 里跑 Claude Code 自动拾取 Voicebox MCP 工具。技术栈：Tauri (Rust) + React + Python FastAPI。

谁适合用

需要警惕

• 硬件门槛：7 引擎 + Whisper + 本地 LLM 同跑吃显存/内存，弱机器体验打折（有 per-model 卸载缓解）
• Linux 无预编译包：只有源码构建路线，社区包生态未成熟
• 克隆技术双刃：语音克隆能力有深度伪造滥用面，需合规使用
• 单维护者项目：功能面大（桌面/后端/引擎集成/文档），个人维护节奏存疑，DeepWiki 开放问答降低上手门槛
• 本地 LLM 能力上限：人格重写用 Qwen3 0.6–4B，复杂角色表现力不如云端大模型

未来空间

「输入+输出+人格」单应用闭环是正确的位置——云端厂商各占一半时，本地闭环既是隐私卖点也是差异化。若引擎矩阵持续扩展（Parakeet/Qwen3-ASR 路线图）+ MCP 生态（ACP/A2A）接通，可成为 Agent 语音 I/O 的默认本地层。