项目详情

OpenMontage

首个开源 Agentic 视频制作系统——把 AI 编码助手变成完整视频工作室

GitHub 地址 AGPL-3.0 Python 3.10+Agent-FirstRemotion

更新于 2026-08-10

项目速览

一句话定位

把 AI 编码助手变成一套完整视频制作流水线

Claude Code / Cursor / Copilot / Windsurf / Codex 任选其一，用自然语言描述想要什么——Agent 负责调研、写脚本、生成素材、剪辑、最终合成渲染。12 条生产流水线、100+ 工具、700+ 知识与 skill 文件，无代码编排器，你的编码助手就是导演。

项目速览

核心数据

46.5k

GitHub Stars

生产流水线

100+

制作工具

700+

Skill / 知识文件

另：5.8k forks、74 open issues、145 open PRs；发布当天登顶 GitHub Trending #1 Repository of the Day；项目自带 YouTube 频道持续公开每条成片的完整 prompt、流水线、工具与成本。

为什么存在

传统 AI 视频工具的四个局限

只给片段，不给成片

多数工具「一个 prompt 一段 clip」，而真实成片需要调研→脚本→素材→剪辑→合成全流程。

「免费视频」= 静态图动画

所谓免费 AI 视频常是 Ken Burns 式推拉静态图，README 直言这不是「video video」。

prompt 一次性，无治理

无预算控制、无质量门、无决策审计，产生意外账单和幻灯片式成品。

专业流程无法复用

真实制作团队的流程（提案/脚本/分镜/审批）被丢在人工经验里，无法沉淀。

核心理念

Agent-First：没有代码编排器

这是全项目最重要的架构决定：你的 AI 编码助手 IS 编排器。Python 只提供工具与状态持久化，所有流程、标准、质量观都落在可读、可改、可审计的文件里。

自然语言需求→ 读 YAML 流水线清单→ 读阶段导演 Skill→ 调 Python 工具→ 自审 + 状态检查点→ 人类审批门→ 渲染 + 后审

流程 = 文件：编排逻辑、审查标准、质量规则都是 YAML manifest + Markdown skill，可随时 inspect / 定制
每步可审计：每次决策记录备选方案、置信度与理由，全阶段持久化

关键区分

真视频 ≠ 静态图动画

OpenMontage 能做出「动画化的图」——但它也能免费做出真正的视频：Agent 从免费素材库与开放档案构建语料库，CLIP 语义检索真实运动片段，剪辑进时间线，渲染成片。README 特意划清界限：「That is not the usual 'animate a handful of stills and call it video' trick.」

语料库构建

Archive.org + NASA + Wikimedia Commons + Pexels/Unsplash 免费 key，按主题拉取并建索引

语义检索

CLIP 模型按镜头意图打分检索真实运动素材，而非堆静态图

意图剪辑

按叙事节奏剪进时间线，配乐、旁白、字幕，FFmpeg 合成

对应流水线：Documentary Montage（纪录片蒙太奇）。提示词里显式说 "use real footage only" 即可走免费真实素材路径。

能力矩阵

12 条生产流水线

流水线	产出	最适合
Animated Explainer	AI 生成讲解视频（调研+旁白+视觉+音乐）	教育内容、教程
Animation	动态图形、文字动画、序列动效	社媒、产品演示
Avatar Spokesperson	虚拟形象主持人视频	企业沟通、培训
Cinematic	预告片、情绪向短片	品牌片、宣传 teaser
Clip Factory	从长视频批量切排名短片段	长内容二次分发社媒
Documentary Montage	CLIP 索引免费素材语料库剪辑蒙太奇	视频散文、B-roll、免 API 真视频
Hybrid	实拍素材 + AI 生成辅助视觉	为既有素材增强图形
Localization & Dub	字幕、配音、翻译既有视频	多语言分发
Podcast Repurpose	播客高光转视频	播客营销、audiogram
Screen Demo	精致软件录屏讲解	产品 demo、教程
Talking Head	镜头前真人出镜视频	演讲、vlog、访谈

统一流程

每条流水线同一套七阶段流程

research→ proposal→ script→ scene_plan→ assets→ edit→ compose

Web research 是一等公民阶段：动笔前跑 15–25+ 次搜索（YouTube/Reddit/HN/新闻/学术），结构化研究简报并引证——视频基于真实信息，不靠幻觉
每阶段有专属 director skill：Markdown 指令文件教 Agent 如何执行该阶段，读完 skill 再用工具、自审、打检查点
创造性决策点请求人类审批：提案、脚本、分镜、素材、发布都是强制门

架构

三层知识架构

Layer 1 · tools/ + pipeline_defs/

"What exists"

100+ 可执行 Python 工具 + 12 个 YAML 流水线清单，声明能力与编排

Layer 2 · skills/

"How to use it"

OpenMontage 约定与质量线：流水线导演、创作技巧、审查检查表

Layer 3 · .agents/skills/

"How it works"

外部技术知识包，工具声明依赖，Agent 需要时深入读取

# 目录速览
tools/            # 100+ Python 工具：video/audio/graphics/enhancement/analysis/avatar/subtitle
pipeline_defs/    # YAML 流水线清单（Agent 的剧本）
skills/           # Markdown 技能：pipelines/ creative/ core/ meta/
schemas/          # 15 个 JSON Schema（契约校验）
styles/           # 视觉风格 playbook（YAML）
remotion-composer/# React/Remotion 合成引擎
lib/              # 核心基础设施：config/checkpoints/pipeline loader

可视化

Backlot：实时故事板 + 审批门

Chat 告诉你 Agent 说了什么，Backlot 展示制作正在做什么——本地面板随流水线运行自动填充：阶段点亮、脚本落成剧本页、场景卡在资产生成时闪烁、每个 Provider 决策和花费都上墙。

活的故事板 = 审批门

资产生成按场景暂停在联系表——takes、prompts、单资产成本、质量分，渲染前先批视觉

零配置自动开

生产开始时 Agent 自动打开面板，一切从流水线已写的项目文件推导，无需上报

REPLAY RUN

跑完点 ▶ 重放整场制作，按时间戳可拖拽回看每一步

python -m backlot open              # 库——磁盘上所有项目
python -m backlot open <project-id>  # 单个制作的实时面板

零成本起步

零 API Key 也能产出真视频

能力	免费工具	作用
旁白	Piper TTS（本地离线）	真人感语音合成，零费用
开放素材	Archive.org + NASA + Wikimedia Commons	档案影像、教育媒体、纪录片质感
补充素材	Pexels + Unsplash + Pixabay	免费 stock（开发者 key 免费申请）
合成	Remotion（React）/ HyperFrames（HTML+GSAP）	弹簧动画场景、词级字幕、TalkingHead、动能排版、SVG 角色动画
后期	FFmpeg	编码、字幕烧录、混音、调色
字幕	内置	词级时间戳自动字幕

两条免费路径：图像视频（Piper 旁白 + 图片 + Remotion 动画）与 真实素材纪录片（Archive/NASA/Wikimedia 剪辑成片）。提示 "documentary montage / tone poem / stock-footage collage + use real footage only" 即可。

生态

Provider 生态：15 + 11 + 5，无锁定

视频生成 · 15 家

Kling(fal.ai) / Kling Official / Runway Gen-4 / Google Veo 3 / Grok Imagine / Higgsfield / MiniMax / HeyGen + 本地 WAN2.1 / Hunyuan / CogVideo / LTX + stock Pexels / Pixabay / Wikimedia

图像 · 11 家

FLUX / Google Imagen 4 / Grok / GPT Image 2 / Recraft / Kling / Local Diffusion(SD) / ManimCE(数学动画) + stock 三家

语音 / 音乐

TTS 5 家：ElevenLabs / Google(700+ 语音) / Kling / OpenAI / Piper(本地)；音乐：Suno + ElevenLabs Music/SFX

评分选择器自动挑：每个工具选择跑 7 维评分（任务契合 30% / 质量 20% / 控制 15% / 可靠 15% / 成本 10% / 延迟 5% / 连续性 5%），胜者与备选全进决策日志
有 GPU 可解锁本地视频生成：make install-gpu + WAN2.1 / Hunyuan / CogVideo / LTX2，完全免费

治理

生产治理：像工程一样管视频

人类审批门强制而非建议：proposal / script / scene_plan / assets / publish 全要签名，检查点写入器拒绝"无批准记录"的已完成阶段，被替代的检查点归档留痕
Pre-compose 验证：交付承诺被破坏（如"运动主导"却 80% 静态图）、幻灯片风险临界、渲染器缺失 → 直接拦下，不浪费 GPU 时间
Slideshow 风险 6 维评分：重复、装饰性视觉、弱运动、镜头意图、排版依赖、无根据的电影感宣称——防「动画版 PPT」
Post-render 强制自审：ffprobe 校验 + 4 处抽帧查黑帧/坏叠层 + 音频电平查静音/削波 + 交付承诺核对 + 字幕检查，不过关不交付
来源素材探测：用户自供素材逐文件探测（分辨率/编码/声道/时长）再定计划，不靠文件名脑补内容
预算控制：先 estimate 再 reserve 后 reconcile；observe / warn / cap 三模式；单动作超 $0.50 需确认；总预算默认 $10 上限

快速上手

三分钟起步

# 前置：Python 3.10+ · FFmpeg · Node.js 18+ · 任一 AI 编码助手
git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup                  # 装依赖 + remotion-composer

# 可选：有 GPU 解锁本地免费视频生成
make install-gpu            # .env: VIDEO_GEN_LOCAL_ENABLED=true

然后在编码助手里说：

"Make a 60-second animated explainer about how neural networks learn"
"Make a 75-second documentary montage about city life in the rain. Use real footage only, no narration, elegiac tone, with music."

Agent 自动研究→出提案→写脚本→生成素材→自审→渲染，所有创造性决策等你拍板。测试：make test-contracts（无需 API key）。

成本实证

公开成片实测成本

$1.33

THE LAST BANANA · 60s

$0.02

Library at Alexandria · 70s

$0.69

VOID · 产品广告

$0.15

Ghibli 动画 × 2 部

THE LAST BANANA（$1.33）：Pixar 风 60s 短片，6 个 Kling v3 运动片段(fal.ai) + Google Chirp3-HD 旁白 + 版权免费钢琴 + TikTok 式词级字幕 + Remotion 合成
The Library at Alexandria（$0.02）：70s 历史挽歌，OpenAI 'ash' 旁白 + 免费 Pixabay 弦乐，atelier 定制合成模式逐场手工打造
VOID（$0.69）：单 API key(OpenAI) 产品广告，4 张 gpt-image-1 图 + TTS + 自动配乐 + WhisperX 词级字幕 + Remotion 数据可视化，零手工素材
Afternoon in Candyland / Mori no Seishin（各 $0.15）：Ghibli 风，12 张 FLUX 图 + 跨帧交叉溶解 + 电影运镜 + 粒子特效，无视频生成、无手工剪辑

适用场景

谁适合用

内容创作者

Clip Factory 把长视频批量切成排名短片段；动画讲解批量产出知识类内容

营销团队

Cinematic 预告片、产品 teaser、Hybrid 为实拍素材加 AI 图形

播客主

Podcast Repurpose 把 2 小时播客剪成十几个社媒片段

教育者

Animated Explainer 把知识点做成带引证调研的讲解视频

本地化团队

Localization & Dub 一条流水线译配 10 种语言

Agent 架构学习者

「YAML 清单 + Markdown skill + Python 工具 + 检查点」的无代码编排范本

风险提示

需要警惕

AGPL-3.0：商用或改造分发需注意传染性条款，重分发场景要评估
质量依赖模型 + Agent：成片上限取决于底层生成模型与编码助手能力，不是安装即完美
API 配额与账号：完整能力依赖多家供应商 key，零 key 路径能力受限（无视频生成/高级 TTS）
成本波动：预算门控缓解但生成成本随用量上升，$10 上限需自己调
生成内容合规：AI 生成视频的分发政策与版权（素材库许可）需自行把关
增速异常快：46.5k stars / 323 commits 的 star 密度极高，营销色彩浓（"World's first"、repo of the day），需持续观察迭代兑现度
本地 GPU 路径有门槛：WAN2.1-14B 等需要显存，非免费无成本

潜力评估

未来空间

Agent-First 无代码编排（YAML + Markdown + Python 工具）是 2026 年 AI 工程新范式，OpenMontage 是视频域先行者——12 流水线 + 100 工具 + 700 知识文件的规模壁垒一旦形成，后续开源竞品难复制。

本地 LLM 路线图

Ollama / LM Studio 支持「coming soon」，落地后全本地化流水线成形

贡献机制清晰

加工具 = 继承 BaseTool 自动注册；加流水线 = YAML + director skills，扩展成本低

生态自证

YouTube 持续公开带完整成本/prompt 的成片，信任背书在积累

上一个
Hallmark

下一个
Agent-Reach

在线体验

Playground：Prompt → 制作计划生成器

本地确定性规则模拟 OpenMontage 的提案阶段——输入你的视频想法，即时匹配 12 条流水线之一，输出制作计划：阶段流程、预期成本区间、所需 API keys、渲染引擎与平台规格。零 LLM、零网络，纯规则即点即出。

🎬 打开 Playground

流水线匹配

关键词 + 意图信号命中 12 条真实流水线，附 README 出处理由

成本估算

按公开成片案例标定（$0.02–$3），拆解每条计费项

引擎与规格

Remotion vs HyperFrames 决策矩阵 + 平台输出 profile