Motion Skills
← 教程

编程 Agent 的免费开源动效视频工具栈:每一步用哪个工具(2026)

用 Claude Code、Codex 或 Cursor 做动效视频,每一步都有免费、大多开源的工具:Remotion 或 Three.js 做场景,Manim 做数学,CosyVoice 配音,WhisperX 出字幕,librosa 找节拍,FFmpeg 编码。故事、节奏和事实,它们都不替你决定。

各项目的信息来自它自己的 README、许可证文件或官网,已于 2026 年 11 月 3 日核实。Motion Skills 是我们做的,看我们对它的描述时请考虑到这一点。

网上那些给 Agent 动效工作室用的免费「Skill」清单,列的大多是库和应用,而不是 Agent Skill:你的 Agent 可以调用它们写代码,但它们都没有告诉 Agent 怎样才算一支好片子。下面按流程中的步骤逐一介绍。

一览

步骤 工具 做什么 许可证 留给你的部分
场景与动效 Remotion 把视频写成 React 组件,再渲染成文件 自有许可证;4 人及以上需要 Company License 故事、时间安排、视觉风格、声音
场景与动效 Remotion agent skills 教 Agent 写 Remotion 代码 没有许可证文件;配合 Remotion 使用 与 Remotion 相同
场景与动效 Anime.js 为 CSS、SVG、DOM 属性和 JS 对象做动画 MIT 把实时网页变成视频
场景与动效 Motion 面向 React、JavaScript 和 Vue 的动画库 MIT(Motion+ 收费) 把实时网页变成视频
3D Three.js 浏览器中的 3D,带 WebGL 和 WebGPU 渲染器 MIT 灯光、相机、逐帧捕获
光照 three-gpu-pathtracer 为 Three.js 提供路径追踪光照 MIT 支持 WebGPU 的浏览器、渲染时间
物理 Jolt Physics (JoltPhysics.js) 刚体物理,有 JS 移植版 MIT 接入你的场景
特效 pmndrs/postprocessing 为 Three.js 提供泛光等全屏特效 Zlib 品味:特效什么时候有帮助
特效 three.quarks Three.js 的粒子和视觉特效 MIT 接入、时间安排
调参 Tweakpane 实时调整数值的小面板 MIT 它不参与渲染
3D 应用 MCP for Blender(原名 blender-mcp) 让 Agent 通过 MCP 操作 Blender MIT;Blender 为 GPL 审查它运行的代码
2D 矢量 lottie-web 播放从 After Effects 导出为 JSON 的动画 MIT 制作环节,在 After Effects 中完成
数学 Manim (Community) 用 Python 做数学讲解视频的引擎 MIT 讲解本身、Python 环境
图像与片段 ComfyUI 运行图像、视频、3D 和音频模型 GPL-3.0 GPU、每个模型各自的许可证
配音 CosyVoice 多语言文本转语音和声音克隆 Apache 2.0(代码和 v3 权重) 脚本、所用声音的使用权
字幕 WhisperX 带逐词时间戳的转写 BSD-2-Clause 校对、字幕样式
节拍同步 librosa 音频分析,包括节拍追踪器 ISC 把节拍对应到剪辑点
录制 OBS Studio 屏幕和摄像头捕获、录制 GPL-2.0 或更高版本 录制本身
剪辑 LosslessCut 不重新编码,直接裁剪和拼接视频 GPL-2.0 标题、特效、混音
编码 FFmpeg 转换、编码和封装音视频 LGPL 2.1+,含可选部分时为 GPL 具体命令

场景与动效

Remotion 把视频写成 React 组件,在你的电脑、服务器或 AWS Lambda 上渲染。它的许可证是自有的,不是开源许可证:个人、最多三名员工的公司、非营利组织和评估用途免费,「即使是商业用途」也一样;更大的公司需要 Company License。许可证文件说,它会在 Remotion 5.0 中「略有变化」。

Remotion 的 Agent Skills(npx skills add remotion-dev/skills)教 Claude Code、Codex 或 Cursor 使用 Remotion API:/remotion-create、/remotion-markup、/remotion-render、/remotion-captions、/remotion-maps 等。它们让代码正确,而不是让片子好;见 Remotion Agent Skills 与 Motion Skills。

Anime.js 和 Motion(原名 Framer Motion)是用于实时网页的动画库,都采用 MIT 许可。Motion 提供一个免费、MIT 许可的 /motion Agent Skill(npx motion-ai);它的 Motion+ 附加功能需要付费许可。两者的 README 都没有提到导出视频:需要有程序逐帧推进页面并编码,否则只能录屏。

3D、光照、物理和特效

Three.js 是基础:一个通用 3D 库,带 WebGL 和 WebGPU 渲染器。three-gpu-pathtracer 加上基于物理的路径追踪光照;它需要 WebGPU,每张图像一次一个采样地逐步累积,所以一帧干净的画面要渲染很多遍。Jolt Physics 曾用于 Horizon Forbidden West,用来模拟刚体;JoltPhysics.js 把它带到了 JavaScript。它的模拟是确定性的,所以重新渲染时,场景里的物体每次都以同样的方式落下。postprocessing(Zlib)添加泛光等全屏特效,three.quarks 添加粒子,Tweakpane 提供滑块,让你在预览时调整数值。

MCP for Blender(由 blender-mcp 更名)是社区插件,并非 Blender 官方出品,它让 Claude Code、Codex、Cursor 和其他 MCP 客户端在 Blender 中工作。它的 README 提醒,默认情况下 Agent「可以在 Blender 中运行任何 Python 代码」;BLENDER_MCP_SAFE_MODE=1 会拦截有风险的脚本。除非设置 DISABLE_TELEMETRY=true,它会发送一条最简的匿名使用记录。Blender 采用 GPL 许可,它的许可证页面说明,你用它制作的图像和影片归你所有。

2D 矢量与数学讲解

lottie-web 播放在 Adobe After Effects 中制作、用 Bodymovin 导出为 JSON 的动画。播放器采用 MIT 许可;制作工具是 After Effects,并不免费。Manim 是 3Blue1Brown 视频背后那个引擎的社区版,用 Python 编写的场景直接渲染出数学讲解视频(MIT)。讲解内容仍然要你自己写。

图像与生成片段

ComfyUI(GPL-3.0)在本地以节点图运行图像、视频、3D 和音频模型:既有 Wan、LTX-Video 和 HunyuanVideo 等开放模型,也可以通过「Partner nodes」使用闭源模型。你需要一块性能足够的 GPU,而且每个模型都有自己的许可证,与 ComfyUI 的许可证相互独立。

配音、字幕和节拍

CosyVoice 是一个文本转语音系统,覆盖 9 种语言和 18 种以上的汉语方言,支持零样本声音克隆。代码采用 Apache 2.0,Hugging Face 上的 Fun-CosyVoice3-0.5B 权重也是。只克隆你有权使用的声音。

WhisperX 做带逐词时间戳的转写(wav2vec2 对齐),并输出 .srt 文件。它可以在 CPU 上运行(包括 Mac),也可以在 NVIDIA GPU 上运行。说话人标注需要 Hugging Face token,并接受 pyannote 模型的用户协议。人名和数字要校对。

librosa(ISC)用于音频分析;librosa.beat.beat_track 是基于动态规划的节拍追踪器。哪些剪辑点落在这些节拍上,由你决定。

录制、剪辑和编码

OBS Studio(GPL-2.0 或更高版本)可以捕获、合成、录制和直播;屏幕演示和真人出镜片段都可以用它录。LosslessCut(GPL-2.0)借助 FFmpeg,不重新编码就能裁剪和拼接文件;从 GitHub 下载是免费的,应用商店版本则是对开发者的支持。它只负责剪,不加标题或特效。上面几乎所有工具底层的编码都由 FFmpeg 完成。它采用 LGPL 2.1 或更高版本;如果编译时包含可选的 GPL 部分,则为 GPL。

这套工具留给你的部分

这些工具合起来能完成渲染、配音、字幕和编码。你仍然要决定片子说什么、每个节拍停留多久,设计声音,对照来源核对屏幕上的每个数字和名称,还要配好 Node、Python、GPU 和逐帧渲染。这些才是大部分工作。

Motion Skills 的位置

Motion Skills 是我们做的。完整版 Skill 是一种 Agent Skill,它在我们的引擎 motion-skills(MIT)上,为某一类片子(发布片、讲解片、数据视频、短视频)跑完这整条流程。Skill 负责故事、节奏和检查,其余交给引擎:

  • 场景与动效:片子由 HTML、CSS 和 GSAP 写成(GSAP 按其自有的「no charge」许可免费),每一帧都是时间的函数,在你已有的 Chrome 中逐帧渲染。3D 镜头用 Three.js,跟随片子的时钟。
  • 音乐:为这支片子创作的原创配乐,场景切换落在强拍上。mo beats 找出你自带音轨中的节拍;mo music find 查找公有领域(CC0)音乐。
  • 配音:使用你电脑上的 Kokoro 声音或 macOS 声音,或者用你自己的 API key 调用 ElevenLabs 和 HeyGen。
  • 字幕与检查:mo voice 输出 .srt,加上 --check 时会让 whisper 回听每一句。mo check 查找被截断或被遮挡的文字,mo audit 把屏幕上的每一行与 sources.md 对应起来,mo qa 扫描渲染结果。
  • 导出:FFmpeg 编码为 MP4、带 alpha 通道的 MOV、WebM 或 GIF;也可以导出 CapCut 或剪映草稿,以及一份幻灯片。

它不能取代 Blender 或 ComfyUI,也不做数字人。Motion Director Skill 用 Google 登录即可免费使用,能做 10–20 秒的片子;完整版 Skill 每个 $4.90,也可以通过方案获得(价格、全部 Skill)。其他工具(包括浏览器应用)见 Claude Motion 替代方案。

常见问题

Remotion 免费吗?

对个人、最多三名员工的营利性公司、非营利组织和评估用途来说,免费,包括商业用途。4 人及以上的公司需要 Company License,在 remotion.pro 上购买。它的许可证是自有的,不是开源许可证。

有哪些免费工具可以配合 Claude Code 做动态图形?

由你的 Agent 写代码的部分:Remotion 及其 Agent Skills、Three.js、Anime.js、Motion 和 Manim。片子的其余部分:CosyVoice 配音,WhisperX 出字幕,librosa 找节拍,FFmpeg 编码。能跑完整支片子的免费 Skill,是 Motion Skills 的 Motion Director。

Claude 能做 3D 动画吗?

能,通过代码或应用。你的 Agent 可以写一个 Three.js 场景,用 Jolt 做物理、three-gpu-pathtracer 做光照,也可以通过 MCP for Blender 操作 Blender。无论哪种方式,都要检查相机、灯光和渲染设置。

这些工具可以商用吗?

本文中的 MIT、Zlib、ISC、BSD 和 Apache 许可证允许商用。GPL 和 LGPL 工具(Blender、ComfyUI、OBS、LosslessCut、FFmpeg)可以免费使用;分发软件时,才需要留意它们的条款。Remotion 要求 4 人及以上的公司购买 Company License。

参考来源

本指南为独立内容,与文中提到的任何项目均无关联。各名称是其所有者的商标。已于 2026 年 11 月 3 日核实。