程式設計 Agent 的免費開源動態影片工具組合:每一步用哪個工具(2026)
用 Claude Code、Codex 或 Cursor 做動態影片,每一步都有免費、大多開源的工具:Remotion 或 Three.js 做場景,Manim 做數學,CosyVoice 配音,WhisperX 上字幕,librosa 找節拍,FFmpeg 編碼。故事、節奏和事實,它們都不會替你決定。
各專案的資訊來自它自己的 README、授權檔案或官方網站,已於 2026 年 11 月 3 日核實。Motion Skills 是我們做的,請據此衡量我們對它的說法。
網路上那些給 Agent 動態影片工作室用的免費「Skill」清單,列的大多是函式庫和應用程式,而不是 Agent Skill:你的 Agent 可以呼叫它們寫程式碼,但它們都沒有告訴 Agent 怎樣才算一支好影片。下面依流程中的步驟逐一介紹。
一覽
| 步驟 | 工具 | 做什麼 | 授權 | 留給你的部分 |
|---|---|---|---|---|
| 場景與動態 | Remotion | 把影片寫成 React 元件,再渲染成檔案 | 自有授權;4 人以上需要 Company License | 故事、時間安排、視覺風格、聲音 |
| 場景與動態 | Remotion agent skills | 教 Agent 寫 Remotion 程式碼 | 沒有授權檔案;搭配 Remotion 使用 | 與 Remotion 相同 |
| 場景與動態 | Anime.js | 為 CSS、SVG、DOM 屬性和 JS 物件製作動畫 | MIT | 把即時網頁變成影片 |
| 場景與動態 | Motion | 適用於 React、JavaScript 和 Vue 的動畫函式庫 | MIT(Motion+ 需付費) | 把即時網頁變成影片 |
| 3D | Three.js | 瀏覽器中的 3D,提供 WebGL 和 WebGPU 渲染器 | MIT | 燈光、攝影機、逐格擷取 |
| 光線 | three-gpu-pathtracer | 為 Three.js 提供路徑追蹤光線 | MIT | 支援 WebGPU 的瀏覽器、渲染時間 |
| 物理 | Jolt Physics (JoltPhysics.js) | 剛體物理,有 JS 移植版 | MIT | 接上你的場景 |
| 特效 | pmndrs/postprocessing | 為 Three.js 提供光暈等全畫面特效 | Zlib | 品味:特效什麼時候有幫助 |
| 特效 | three.quarks | Three.js 的粒子和視覺特效 | MIT | 接線、時間安排 |
| 調整 | Tweakpane | 即時調整數值的小面板 | MIT | 它不屬於渲染的一部分 |
| 3D 應用程式 | MCP for Blender(原名 blender-mcp) | 讓 Agent 透過 MCP 操作 Blender | MIT;Blender 為 GPL | 審查它執行的程式碼 |
| 2D 向量 | lottie-web | 播放從 After Effects 匯出為 JSON 的動畫 | MIT | 製作環節,在 After Effects 中完成 |
| 數學 | Manim (Community) | 用 Python 製作數學講解影片的引擎 | MIT | 講解本身、Python 環境 |
| 圖像與片段 | ComfyUI | 執行圖像、影片、3D 和音訊模型 | GPL-3.0 | GPU、每個模型各自的授權 |
| 配音 | CosyVoice | 多語言文字轉語音和聲音複製 | Apache 2.0(程式碼和 v3 權重) | 腳本、所用聲音的使用權 |
| 字幕 | WhisperX | 帶逐字時間戳記的轉錄 | BSD-2-Clause | 校對、字幕樣式 |
| 節拍同步 | librosa | 音訊分析,包括節拍追蹤器 | ISC | 把節拍對應到剪輯點 |
| 錄製 | OBS Studio | 螢幕和攝影機擷取、錄製 | GPL-2.0 或更新版本 | 錄製本身 |
| 剪輯 | LosslessCut | 不重新編碼,直接修剪和接合影片 | GPL-2.0 | 標題、特效、混音 |
| 編碼 | FFmpeg | 轉換、編碼和封裝音訊與影片 | LGPL 2.1+,含選用部分時為 GPL | 具體指令 |
場景與動態
Remotion 把影片寫成 React 元件,在你的電腦、伺服器或 AWS Lambda 上渲染。它的授權是自有的,不是開源授權:個人、最多三名員工的公司、非營利組織和評估用途都免費,「即使是商業用途」也一樣;規模更大的公司需要 Company License。授權檔案提到,它會在 Remotion 5.0 中「稍作修改」。
Remotion 的 Agent Skills(npx skills add remotion-dev/skills)教 Claude Code、Codex 或 Cursor 使用 Remotion API:/remotion-create、/remotion-markup、/remotion-render、/remotion-captions、/remotion-maps 等。它們讓程式碼正確,而不是讓影片好看;請見 Remotion Agent Skills 與 Motion Skills 比較。
Anime.js 和 Motion(原名 Framer Motion)是用於即時網頁的動畫函式庫,都採用 MIT 授權。Motion 提供一個免費、MIT 授權的 /motion Agent Skill(npx motion-ai);它的 Motion+ 附加功能需要付費授權。兩者的 README 都沒有提到匯出影片:需要有程式逐格推進頁面並編碼,否則只能錄製螢幕。
3D、光線、物理和特效
Three.js 是基礎:一個通用 3D 函式庫,提供 WebGL 和 WebGPU 渲染器。three-gpu-pathtracer 加上以物理為基礎的路徑追蹤光線;它需要 WebGPU,每張圖像一次一個取樣地逐步累積,所以一格乾淨的畫面要渲染很多次。Jolt Physics 曾用於 Horizon Forbidden West,用來模擬剛體;JoltPhysics.js 把它帶到 JavaScript。它的模擬是確定性的,所以重新渲染時,場景裡的物體每次都以同樣的方式落下。postprocessing(Zlib)加上光暈等全畫面特效,three.quarks 加上粒子,Tweakpane 提供滑桿,讓你在預覽時調整數值。
MCP for Blender(由 blender-mcp 更名)是社群外掛,並非 Blender 官方出品,它讓 Claude Code、Codex、Cursor 和其他 MCP 用戶端在 Blender 中工作。它的 README 提醒,預設情況下 Agent「可以在 Blender 中執行任何 Python 程式碼」;BLENDER_MCP_SAFE_MODE=1 會擋下有風險的腳本。除非設定 DISABLE_TELEMETRY=true,它會傳送一筆最精簡的匿名使用紀錄。Blender 採用 GPL 授權,它的授權頁面說明,你用它製作的圖像和影片歸你所有。
2D 向量與數學講解
lottie-web 播放在 Adobe After Effects 中製作、用 Bodymovin 匯出為 JSON 的動畫。播放器採用 MIT 授權;製作工具是 After Effects,並不免費。Manim 是 3Blue1Brown 影片背後那個引擎的社群版,用 Python 撰寫的場景直接渲染出數學講解影片(MIT)。講解內容仍然要你自己寫。
圖像與生成片段
ComfyUI(GPL-3.0)在本機以節點圖執行圖像、影片、3D 和音訊模型:既有 Wan、LTX-Video 和 HunyuanVideo 等開放模型,也能透過「Partner nodes」使用封閉模型。你需要一張效能足夠的 GPU,而且每個模型都有自己的授權,與 ComfyUI 的授權各自獨立。
配音、字幕和節拍
CosyVoice 是一套文字轉語音系統,涵蓋 9 種語言和超過 18 種漢語方言,支援零樣本聲音複製。程式碼採用 Apache 2.0,Hugging Face 上的 Fun-CosyVoice3-0.5B 權重也是。只複製你有權使用的聲音。
WhisperX 做帶逐字時間戳記的轉錄(wav2vec2 對齊),並輸出 .srt 檔案。它可以在 CPU 上執行(包括 Mac),也可以在 NVIDIA GPU 上執行。說話者標記需要 Hugging Face token,並同意 pyannote 模型的使用者協議。人名和數字要校對。
librosa(ISC)用於音訊分析;librosa.beat.beat_track 是以動態規劃為基礎的節拍追蹤器。哪些剪輯點落在這些節拍上,由你決定。
錄製、剪輯和編碼
OBS Studio(GPL-2.0 或更新版本)可以擷取、合成、錄製和直播;螢幕示範和真人出鏡片段都可以用它錄。LosslessCut(GPL-2.0)借助 FFmpeg,不重新編碼就能修剪和接合檔案;從 GitHub 下載是免費的,應用程式商店版本則是對開發者的支持。它只負責剪,不加標題或特效。上面幾乎所有工具底層的編碼都由 FFmpeg 完成。它採用 LGPL 2.1 或更新版本;如果編譯時包含選用的 GPL 部分,則為 GPL。
這套工具留給你的部分
這些工具合起來能完成渲染、配音、字幕和編碼。你仍然要決定影片說什麼、每個節拍停留多久,設計聲音,對照來源核對畫面上的每個數字和名稱,還要設定好 Node、Python、GPU 和逐格渲染。這些才是大部分的工作。
Motion Skills 的定位
Motion Skills 是我們做的。完整版 Skill 是一種 Agent Skill,它在我們的引擎 motion-skills(MIT)上,為某一類影片(發表影片、講解片、數據影片、短影音)跑完這整條流程。Skill 負責故事、節奏和檢查,其餘交給引擎:
- 場景與動態:影片由 HTML、CSS 和 GSAP 寫成(GSAP 依其自有的「no charge」授權免費),每一格都是時間的函數,在你已有的 Chrome 中逐格渲染。3D 鏡頭使用 Three.js,跟隨影片的時鐘。
- 音樂:為這支影片創作的原創配樂,場景切換落在強拍上。
mo beats找出你自備音軌中的節拍;mo music find尋找公眾領域(CC0)音樂。 - 配音:使用你電腦上的 Kokoro 聲音或 macOS 聲音,或者用你自己的 API key 呼叫 ElevenLabs 和 HeyGen。
- 字幕與檢查:
mo voice輸出.srt,加上--check時會讓 whisper 回聽每一句。mo check找出被截斷或被遮住的文字,mo audit把畫面上的每一行與sources.md對應起來,mo qa掃描渲染結果。 - 匯出:FFmpeg 編碼為 MP4、帶 alpha 通道的 MOV、WebM 或 GIF;也可以匯出 CapCut 或剪映草稿,以及一份簡報。
它不能取代 Blender 或 ComfyUI,也不製作數位人。Motion Director Skill 用 Google 登入即可免費使用,能製作 10–20 秒的影片;完整版 Skill 每個 $4.90,也可以透過方案取得(價格、全部 Skill)。其他工具(包括瀏覽器 App)請見 Claude Motion 替代方案。
常見問題
Remotion 免費嗎?
對個人、最多三名員工的營利公司、非營利組織和評估用途來說,免費,包括商業用途。4 人以上的公司需要 Company License,在 remotion.pro 上購買。它的授權是自有的,不是開源授權。
有哪些免費工具能搭配 Claude Code 製作動態圖像?
由你的 Agent 寫程式碼的部分:Remotion 及其 Agent Skills、Three.js、Anime.js、Motion 和 Manim。影片的其餘部分:CosyVoice 配音,WhisperX 上字幕,librosa 找節拍,FFmpeg 編碼。能跑完整支影片的免費 Skill,是 Motion Skills 的 Motion Director。
Claude 能製作 3D 動畫嗎?
可以,透過程式碼或應用程式。你的 Agent 可以寫一個 Three.js 場景,用 Jolt 處理物理、three-gpu-pathtracer 處理光線,也可以透過 MCP for Blender 操作 Blender。無論哪種方式,都要檢查攝影機、燈光和渲染設定。
這些工具可以商用嗎?
本文中的 MIT、Zlib、ISC、BSD 和 Apache 授權允許商用。GPL 和 LGPL 工具(Blender、ComfyUI、OBS、LosslessCut、FFmpeg)可以免費使用;散布軟體時,才需要留意它們的條款。Remotion 要求 4 人以上的公司購買 Company License。
資料來源
- Remotion,README、LICENSE.md 和 Agent Skills
- Anime.js、Motion、lottie-web、Manim Community
- three.js、three-gpu-pathtracer、Jolt Physics 和 JoltPhysics.js、postprocessing、three.quarks、Tweakpane
- MCP for Blender;Blender,License
- ComfyUI、CosyVoice 和 Fun-CosyVoice3-0.5B 模型卡、WhisperX、librosa
- OBS Studio、LosslessCut、FFmpeg License and Legal Considerations
- motion-skills 引擎,README
本指南為獨立內容,與文中提到的任何專案均無關聯。各名稱是其所有者的商標。已於 2026 年 11 月 3 日核實。