Motion Skills
← 教學

程式設計 Agent 的免費開源動態影片工具組合:每一步用哪個工具(2026)

用 Claude Code、Codex 或 Cursor 做動態影片,每一步都有免費、大多開源的工具:Remotion 或 Three.js 做場景,Manim 做數學,CosyVoice 配音,WhisperX 上字幕,librosa 找節拍,FFmpeg 編碼。故事、節奏和事實,它們都不會替你決定。

各專案的資訊來自它自己的 README、授權檔案或官方網站,已於 2026 年 11 月 3 日核實。Motion Skills 是我們做的,請據此衡量我們對它的說法。

網路上那些給 Agent 動態影片工作室用的免費「Skill」清單,列的大多是函式庫和應用程式,而不是 Agent Skill:你的 Agent 可以呼叫它們寫程式碼,但它們都沒有告訴 Agent 怎樣才算一支好影片。下面依流程中的步驟逐一介紹。

一覽

步驟 工具 做什麼 授權 留給你的部分
場景與動態 Remotion 把影片寫成 React 元件,再渲染成檔案 自有授權;4 人以上需要 Company License 故事、時間安排、視覺風格、聲音
場景與動態 Remotion agent skills 教 Agent 寫 Remotion 程式碼 沒有授權檔案;搭配 Remotion 使用 與 Remotion 相同
場景與動態 Anime.js 為 CSS、SVG、DOM 屬性和 JS 物件製作動畫 MIT 把即時網頁變成影片
場景與動態 Motion 適用於 React、JavaScript 和 Vue 的動畫函式庫 MIT(Motion+ 需付費) 把即時網頁變成影片
3D Three.js 瀏覽器中的 3D,提供 WebGL 和 WebGPU 渲染器 MIT 燈光、攝影機、逐格擷取
光線 three-gpu-pathtracer 為 Three.js 提供路徑追蹤光線 MIT 支援 WebGPU 的瀏覽器、渲染時間
物理 Jolt Physics (JoltPhysics.js) 剛體物理,有 JS 移植版 MIT 接上你的場景
特效 pmndrs/postprocessing 為 Three.js 提供光暈等全畫面特效 Zlib 品味:特效什麼時候有幫助
特效 three.quarks Three.js 的粒子和視覺特效 MIT 接線、時間安排
調整 Tweakpane 即時調整數值的小面板 MIT 它不屬於渲染的一部分
3D 應用程式 MCP for Blender(原名 blender-mcp) 讓 Agent 透過 MCP 操作 Blender MIT;Blender 為 GPL 審查它執行的程式碼
2D 向量 lottie-web 播放從 After Effects 匯出為 JSON 的動畫 MIT 製作環節,在 After Effects 中完成
數學 Manim (Community) 用 Python 製作數學講解影片的引擎 MIT 講解本身、Python 環境
圖像與片段 ComfyUI 執行圖像、影片、3D 和音訊模型 GPL-3.0 GPU、每個模型各自的授權
配音 CosyVoice 多語言文字轉語音和聲音複製 Apache 2.0(程式碼和 v3 權重) 腳本、所用聲音的使用權
字幕 WhisperX 帶逐字時間戳記的轉錄 BSD-2-Clause 校對、字幕樣式
節拍同步 librosa 音訊分析,包括節拍追蹤器 ISC 把節拍對應到剪輯點
錄製 OBS Studio 螢幕和攝影機擷取、錄製 GPL-2.0 或更新版本 錄製本身
剪輯 LosslessCut 不重新編碼,直接修剪和接合影片 GPL-2.0 標題、特效、混音
編碼 FFmpeg 轉換、編碼和封裝音訊與影片 LGPL 2.1+,含選用部分時為 GPL 具體指令

場景與動態

Remotion 把影片寫成 React 元件,在你的電腦、伺服器或 AWS Lambda 上渲染。它的授權是自有的,不是開源授權:個人、最多三名員工的公司、非營利組織和評估用途都免費,「即使是商業用途」也一樣;規模更大的公司需要 Company License。授權檔案提到,它會在 Remotion 5.0 中「稍作修改」。

Remotion 的 Agent Skills(npx skills add remotion-dev/skills)教 Claude Code、Codex 或 Cursor 使用 Remotion API:/remotion-create、/remotion-markup、/remotion-render、/remotion-captions、/remotion-maps 等。它們讓程式碼正確,而不是讓影片好看;請見 Remotion Agent Skills 與 Motion Skills 比較。

Anime.js 和 Motion(原名 Framer Motion)是用於即時網頁的動畫函式庫,都採用 MIT 授權。Motion 提供一個免費、MIT 授權的 /motion Agent Skill(npx motion-ai);它的 Motion+ 附加功能需要付費授權。兩者的 README 都沒有提到匯出影片:需要有程式逐格推進頁面並編碼,否則只能錄製螢幕。

3D、光線、物理和特效

Three.js 是基礎:一個通用 3D 函式庫,提供 WebGL 和 WebGPU 渲染器。three-gpu-pathtracer 加上以物理為基礎的路徑追蹤光線;它需要 WebGPU,每張圖像一次一個取樣地逐步累積,所以一格乾淨的畫面要渲染很多次。Jolt Physics 曾用於 Horizon Forbidden West,用來模擬剛體;JoltPhysics.js 把它帶到 JavaScript。它的模擬是確定性的,所以重新渲染時,場景裡的物體每次都以同樣的方式落下。postprocessing(Zlib)加上光暈等全畫面特效,three.quarks 加上粒子,Tweakpane 提供滑桿,讓你在預覽時調整數值。

MCP for Blender(由 blender-mcp 更名)是社群外掛,並非 Blender 官方出品,它讓 Claude Code、Codex、Cursor 和其他 MCP 用戶端在 Blender 中工作。它的 README 提醒,預設情況下 Agent「可以在 Blender 中執行任何 Python 程式碼」;BLENDER_MCP_SAFE_MODE=1 會擋下有風險的腳本。除非設定 DISABLE_TELEMETRY=true,它會傳送一筆最精簡的匿名使用紀錄。Blender 採用 GPL 授權,它的授權頁面說明,你用它製作的圖像和影片歸你所有。

2D 向量與數學講解

lottie-web 播放在 Adobe After Effects 中製作、用 Bodymovin 匯出為 JSON 的動畫。播放器採用 MIT 授權;製作工具是 After Effects,並不免費。Manim 是 3Blue1Brown 影片背後那個引擎的社群版,用 Python 撰寫的場景直接渲染出數學講解影片(MIT)。講解內容仍然要你自己寫。

圖像與生成片段

ComfyUI(GPL-3.0)在本機以節點圖執行圖像、影片、3D 和音訊模型:既有 Wan、LTX-Video 和 HunyuanVideo 等開放模型,也能透過「Partner nodes」使用封閉模型。你需要一張效能足夠的 GPU,而且每個模型都有自己的授權,與 ComfyUI 的授權各自獨立。

配音、字幕和節拍

CosyVoice 是一套文字轉語音系統,涵蓋 9 種語言和超過 18 種漢語方言,支援零樣本聲音複製。程式碼採用 Apache 2.0,Hugging Face 上的 Fun-CosyVoice3-0.5B 權重也是。只複製你有權使用的聲音。

WhisperX 做帶逐字時間戳記的轉錄(wav2vec2 對齊),並輸出 .srt 檔案。它可以在 CPU 上執行(包括 Mac),也可以在 NVIDIA GPU 上執行。說話者標記需要 Hugging Face token,並同意 pyannote 模型的使用者協議。人名和數字要校對。

librosa(ISC)用於音訊分析;librosa.beat.beat_track 是以動態規劃為基礎的節拍追蹤器。哪些剪輯點落在這些節拍上,由你決定。

錄製、剪輯和編碼

OBS Studio(GPL-2.0 或更新版本)可以擷取、合成、錄製和直播;螢幕示範和真人出鏡片段都可以用它錄。LosslessCut(GPL-2.0)借助 FFmpeg,不重新編碼就能修剪和接合檔案;從 GitHub 下載是免費的,應用程式商店版本則是對開發者的支持。它只負責剪,不加標題或特效。上面幾乎所有工具底層的編碼都由 FFmpeg 完成。它採用 LGPL 2.1 或更新版本;如果編譯時包含選用的 GPL 部分,則為 GPL。

這套工具留給你的部分

這些工具合起來能完成渲染、配音、字幕和編碼。你仍然要決定影片說什麼、每個節拍停留多久,設計聲音,對照來源核對畫面上的每個數字和名稱,還要設定好 Node、Python、GPU 和逐格渲染。這些才是大部分的工作。

Motion Skills 的定位

Motion Skills 是我們做的。完整版 Skill 是一種 Agent Skill,它在我們的引擎 motion-skills(MIT)上,為某一類影片(發表影片、講解片、數據影片、短影音)跑完這整條流程。Skill 負責故事、節奏和檢查,其餘交給引擎:

  • 場景與動態:影片由 HTML、CSS 和 GSAP 寫成(GSAP 依其自有的「no charge」授權免費),每一格都是時間的函數,在你已有的 Chrome 中逐格渲染。3D 鏡頭使用 Three.js,跟隨影片的時鐘。
  • 音樂:為這支影片創作的原創配樂,場景切換落在強拍上。mo beats 找出你自備音軌中的節拍;mo music find 尋找公眾領域(CC0)音樂。
  • 配音:使用你電腦上的 Kokoro 聲音或 macOS 聲音,或者用你自己的 API key 呼叫 ElevenLabs 和 HeyGen。
  • 字幕與檢查:mo voice 輸出 .srt,加上 --check 時會讓 whisper 回聽每一句。mo check 找出被截斷或被遮住的文字,mo audit 把畫面上的每一行與 sources.md 對應起來,mo qa 掃描渲染結果。
  • 匯出:FFmpeg 編碼為 MP4、帶 alpha 通道的 MOV、WebM 或 GIF;也可以匯出 CapCut 或剪映草稿,以及一份簡報。

它不能取代 Blender 或 ComfyUI,也不製作數位人。Motion Director Skill 用 Google 登入即可免費使用,能製作 10–20 秒的影片;完整版 Skill 每個 $4.90,也可以透過方案取得(價格、全部 Skill)。其他工具(包括瀏覽器 App)請見 Claude Motion 替代方案。

常見問題

Remotion 免費嗎?

對個人、最多三名員工的營利公司、非營利組織和評估用途來說,免費,包括商業用途。4 人以上的公司需要 Company License,在 remotion.pro 上購買。它的授權是自有的,不是開源授權。

有哪些免費工具能搭配 Claude Code 製作動態圖像?

由你的 Agent 寫程式碼的部分:Remotion 及其 Agent Skills、Three.js、Anime.js、Motion 和 Manim。影片的其餘部分:CosyVoice 配音,WhisperX 上字幕,librosa 找節拍,FFmpeg 編碼。能跑完整支影片的免費 Skill,是 Motion Skills 的 Motion Director。

Claude 能製作 3D 動畫嗎?

可以,透過程式碼或應用程式。你的 Agent 可以寫一個 Three.js 場景,用 Jolt 處理物理、three-gpu-pathtracer 處理光線,也可以透過 MCP for Blender 操作 Blender。無論哪種方式,都要檢查攝影機、燈光和渲染設定。

這些工具可以商用嗎?

本文中的 MIT、Zlib、ISC、BSD 和 Apache 授權允許商用。GPL 和 LGPL 工具(Blender、ComfyUI、OBS、LosslessCut、FFmpeg)可以免費使用;散布軟體時,才需要留意它們的條款。Remotion 要求 4 人以上的公司購買 Company License。

資料來源

本指南為獨立內容,與文中提到的任何專案均無關聯。各名稱是其所有者的商標。已於 2026 年 11 月 3 日核實。