RemotionとAIでYouTube動画を作ってみる
仕事でYouTube動画を作る必要が出てきた。
今までは編集は専門の業者にお願いしていた。まぁ普通に考えたらそれが一番だし、自分でやろうとは思ってなかった。
ただ最近のAIの進化を見てると、「エンジニアの自分が、動画編集をどこまで仕組み化できるんだろう」というのがちょっと気になってきて、一度パイプラインを組んで試してみた。
で、やってみたら思ったよりいけた。
まだ完全自動化とは全然言えないけど、数時間あれば素材からYouTube用の動画として一応形になる。想定よりだいぶ早かったので、今後は業者に頼まず自分のパイプラインでやることにした。
今の編集フロー
使っているのは主に以下。
動画を受け取ってから、ざっくり以下の流れ。
.movの動画素材をプロジェクトに入れる- FFmpeg / ffprobeで動画の長さ、FPS、解像度を取得
- WhisperXで文字起こし
- wav2vec2で発話と字幕のタイミングをなるべく正確に合わせる
- 無音部分を自動でカット
- 不要な会話や言い直しを字幕ファイル上で指定してカット
- Remotionで字幕、画像、テロップ、章タイトル、グラフなどを追加
- プレビューして、MP4で書き出し
いわゆる動画編集ソフトを開いて、ひたすらタイムラインをマウスで触るやり方とは、だいぶ感覚が違う。
動画、字幕、カットの情報をぜんぶファイルとして持っておいて、Remotionがそれを元に動画を組み立てる。コード寄りの動画編集、という感じ。エンジニアにはこっちの方が性に合ってる気がする。
Remotionがかなり良い
今回使っていて一番よかったのはRemotion。
Reactで動画を作れるライブラリで、エンジニア目線だとかなり扱いやすい。最初は「動画をReactで書く」という感覚に慣れなくて少し戸惑ったけど、慣れてくると、やりたい見せ方をそのままコードで再現できるのが気持ちいい。
たとえば、
- 画像を途中でカットイン
- テロップを少し動かしながら表示
- 数字をカウントアップ
- 棒グラフや円グラフをアニメーション表示
- 話題の切り替わりで章タイトルを表示
といったことがやりやすい。
特にビジネスとかマーケットの話みたいに、数字や比較を見せたい動画とは相性がいい。グラフはただ置くだけでもいいんだけど、ほんの少しアニメーションが入るだけで、動画全体が急にそれっぽくなる。ここは触っててちょっと楽しい。
LLMも普通に制作に使える
今はGPT-5.6 Solを使ってる。
「この話のところでグラフ出したい」「このテロップもっと落ち着かせたい」「ここは画像を一瞬だけ出したい」みたいな雑な指示でも、かなり意図に近いものが返ってくる。
まぁ、一発で完璧、とはさすがにいかないけど。
文字がデカすぎるとか、アニメーションが派手すぎるとか、色が違うとか、そのへんの直しは普通に発生する。でも、そこから会話しながら詰めていけるのが大きい。
どうしても会話でうまくいかないときは、最後は自分でコードを触る。完全にLLM任せだと細かいところまで手が届かず”ガチャ”感があるけど、Remotionなら、コードで直す逃げ道があるのは、逆に安心感がある。
一番の課題は字幕
一方で、字幕はまだ手直しが必要。
WhisperXはかなり優秀で、特に発話タイミングを細かく取ってくれるので、字幕表示や無音カットにつなげる部分はすごく使いやすい。
ただ、固有名詞とか言い間違い、話し言葉の表記あたりは、どうしても直したくなる。英語だともう少しうまくいくのかもしれないけど、日本語は区切り位置とかまだまだ癖がある。同音異義語も多いしね。
あと複数人が話す動画も、ちょっと難しい。
このへんはElevenLabsのSpeech-to-Text APIを試す余地がありそう。APIコストはかかるけど評判はいいので、今度いちど試してみたい。
とはいえ今のところ、CodexやClaude Codeの利用料を除けば、Remotion、FFmpeg、WhisperXあたり、ほぼ無料のツールだけで回せてる。そこはけっこう気に入ってる。
まだ完全自動ではない
「AIに動画編集を丸投げ」できるかというと、正直まだそこまではいかない。
ただ、
- 文字起こし
- 無音カット
- 字幕の土台作り
- テロップや画像、図表の実装
- 動画としての書き出し
このあたりはかなり任せられるようになった。ここまで来ただけでも、個人的には結構びっくりしている。
まだまだ雑なところは残ってるけど、引き続きいじりながら、もう少し効率上げていきたい。