CodexでComfyUIを操作して、10枚の画像を10本の動画にした記録

110枚の画像を10本の縦動画へ

CodexからComfyUIを操作して、10枚の画像を10本の縦動画にできるのか。それを確かめた実験です。題材は、うさぎパティシエの「花火クリームソーダ」で使った画像を選びました。

一連の操作を録画したところ、準備やトラブル対応も含めて27分43秒でした。最後には、cut01からcut10まで、10本すべてを保存できています。

2最初に用意したもの

用意したのは、縦長の元画像10枚と、ComfyUIのAPI用ワークフローJSONです。ComfyUIは自分のパソコンに入れず、ConoHa AI Canvas上のものを使いました。

ブラウザは、ConoHaにログイン済みの専用Chromeを立てています。そこにChatGPTのChrome拡張機能を入れて、Codexから画面を操作できるようにしました。

3CodexとChromeをつなぐ

拡張機能を追加したら、ファイルのURLへのアクセスを許可します。そのあとComfyUIのタブへ戻り、拡張機能の接続をオンにしました。これで、ログインした状態の画面をCodexが操作できるようになります。

ひとつおすすめしたいのは、普段使いのChromeとは分けておくことです。余計なタブや個人情報を見せずに済みます。

4まずcut01だけでテスト

いきなり10本を流さず、まずcut01だけで動作確認をしました。使ったのは、Wan2.2のImage to Video用ワークフローです。出力は幅512、高さ896、41フレームに設定しました。

氷がグラスの中で自然に動くように、短いモーションプロンプトを渡して実行します。最初の1本で画角、動き、保存まで確認できれば、残りへ進めます。

5AI動画は必ず目で確認する

生成結果では、グラスの氷がカランと動いていることを確認できました。背景のうさぎパティシエも少し表情が動き、カットごとに得意げな顔をします。

一方で、AI動画では氷や手元などの細部が変形することがあります。崩れが大きければプロンプトを調整しますが、面白い表情になっていれば、そのまま演出として活かす判断もできます。どちらにするかを決められるのは人だけなので、ここは必ず自分の目で見ます。

6cut02〜cut10を順番に生成

テストが通ったら、cut02からcut10まで順番に処理します。ルールは、1枚の画像につき1本の動画です。すでに完成した番号は飛ばし、未生成のカットだけを実行しました。

10本を超えて作らないように上限も決めています。ダウンロードした動画は、カット番号で名前をそろえました。この命名にしておくと、あとでRecotte Studioへ番号順に並べやすくなります。

7途中のエラーから復旧

途中で、結果を生成する出力ノードがない、という警告が出ました。操作用のパネルが入力欄を覆ってしまい、ショートカット操作で誤ってノードを消した場面もあります。

ここでは慌てず、Ctrl+Zでノードを戻しました。そのあとは無理に一括操作を続けず、安全な「1つずつ生成する」やり方に切り替えています。

自動化では、失敗したときに途中から再開できる設計がとても大切です。止まった場所から続けられるようにしておけば、最初からやり直す必要がありません。

8自動化の次は人の編集

今回、自動化できたのは、10枚の画像を10本の短い動画にして保存するところまでです。

次は、Recotte Studioへカット順に読み込み、必要な長さへ整えます。氷の音、炭酸の音、風鈴や花火の音を足すと、夏らしさがぐっと伝わります。うさぎが話しているような場面には、短いアフレコを入れても面白そうです。

素材づくりはAIに任せ、面白さの判断と最後の書き出しは自分で行う。これが、今回やってみて一番おすすめしたい分担です。

使ったもの

今回はComfyUIをクラウド上で動かしました。生成した回数に応じてクレジットを消費するタイプのサービスとは、費用のかかり方が変わります。どちらが自分に合うかは、作る本数と頻度で決まります。

PR

複数の生成モデルを1つの契約で使い分けたい場合は、Gensparkが候補になります。この記録もGensparkで作りました。

Gensparkを見る

料金と提供条件は変更されることがあります。申し込み前にリンク先で最新の内容をご確認ください。