
TouchDesignerを使って曲の音声に合わせた動画を作成してみる
はじめに 自分で作った楽曲に動画を付けたかったので、 TouchDesignerを使って曲の音声に合わせた動画を作成してみます。 TouchDesignerは映像やデジタルアート作品を作成できるソフトウェアです。 インストール 下記リンクが公式サイトで、ここからインストールできます。 TouchDesignerの公式サイト 環境 私はWindows 11 Homeで試しました。 TouchDesignerの使い方 Touch Designerでは音声や映像などに関するノード(オペレータ)の入出力を繋いで作品を作っていきます。 実際のTouchDesignerでノードを繋いでいる様子が下図です。 TouchDesignerの画面 ノード(オペレータ)の種類 TouchDesignerの画面上でTABキーを押すとノード(オペレータ)の選択ウィンドウが表示されます。 ノード(オペレータ)のウィンドウ ノード(オペレータ)の種類は下記です。 COMP(Component Operators):コンポーネントとして扱うためのものなど TOP(Texture Operators):画像や映像など(2D) CHOP(Channel Operators):音声など SOP(Surface Operators):立体など(3D) DAT(Data Operators):テキストなど MAT(Material Operators):3Dオブジェクトのマテリアルなど 曲の音声に合わせた動画を作成する 自分で作った楽曲の音声に合わせた動画を作成してみます。 下記のYouTubeの動画を参考にさせていただきました。 ありがとうございます。 参考動画 音声ファイルを入力していい感じの波形にする まず対象の曲の音声ファイルを入力して波形を作ります。 CHOPのAudio File Inノードを使用して音声ファイルを取得します。 さらにこのノードをAudio Spectrumノードに繋いで周波数ごとに分けた波形を生成します。 しかしこのままだとサンプル数が多いので、 Resampleノードに繋いでサンプル数を減らします(今回は5に設定)。 また作業中に音を聴けたほうが便利なのでAudio Device Outノードにも繋いでPCから音声が流れるようにしています。 音声ファイルを入力 周波数ごとに取り出して出力する 次に周波数ごとに波形を取り出して出力できるようにします。 CHOPのTrimノードを使って各周波数のサンプルごとにチャンネルを分けます。 今回はサンプル数を5に設定してチャンネルを5つを分けます。 それをMathノードに繋いでチャンネルを統合します。 lagノードに繋ぐと変化が緩やかになります(なくても大丈夫です)。 最後にnullノードに繋いで出力します(nullノードで出力するのが慣習らしいです)。 周波数ごとに取り出す 3Dオブジェクトを作成して波形を反映させる 5つのチャンネルをそれぞれ5つの3Dオブジェクトに対応させます。 CHOPのnullを5つのSOPのBoxノードに繋ぎます。 それぞれのBoxノードのsizeのy軸方向に「op(’null1’)[‘chan1’]」と入力してnullの出力をそれぞれのチャンネルに対応させます。 x軸方向とz軸方向のsizeは適当に決めます。 また位置も被らないようにそれぞれ適当にずらしておきます。 ...





