動画からリアルタイムに音楽を生成する「PhotoMusic Infinite」〜ロボット、ドローン、メタバースなどでの応用も〜

PhotoMusic Infiniteは、動画を読み込ませるだけでその動画の特徴に合った音楽を生成して、BGM付きで演奏するソフトウェアです。独自の音楽生成技術（特許出願中）により、動画の色彩的特徴や画像の変動を反映する即興的な音楽をリアルタイムに生成します。音楽の知識は必要ありません。曲調を示す「スタイル」を選択するだけで、様々なジャンルの音楽を自動的に生成します。これまで撮影した動画にBGMを付けるには、ネットで楽曲を探しダウンロードして試行錯誤をする必要がありました。本ソフトウェアによって手軽に動画をBGM付きにしてYouTubeなどに投稿できるようになります。ドローンやロボットのカメラ映像から風景の変化に追随する音楽をリアルタイムに演奏する、などの用途にも使えます。メタバースでの応用にも向きます。センサーなどからのデータストリームから音楽を生成することも可能です。

ソフトウェア開発ベンチャーのクラウド・テン株式会社（所在地：京都府精華町、代表取締役：南方郁夫、以下クラウド・テン）は、既発売の写真から音楽を自動生成する「PhotoMusic」の技術を拡張して、動画から自動的に音楽を生成してBGM付きの動画にするパソコン向けソフトウェア「PhotoMusic Infinite（フォトミュージックインフィニット）」の発売を2021年12月21日より開始しました。

動画対応音楽自動生成システム「PhotoMusic Infinite」

ソフトの紹介URL：http://photomusic.jp/

【背景】

2016年に最初のバージョンをリリースして以来、PhotoMusicは写真などの静止画からその画像の特徴に合致した音楽を自動生成してBGM付きのスライドショーにするユニークなソフトウェアとして、プロ・セミプロの写真家やメディア・アーティストなどから支持を得てきました。

http://photomusic.jp/wp/photomusic2-5

一方、さまざまな目的でデジタルカメラやスマートフォンを使って動画を撮影する機会が増え、毎日数多くの動画がYouTubeなどの動画投稿サイトに投稿されています。撮影した動画は無音だったり雑音だらけだったりするので音楽(BGM)を貼り付けて体裁を整えたいという要望があります。しかし、動画に合った音楽を見つけるのは、ネットで楽曲を探し、ダウンロードして試行錯誤を繰り返すといった手間が掛かる上に、著作権やロイヤリティも気になります。また、ネットからダウンロードできる音楽はありきたりものが多く、しかも音楽の流れは動画の変化に全く無関係でした。音楽を作曲したときには、それがどのような場面で使われるか、どのような動画と組み合わされるかは分かっていないので、音楽の流れと動画の変化が無関係なのは当然でした。しかし、音楽を動画に合わせて即興的に作曲してすぐに演奏すればそのような問題は解決します。

今回、PhotoMusicの技術を大幅に進展させ、動画からリアルタイムに音楽を生成するPhotoMusic Infiniteを開発しました。本ソフトウェアは、動画ファイルを読み込ませて、曲調を示す「スタイル」を選択するだけで、動画の画像の変化を反映した即興的な音楽をリアルタイムに生成して、動画と音楽を同期して演奏します。

本ソフトウェアによって、スマホで撮影した動画を非常に手軽にBGM付きにしてYouTubeなどに投稿することができるようになります。音楽の著作権を心配することもありません。

しかし、PhotoMusic Infiniteの用途は「撮影済み動画のBGM付け」に留まりません。動画を撮影しながら動画の特徴や変化に追従した即興音楽をリアルタイムに作曲・演奏するというPhotoMusic Infiniteの特長は他には見られません（特許出願済みの技術）。例えば、ドローンの空撮やロボットのカメラ映像から風景の変化に追随した音楽を生成し、リアルタイムに映像に重ねて演奏するようなことは本ソフトウェアしかできません。また最近注目を浴びているメタバースでは、3Dグラフィックスによりインパクトの強い臨場感豊かな映像が実現されていますが、音響的にはRPGゲームのように固定の短いBGMを繰り返し流すだけでインパクトがありませんでした。PhotoMusic Infiniteは、予測不能な映像の変化に対応して音楽をリアルタイムに生成することができますので、メタバースにおいてユーザーの操作で刻々と変化する映像に追随したBGMを流し続けることができます。

【製品・サービスの概要】

専用サイトから本ソフトウェアをダウンロードして、パソコン（WindowsまたはMac）にインストールして使用します。

動画を読み込んで、曲調を表す「スタイル」を選ぶだけで、動画の画像の特徴や変動に合った音楽をリアルタイムに生成し、動画と同期して演奏します。スタイルを変えれば様々な曲調の音楽に変化します。独自アルゴリズムにより、毎回異なった趣のメロディが生成されますので、常に世界で唯一の音楽が作られます。著作権やロイヤリティに煩わされることもありません。

動画と生成された音楽を合体したムービーファイル(mp4形式)を生成して動画サイトやSNSに投稿して世界中に発表できます。

現在のところ、本ソフトウェアは録画済みの動画ファイルにのみ対応しています。定点カメラやロボット、ドローン、メタバースなどのリアルタイム動画への対応はそれぞれの応用に合わせたシステム・インテグレーションが必要になりますので、件名ごとに個別に対応致します。

■ 価格：8,000円/ライセンス（税別）

※機能に制限のついた「FREE版（無償）」もあります

■ 対応OS

Windows 10以降

MacOS 10.14以降

＜PhotoMusic Infiniteの特長＞

１：動画から世界で唯一の即興BGMを自動生成

音楽の知識は必要ありません。独自の音楽生成技術（特許出願中）により、動画ファイルをドラッグ＆ドロップするだけで、動画の色彩的特徴を反映した伴奏と、動画の画像の変動にを反映して変化するメロディ（旋律）、が合わさった即興的な音楽がリアルタイムに生成されます。同じ動画ファイルを食わせても毎回異なった趣のメロディが作られるので、いつも世界で唯一つの音楽を楽しめます。また音楽の著作権やロイヤリティに煩わされることはありません。

2：動画の変化に反応してメロディがダイナミックに変化

動画の画像の変動量にリアルタイムに追随してメロディがダイナミックに変化します。画像の変化が少ないときは、１つの楽器だけで音の上り下りが少なく単純なリズムのメロディが流れ、ゆったりした曲調になります。一方、画像の変化が多い局面では、複数の楽器を使って音の上下が激しく強いリズムで複数のメロディを奏でるので活発な印象の曲調に変わります。

3：リアルタイムに音楽を生成

PhotoMusic Infiniteは動画からリアルタイムに音楽を生成します。すなわち１拍ごとにその時の画像の変化からメロディを作ってリアルタイムに演奏します。ですのでカメラからのリアルタイムな動画に対してでも、画像の変化と同時にその変化に対応したBGMを生成します。（※カメラからの動画入力機能は本ソフトウェアでは一般向けには提供していません。個別のシステム・インテグレーションで対応します）

4：多彩な曲調のスタイル

「スタイル」を選択するだけで、音楽や作曲の知識が無くても簡単に様々なジャンルの音楽を作れます。数１０種類のスタイルが組み込まれており、ジャズ風、トロピカル風、ヒーリング音楽風、室内楽風、宗教音楽風など、一つの動画から驚くほど多様な音楽が作られます。

5： mp4ファイルとしてYouTubeなどに公開

生成した音楽は、簡単な操作で元の動画とミックスしてmp4ファイルとして保存することができますので、YouTubeやVimeoなどの動画共有サイトやFacebookやTwitterなどのSNSに投稿が簡単になります。

【今後の展望】

現在のところ、本ソフトウェアは録画済みの動画ファイルにのみ対応しています。定点カメラやロボット、ドローン、メタバースなどのリアルタイム動画への対応はそれぞれの応用に合わせたシステム・インテグレーションが必要になりますので、件名ごとに個別に対応致します。

本ソフトウェアのアーキテクチャは、動画以外のデータストリームから音楽を生成することも可能です。世の中にある様々な「データ」の変動から音楽を作ることができます。例えば、温度、風速、雲の流れなどの気象データ、定点カメラに写る風景の変化、人の流れ、騒音などの環境データ、室内や機器に埋め込まれた様々なセンサーからのIoTデータなど多くの例が考えられます。このようなデータは元来無機質なものですが、監視やエンターテイメントなどの領域でPhotoMusic Infiniteによってそれらを使った新しいユーザー価値を生み出します。

大手電機メーカーとの共同研究で、ロボット家電のセンサー群からのデータを使って音楽を生成する実証実験を行った実績もあります。

■知的財産権

本ソフトには、クラウド・テンと開発パートナーである（株）ビジョナリストの特許技術が使用されています。

日本国特許6058192

U.S. Patent No. 10,170,090

また、「PhotoMusic」は、両社の共同出願中の商標です。

※ その他の掲載されている会社名及び商品名は各社の商標または登録商標です。

【クラウド・テン株式会社について】

本社：〒619-0232　京都府相楽郡精華町桜が丘2-34-3

代表者：代表取締役　南方郁夫

設立：2011年7月14日

資本金：200万円