VR 360度動画における空間音声ミックスとPro Tools | HD

By in オーディオ

最初に「Ambisonic(s)で録れるマイク」のお問い合わせをいただいたのが2016年6月。

そもそもAmbisonicとは何だろう?そんな何も知らないところから資料を調べたり関係各所を訪ねたりしながら、私たちMiyaji Professional Divisionの空間音声との関わりは始まりました。

今回は、そういった経験を生かし、昨年のInterBEEにてデモで使用した2つの360度動画を作るまでの過程と手法をご紹介させていただこうと思います。

映像は回るのに音は回せないの?

YouTubeにアップされている360度動画、VR動画(以下まとめてVR動画)を検索して観ているとあることに気がつきます。アップロードされているほとんどの動画が映像はグルグル回せるのに音がモノラルやステレオで固定されているものばかりなのです。最初のうちは目新しさもあり感心しながら観ているのですが、これでは大した没入感も得られず、何度も繰り返して見ることはありませんでした。

 

せっかくのVR動画なのに音を回したいというニーズは無いのだろうか?いや、ある筈。そう考えるのはごく自然なことではないでしょうか。そこでAmbisonicをキーワードに含め検索するといくつかの音が回るVR動画を見つけることができました。そのVR動画の音声はZoom H2nでレコーディングしたもののようです。早速入手しチェックしてみると2016年5月に発表されたファームウェアv2.0でYouTubeのVR動画に対応する空間音声(Spatial Audio)を手軽に録れるようになっており、上下の成分は無いものの前後左右360度確かに音が回ります。つまりアップされているVR動画は、音が回せないのではなく、回していない、或いは回す方法がわからないというケースが多いようです。

 

Ambisonicマイクを探して

それと同時進行で「Ambisonicsで録れるマイク」の方はというと、依頼をいただいた株式会社スタジオ・アーム代表取締役の河村氏の希望機種をメーカーに問い合わせてみたものの全く返信が無い日々が続きました…。調べに調べ代案として他の2社に問い合わせると返信も早く納期もそれほどかかりませんでした。結果、河村氏にはマイクブランドとして知名度もあるOKTAVA MK-4012を導入いただき、即現場での実戦投入となりました。

 

その現場は都内のリハーサルスタジオでバンドの演奏をVR収録するという内容で、株式会社タイプゼロの渡里氏、スタジオ・アーム河村氏にお願いし、我々2名、そしてAmbisonicの件での相談先でもあるJ.TESORI町田氏と3名で見学させていただきました。映像はKODAK PIXPRO SP360 4Kを2台、音声はOKTAVA MK-4012でのAmbisonic収録の他に3Dio Free Space Pro IIによるバイノーラル収録も同時に行われ大変興味深い内容でした。

カメラOK! マイクOK! …で?

VR収録現場見学での貴重な体験を経て、いよいよ実際に自分たちでもやってみよう!となった我々が手始めに購入したお手軽セットは、カメラ本体での撮影のみならずiPhoneのLightningポートに接続し画面を見ながら撮影できるInsta 360 nano。映り込みや固定方法を考慮しLightning延長ケーブルを少し加工してカメラに接続することにしました。これによりカメラは固定したまま手元での操作ができます。音声はSpatial Audioにも対応したZoom H2n。これらをカメラバッグに詰め込んで公園や湖、はたまた社内など場所も選ばず撮影してはPro Toolsにインポート、はて…どうすれば回るのやら?を繰り返す日々。今ほど情報もツールもない状況でしたが、おかげでAmbisonicの仕組みを段々理解できるようになりました。

 

Ambisonicの歴史は意外にも古く1970年代に開発が始まっていたものの近年まで持て囃されることもなかったためか、情報を探しても古いVSTプラグインや生産完了のマイク、エンコーダー/デコーダーなどしか見当たらない状況でした。Avidディーラーである我々がVR実験を行う上で大前提となるのがPro Toolsを使用するということでしたので、AAXに対応していなくては意味がありません。そこで実用的なツールとして最初に使用したのが当時リリース間もないNoise Makers Ambi PanAmbi Headでした。

 

これらを導入したことで今まで屋外で収録した環境音素材や前述のVR収録でのバンド演奏素材を360度回すことができ、ヘッドフォンでモニターすることが可能になりました。

そこで漠然と思ったのが「より音楽的に成立することはできないのだろうか?」ということ。Ambisonicマイクにより録音されたバンド演奏は所謂マイクの一発録りですので、後から各パートのバランスをとることができません。そこでマルチトラックの素材を360度の好きな位置にパンニングしたものを回してみたらどうなのだろう?と考えたのです。

その結果制作したものが1つめのVR動画「Acoustic Session」です。

ご注意:現時点ではMacOS上のSafariが360度動画に非対応なためFireFoxまたはChromeでご覧ください。また、iOSのYouTubeはSpatial Audioに対応していないため音声がステレオで再生されます。Android4.2以降のYouTubeはSpatial Audioに対応しております。

いよいよVR動画“Acoustic Session”制作へ

この動画の制作時点ではAudio Ease 360pan suiteが発表されておらず、後に差し替えましたが、当初はAmbi PanとAmbi Headのみで対応しました。パート毎に音量もエフェクト処理も施されたセッションをVR動画用に手を加えていきます。

 

VRオーディオ制作は、Quadチャンネルが必要になるため、Pro Tools ソフトウェアはHDを使用します。VRの空間音声(Spatial Audio)はAmbisonicマイクでレコーディングしたA-FormatもAmbi Panや360panをインサートして変換されたB-FormatもQuadチャンネルが必須です。もしVRミックスをしたいけれどPro ToolsソフトウェアがHDではないという場合、新たにHDソフトウェアを購入いただくか、HDにアップグレードしていただく必要がありますのでご注意ください。

 

まずはPro Tools|HDのモノラル、ステレオの各トラックの最終段階にAmbi Panをインサートします。Ambi PanをインサートすることでMono to Ambisonics B、Stereo to Ambisonic Bに変換されるためQuadチャンネルになります。それらを新たに追加したQuadのAUXに送り、そのAUXにAmbi Headをインサートします。この状態にで各トラックにインサートしたAmbi Panのポインターをドラッグして動かすと、前後左右上下に音が動くことを確認できます。あとは好きな位置にパンニングするだけですが、よりインタラクティブなものにするにはAmbi Panのオートメーションを加えるのが効果的です。全体が固定されている中で、いくつかのパートに動きをつけるだけでも全然印象が変わってきます。

この動画“Acoustic Session”の場合には音は初めにあったので、この楽器はここに居て、この楽器は歩き回ってというイメージで動画を撮影し、編集後に Pro Tools|HDにインポート、それを見ながらオートメーションを書いたりバランスをとったりする手法で制作が進められました。時期的にInterBEE開催が2ヶ月後に迫っていたこともあり、デモコンテンツとして仕上げていくことになるのですが、株式会社フォーミュラ・オーディオのご好意により発売前にAudio Ease 360pan suiteを使用させていただくことができました。

Ambi PanとAmbi Monitorの組み合わせではPro Tools|HD上でVR動画状態でのプレビューができないため、一度バウンスして動画に貼り付けたものを書き出し、YouTubeにアップして確認して…と時間がかかっていましたが、360pan suiteでは360monitorによりPro Tools|HD上でそのまま確認ができるため大幅に作業効率を上げることができます。それだけでも360pan suiteを導入する価値はあると思います!

 

これでソフトウェア用のデモ動画が出来上がり、勢いに乗った我々はハードウェアのデモも作ってみようと考えます。そして作られたのが2つ目のVR動画「Understand」です。

ご注意:現時点ではMacOS上のSafariが360度動画に非対応なためFireFoxまたはChromeでご覧ください。また、iOSのYouTubeはSpatial Audioに対応していないため音声がステレオで再生されます。Android4.2以降のYouTubeはSpatial Audioに対応しております。

 

少し捻ったVR動画“Understand”制作へ

この動画はJ.TESORI町田氏からInterBEE用のデモ動画制作のお話をいただきスタジオ・アームで録音、撮影したものが元になっています。町田氏のアイディアはPro Tools|HDのマルチ出力を様々な方向に配置したスピーカーから再生、それを360度方向に対して同時に複数のバイノーラル録音が出来る世界初のバイノーラルマイクロフォンである3Dio Free Space Omniにて録音するというものでした。

 

天吊りスピーカーを含む6.1chモニター環境を備えたスタジオ・アームにさらにスピーカーを持ち込み行われた収録は深夜まで続きましたが、そうそうある現場ではないためテンションも高めです。3Dio Free Space Omniの他にAmbisonicマイクのOktava MK-4012でも同時にレコーディングを行い、それらをステムのアンビエンス成分として混ぜてみたかったのです。

制作手順は”Accoustic Session”と同じように各チャンネルに360panをインサートしAmbisonic-Bに変換、その送り先にQuadのAUXを作り、そのAUXにインサートした360monitorでQuad to Stereo状態にして確認します。すべての操作が終わったら、AUXの360monitorを外しQuadに戻し、それをバウンスしたらPro Toolsでの作業はすべて完了です。あとは動画編集ソフトにインポートし映像と合わせて、メタデータを追加して書き出すだけです。

今回の”Understand”ではアウトプットのアサインもPanのオートメーションも複雑になっており、スタジオ使用のみならずミックスまで柔軟にご対応いただいた河村氏には心よりお礼申し上げます。

 

要はどう活かすか次第

最初のVR収録見学の時はAmbisonicのみ、”Acoustic Session”ではステムにプラグイン、そして” Understand”ではプラグイン+アンビエンス。当初やってみたかったことは何とか形になりました。Ambisonicマイクをアンビエンスマイクと考えれば「音楽でのVRミックス」といってもステレオやサラウンドとそれほどかけ離れていないとも思えます。逆に、既存の常識や概念に捉われることなく自由な発想で思いのままにミックスするのもありです。

 

VR元年と言われた2016年から2年目に入り、今後どのように活用されるか、はたまた全く活用されないまま消えていくのか、VRという言葉が意味するところが広すぎて掴みどころがない感じがしますが、ゲームのみならず音楽分野でも大きな可能性は秘めているのではないでしょうか。

ライター・プロフィール

中務 政康

Miyaji Professional Division所属。クライアントからの要望をきっかけにVR関連業務に携わる。趣味と仕事の両方で、制作・配信方面の人脈とノウハウを頼りに色々と画策中。

 

斉藤 英夫

作編曲プロデュース、セッション・ギタリストとして数々の音楽制作に携わる傍ら、ネコの動画をきっかけに映像コンテンツの制作も手がけている。

 

今まで得た情報やノウハウ、もう少し詳しい作業の流れなどは今後弊社WEBでも掲載していければと思います。それまで待てない!という方がいらっしゃる?ようでしたらお気軽にお問い合わせください!

創ろう、つながろう、そしてチャンスを掴もう

Pro Tools HDで成功する

業界トップのツールを使って、サウンドをパワーアップ。映画/テレビ用の音楽やサウンドの制作から、世界中のアーティスト、プロデューサー、ミキサーとのコラボレーションまで自由自在です。

LEARN MORE

宮地楽器 プロフェッショナル事業部は、株式会社宮地商会(宮地楽器)のプロ・アマチュア向けレコーディング機器、業務用機器の取扱を業務とするセクションです。 また、音楽制作やMAを行う皆様へ、有意義な情報提供を行っています。詳しくは弊社WEBサイトをご覧ください。