XR SQUADの強みはワンストップでできる
バーチャルプロダクション
連載の第一回「”xRの魅力は 物語を現実にする技術”篇」はこちらから
──これまでxRを使った事例はビッグネームが多く、興味はあれども敷居や制作費はまだまだ高いというのが現実なのでしょうか？
「マンダロリアン」（詳細は連載第二回目へ）のようなハイエンドのプロダクションがある一方、実はバーチャルプロダクションへの参入は比較的容易になってきています。iPhoneでLiDARスキャンはできるし、カメラトラッキングもできます。CGを制作する無料ソフトウェアもあるし、僕がメインで使っている3Dリアルタイムプラットフォーム、Unreal Engine（アンリアルエンジン。以降アンリアル）も無料で使えます。環境面で作り手の敷居は低くなってきています。その気があれば誰だってxRクリエイター/エンジニアになれる時代なんです。
バーチャルアイドルを現実空間に合成したいという要望は、コロナ以前よりずっとあったのですが、その頃はまだCGのプリレンダリングで頑張って合成するしか方法が無くて、制作工程がすごく長かったんです。
①センサーから取得した人間のモーション（動き）のデータをCGで作ったバーチャルアイドルに反映
②専用のソフトウェアから取得した現実のカメラの移動や回転、ズームなどの情報をバーチャル上のカメラにも反映させる
③レンダリングをかける
④最後に現実空間の背景映像とレンダリングしたCGのバーチャルアイドルを合成し、色調整をして、再度レンダリングをかける
という流れでしたが、リアルタイムエンジンを使うことで、①〜④の工程が瞬時にできるようになりました。「Code Mico」のように、自宅で自身をモーションキャプチャーをしながらそれをリアルタイムでバーチャルヒューマンにワンストップで反映できるんです。時間も関わる人数も少なくてすむようになります。
──その利点を生かして現在取り組んでいるのがバーチャルヒューマンプロジェクト「DB」ですね。
XR SQUADで取り組む、ワンストップバーチャルプロダクションのR&Dプロジェクト「DB」。
「DB」は、BASSDRUM事務所の屋上という現実空間に、バーチャルヒューマン”DBちゃん”が登場しパフォーマンスを行う内容です。Mo-Sysを使ったカメラトラッキングとアンリアルによるリアルタイム合成の検証することが目的でした。もう一つの大きな目標は、XR SQUAD内でワンストップで作れるかということでした。チームのキャッチコピーに「最初から最後まで」と掲げているのですが、コンパクトなチームで迅速にフレキシブルなプロダクションでどこまでできるのかを検証する目的もありました。
──通常の映像制作でも、分業制になればなるほど現場に人数は多くなります。
ワンストップで完結し、コンパクトなチームで動けると、クオリティのコントロールもしやすいですし、コストも抑えられます。このビデオ制作も機材手配、キャラクター制作、洋服のシミュレーションもチーム内で完結しています。
まずキャラクター制作から取り掛かりました。これまではリギングの作業やモーション付けは負荷の大きな作業でモデラーさんに外注していましたが、最近は自動で処理してくれるソフトウェアなどがでてきたので、R&D用途であればインハウスでも作れるようになってきました。このビデオはデモということもあり、キャラクター制作には１週間しかかけていません。 そして衣装制作です。バーチャル上でパターンをつくって縫製をしています。服作りでも既存のアセットをうまく活用して、こちらも短時間で仕上げています。あえてテカテカした生地を選んで現実世界の空間が反射で映り込むようにしたり、事前にシミュレーションを行うことで服のたるみを精緻に表現しています。
現実のカメラ座標をトラッキングするセンサーMo-Sys
次のフェーズはMo-Sysを使って現実のカメラ座標をトラッキングし、バーチャル上のカメラと連動させます。ここで活躍するのがBASSDRUM特製の「BDプロトコル」。ハード側（カメラやMo-Sys）とソフト側（Unreal EngineやUnity）をつなぐミドルウェアで、バーチャルと現実を一体化させるものです。BASSDRUMの村山 健によって作られているので、通称「ムラケンプロトコル」とも呼ばれていて、弊社のバーチャルプロダクションの要です。
ハード側とソフト側をつなぐミドルウェアBASSDRUM特製の「ムラケンプロトコル」
テスト撮影では、本番のロケーションとなる屋上スペースを、iPhoneのLiDAR（ライダー）をつかってスキャン撮影したものを、仮スタジオにおいて、「こんな感じかな～」ってカメラを動かしながら実際の見え方の検証をしました。ライティングは、現実には手前の２本のネオン管のみです。後ろのネオンはCGです。現実と仮想空間の境界をどれくらい曖昧にできるか表現の実験でもあります。ライティングを設計したら、キャラクターの動きも含め、シミュレーションをしました。
──デモンストレーションの結果には満足されていますか？
CG上で重要かつ難しいとされる一つが影の表現なのですが、自然な形で作れたと思っています。影があるかないかで没入感やリアリティの感じ方がぜんぜんかわってくるんです。今後の課題としては、現実とバーチャルの境界をどこまで曖昧にしていけるか、その精度を高めていきたいです。
バーチャルヒューマンによって
世界はこう変る
三回に渡って”xRの今”を教えてくれたテクニカルディレクター・小川恭平さん
──ワンストップでのバーチャルプロダクションやバーチャルヒューマンは今後どのようなシーンで活躍していくのでしょう？
バーチャルライブ、ライブコマース、様々な配信用途に可能性を見ています。今後確実にバーチャルヒューマンの需要は増えてくると思っています。このデモでは、既存のモーションをつかっていますが、リアルタイムでダンサーの動きをトラッキングした振り付けなど、様々なケースが想定できますね。
バーチャルファッションショーも増えてきています。自分のバーチャルキャラクターに着せるバーチャル服を買うこともできます。
──同じデザインの服を現実用とバーチャル用に買う二枚買いもありそうですね。
そういう時代においてアバターの価値はもっと上がっていくんだろうなって。現実世界では外出をしなくても、自分のバーチャルヒューマンはソーシャルネットワーク上では活発に行動していて、バーチャルで買った服を着て、ネットセレブと遊んで写真をとってポストするみたいな、別人格としての人生もリアルにある。近未来には、バーチャル上で恋愛して家族を作ることもできるかもしれないし、障害を持った人がxRの技術でもうひとつの生活をおくることだってできる。
─今年の文化庁メディア芸術祭の受賞作品にxR作品が目立って増えた印象でした。アート部門の大賞を受賞した「縛られたプロメテウス」は、ALS（筋萎縮性側索硬化症）患者であり、アーティストである武藤将胤さんによる作品でしたね。
今バーチャル空間で感じることのできる五感は、視覚と聴覚だけです。そのうちに五感をフル活用したxRが出てくるんじゃないかと思います。そうするとますます現実と仮想現実が曖昧になる。「現実」の価値観も変わってくるでしょう。学校では目立たない存在でも、仮想現実ではすごく目立っていることもあるだろうし、別人格を持つことが普通になってくる。もしかすると無意識にもうそういう感じになっているのかもしれない。
──確かにSNSですでに複数アカウント=アルターエゴをもっている時代ですよね。
ジェンダーも超越する世界だし、容姿だってもっと自由になる。男性で長髪だと不適切だと騒がれたりする日本だからこそ、バーチャルの世界と両立することで自由で生きやすくなるかもしれません。エンターテイメントやビジネスの世界でのxRの活躍もありますが、社会的にも今の時代の生きにくさがバーチャル上で開放されるといったような側面も期待できます。
──本当の自分自身でいられる場所になってくるとすれば、カルチャーとしても大きなうねりになっていきそうですね。
今の世代が共感する価値観であり技術だし、つくり手も増えてきているので、xRでハッピーな未来になるって信じています。
「LINE DAY 2020 making of」：XR SQUADはエンターテイメントからビジネスの場まで様々な事例を手掛けている。LINE社のビジネスカンファレンスのオープニングやステージ演出にもxRの技術者として関わった。
──最後にXR SQUADはテクニカルディレクターの集団ですが、所属するBASSDRUM（仕事場）はどのような雰囲気ですか？
BASSDRUMは30人強のメンバーがいますが、正社員は半数程度で、残りの半数は自分の会社や別のチームにも所属していたりとフレキシブルです。でもその雇用形態によってプロジェクトを進める上で差があるわけではなくて、案件ごとに流動的にチームを組んでいます。上下関係もなくフラットで、特技をもった人たちが集まった非中央集権的な組織、コミュニティに近いと思います。なんですごく僕は楽しいんです。機材オタクやソフトウェアオタクと一緒にモノづくりをしている、サークルみたいですよね。技術の進歩と相まって、多様な世界や価値観がこれまで以上に受け入れられるようになって、大きな会社に所属しなくても個人やチームで活動できる構造に変わっていると実感しています。
─そういうチームがつくるxRの世界楽しみにしています！
XR SQUADをよろしくおねがいします。
PROFILE
小川 恭平｜テクニカルディレクター
1993年京都生まれ。早稲田大学文化構想学部卒業。学生の頃よりエンターテインメント業界に携わり、漫画を中心としたクリエイターエージェンシーでエンジニア兼編集者を経験する。独学で3DCG制作を始めた後、上海に渡り、中国ナンバーワンのバーチャルアイドルのステージ演出やミュージックビデオの映像制作・動画配信を担当。2020年よりアソシエート・テクニカルディレクターとしてBASSDRUMに参画し、エンターテインメント・AR/VRのエンジニアリング、ウェブサイトやサービスの構築からコンテンツまで、幅広いプロジェクトに携わる。
