xR連載 ep2. XR SQUADが描く未来のバーチャルプロダクション。
”xR 世界の事例”篇

──小川さんがバーチャルヒューマンに興味を持ったのが、中国の会社で経験したARライブだったそうですが、テクノロジーの進化無しでは語れない分野だけに、作り手として技術面で興奮する発明や進化もあったのではないでしょうか？

僕にとっての興奮は、ゲームエンジンであるUnreal Engine（アンリアルエンジン。以下アンリアル）が映像制作でも使えるようになったことでした。アンリアルはリアルタイムで3DCGをジェネレートできるプラットフォームでありソフトウェア。GPU（グラフィックスを処理するチップ）の進化と相まって、ヘビーな画像処理もリアルタイムでできるようになったことですね。

──リアルタイムエンジンの3Dプラットフォームと言えば、Unityもあるとおもいますが、どうちがうのですか？

エンジニアへの普及度でいうとUnityが主流だと思います。実際BASSDRUMの案件で使うのはUnityが多いです。プログラムで制御がしやすく、初級者から上級者まで幅広く使われています。日本のVtuberの多くはUnityを使っているんじゃないでしょうか。一方アンリアルはハイエンドよりで、繊細な描写に長けています。髪の毛の繊細な質感やフォトリアルな表現などはアンリアルに軍配があがる。僕はこのアンリアルに衝撃を受けて、リアルタイムの表現に取り憑かれていったといっても過言じゃない（笑）。もう、「レンダリング待ち」に本当にストレスを感じていて…。そこを見事に解決してくれてハイクオリティな表現が可能なんて、本当に感動しました。頭に描くことはできても、満足のいくカタチで出来なかったことが一気に可能になっていく興奮です。

──社会的にもコロナのパンデミックにより、xRエンタメが加速したのではないでしょうか？今現在進行形でxRを使ったエンターテイメントの事例を教えて下さい。

もちろんです。xR的な映像撮影手法を「バーチャルプロダクション」って呼んでいます。バーチャルプロダクション自体は、コロナ前から存在していたのですが、パンデミックでライブがオンライン化せざるを得なくなったため、一気に広がった感覚があります。ライブだけでなくて、多くのスタッフが集まる撮影自体も規制がかかっていたので、ニュース番組やドラマ制作まで広く使われ加速しているように感じています。

──そういう意味では2020年はxR元年と言ってもいいのかもしれませんね。

ケイティ・ペリーのxRライブ
ビッグネームがxRを採用し一気に加速

Katy Perry – Daisies

バーチャルプロダクション x アーティストのライブということでしたら、火付け役となったケイティ・ペリーのxRライブ抜きには語れないかと思います。

「American Idol」というテレビ番組で2020年に配信され、xRの技術をライブ演出として使った好例となります。

──どういう仕組になっているのですか？

このステージの背面は２面のLEDが配置されていて、床もLEDになっています。上から見たら三角形になっている感じですね。このライブで現実に存在するのはケイティ・ペリー本人と黄色い椅子だけです。あとはLEDへ映し出される映像と、仮想現実が合成されてアウトプットされています。アートディレクションも圧倒的にかわいくて、これまでのxRっぽいライブとは一線を画しています。カメラの動きをリアルタイムでトラッキングして、それにあわせて仮想現実を合成しているので、パースなんかも整合性がとれていて違和感ないですよね。どこまでが現実でどこまでがバーチャルなのかが、わからないように交じりあっています。

──楽曲の世界観をたっぷり味わえますね。

これは色を合わせるのが大変だったと思います。このケイティのライブを皮切りに、いろいろなところでxRの技術が使われ始めました。

ライブ会場自体が仮想空間！
アリアナ・グランデ、フォートナイトでのライブ

フォートナイトはUnreal Engine（アンリアルエンジン）を作っているEpic Gamesがつくっているゲームのプラットフォーム。最近「メタバース」という概念をよく聞くと思いますが、そのメタバースの世界を牽引している一つがフォートナイトです。何がすごいかと言うと、ゲームの空間内で友達を誘ってショートフィルムを鑑賞したり、好きなアーティストのライブに行って一緒にダンスを踊ったり、現実のようにすごせること。最近だとバレンシアガと提携してフォートナイト内でバレンシアガのファッションが着れるようになりました。コロナ禍で約1200万人を集客して話題になったトラヴィス・スコットのライブも有名ですね。

そのフォートナイトをライブ会場にアリアナ・グランデが「リフトツアー」を開催しました。ゲーム内なので参加者はプレイヤーとしてライブにいくわけですが、もう現実ではありえない演出でライブを楽しめるんですよ。例えばアリアナ・グランデが超巨大になったり、プレイヤーはバブルに包まれてアリアナと一緒に飛行したり、敵をみんなでシューティングしたり。

──これはワクワクする体験ですね。ちなみに「メタバース」を簡単に説明してもらえますか？

メタバースについての公式な定義というのは未だ存在しませんが、物理や経済・社会などの現実世界のあらゆる事象がシミュレートされた、没入度の高いバーチャルな空間とでも言えるでしょうか。

この世界観では、ユーザはただ自由に歩き回り仲間と交流するだけでなく、デジタルアセット（デジタル上の財産。武器や服など）を創作・販売できたり、プラットフォームの垣根を越えてそれらが使用できたりするソーシャルネットワークや経済システムが構想されています。

多人数の同時接続やプラットフォームの垣根を超えた交流など、まだまだ技術的課題も残されていますが、NFTアートの売買によってクリエイターの経済圏が活性化しているのを見ると少しずつ実現しつつあるのかなと思います。

映画産業から生まれた
”バーチャルプロダクション”とスターウォーズ

「マンダロリアン」（原題：The Mandalorian ）
スター・ウォーズ初の実写ドラマシリーズ。1:10辺りの戦闘シーンではカブトに反射する光が、まるでロケーションで撮影してるかのように自然だ。

xRの話に戻ると、”バーチャルプロダクション”の技術はそもそもアメリカの映画産業からきています。このDisney+で配信中のスターウォーズのドラマシリーズ「マンダロリアン」（原題：The Mandalorian ）がLEDウォールを使ったバーチャルプロダクションの事例として有名です。

ケイティのライブでは３面のLEDを使用していましたが、マンダロリアンでは床面はセットでつくって、背景はアールのかかった扇状になった特殊なLEDを使用し映像を映しています。３面タイプのLEDと何が違ってくるかと言うと、環境光を現実に限りなく近い形で再現できることです。役者はより広いバーチャル空間に囲まれるので、光の反射などが自然に反映されて現実感を増した表現につながります。これをグリーンバックのスタジオでやろうとすると緑色がかぶってきてしまいます。CGのスカイドームと同じ考え方を、現実とバーチャル空間をミックスして作っているようなイメージです。

技術的にすごいだけじゃない
自分を開放するxRのオーディション番組

ALTER EGO Series Promo | ‘Dreams Become Reality

全く新しいテレビ番組を紹介します。映画のメイキングなどで、スタジオでマーカーの付いたボディスーツを来た役者さんの動きをモーションキャプチャーしている様子を目にすると思います。動きはリアルな人間がつけるけど、画面にはCGのキャラクターが演技をしているという技術です。その進化系として、世の中でどういう事が起こっているのか。FOXではじまったこの番組ををみてください。「ALTER EGO」というオーディション番組なんですが、登場するコンテスタントがみんなアバターなんです。アバター以外は審査員もバックダンサーも全員リアルな人間です。”中の人”は別室でモーションキャプチャーのスーツをきて自分のアバターを操作しパフォーマンスを繰り広げます。

──多様性の時代におけるオーディション番組という感じですね。性別を超越したり、目からビームがでたり。中の人が泣いたらアバターも涙するほど精密なのも驚きです。このティーザーを見る限り、アバターだからこそ見た目に左右されることなく、自己開放できるという側面もありそうですね。

Vtuber ”Code Mico”と
中の人”テクニシャン”が共存する世界

Code Miko。人気バーチャルヒューマンCode Micoとテクニシャン（本人）が共演。Code Micoと韓国のアイドルグループDay6のメンバーeaJ（JAE)との共演ビデオはこちらから。興味が湧いた方はこちらのeaJがMicoに歌をレッスンする回もどうぞ！

もっとも身近なバーチャルヒューマンといえばVtuberがあります。Code MicoというVtuberが面白いんです。Xsens（エックスセンス）社のモーションキャプチャスーツをつけて自身をモーションキャプチャーし、バーチャルヒューマン”Code Mico”としてYouTube配信をしています。xRならではの演出が詰まっているほか、様々な人と共演したりするのですが、”中の人”も「テクニシャン（技術者）」という名前でMicoと共演しているのが面白いです。

──本人とアバターの主従関係がもはやどちらにあるのかわからなくなりそうですね。

表情もトラッキングしていて、現実空間とMicoの世界は結構リンクしているのがわかりますよね。キャラクターのクオリティも高くて、これまでの２Dでトゥーン風のVtuberキャラクターとは一線を画している。表現とエモーションの部分で、現実とリアルがよくわからなくなる事例として紹介しました。

──小川さんが注目しているのが、まさにこの分野ですね。

今後フォトリアルなバーチャルヒューマンの需要が増えてくると思っています。xRでアバターをリアルの世界に溶け込ませたいってみんな思うんじゃないかな。少なくとも僕はそう考えて取り組んでいるのが「DB」ちゃんです。フォトリアルなキャラクターを現実空間に合成できるのかっていう実験映像ができたので、次回で紹介したいと思います。

──最終回となる「デジタルヒューマンが生きづらい日本社会を解決する？!ワンストップバーチャルプロダクション」篇では、小川さんの所属するチームXR SQUADが取り組むバーチャルヒューマンのR&Dプロジェクト「DB」を紐解きます。お楽しみに！第一回目「xRの魅力は 物語を現実にする技術」はこちらから。