日本テレビが展示した「テオミルン」のデモ。HoloLensを装着した人からは、ピアノを弾いている演奏者の姿が見える。右側の大きな画面に映るのが装着者の視界。正面のピアノは映像に合わせて自動で演奏する。
[画像のクリックで拡大表示]

 日本テレビ放送網(以下、日本テレビ)は、同社が開催した技術展示・体験イベント「CREATIVE TECHNOLOGY LAB」(2017年3月7~8日)で、ピアノ演奏の立体映像を記録し、自由な視点から視聴できるシステム「テオミルン」を展示した。映像の記録には米Leap Motion社のジェスチャー入力装置「Leap Motion」と米Microsoft社のジェスチャー入力装置「Kinect」を、視聴にはMicrosoft社の光学透過型ヘッドマウントディスプレー(HMD)「Microsoft HoloLens」を使用する。

 テオミルンでは、ピアノを演奏する指や腕の細かい動き、全身の動きを、モーションキャプチャー用のマーカーなどを使わずに“一発撮り”で記録できる。具体的には、指や手の動きを複数台のLeap Motionで、全身を4台のKinectでそれぞれ記録する。演奏情報は演奏データの標準フォーマットであるMIDI(Musical Instrument Digital Interface)信号を電子ピアノから記録する。

演奏者の手や体の映像だけでなく、次に押さえる鍵盤の位置を示すマークも表示する。右側に映るメニューで、マークや体の表示の有無などを切り替えられる。
[画像のクリックで拡大表示]

 視聴する際は、実物のピアノをHoloLens越しに見ることで、演奏中のピアニストの立体映像を好きな場所から見ることができる。手指と体には別のCGモデルを使用しており、手指は高精細な映像、体は点群データで表示する。演奏者の映像と共に、次に押さえるべき鍵盤の位置を示すマークも表示するので、楽譜を用いずに弾き方を学ぶことが可能だ。イベントでは、あらかじめMIDI信号で記録したピアニストの演奏と立体映像を使ったデモが実演された。

 実はテオミルンは、2016年3月に開催した日本テレビのイベント「デジテク 2016」でも展示したシステムだ。しかし当時は手の表示だけで、演奏者の全身の映像は表示できなかった。HMDもHoloLensではなく、米Oculus VR社の「Oculus Rift DK2」を使用していた。Oculus Riftは透過型のHoloLensと違い密閉型なので、現実空間の映像と演奏者のCG映像を合成した映像を作成する必要がある。そのためカメラやパソコンとの接続や、映像の位置合わせ用の仕組みが必要で、「かなり大掛かりなシステムだった」(テオミルンの開発を担当した日本テレビの藤井彩人氏)。今回HoloLensを採用したことでシンプルなシステムにできたという。

 今後は、他の楽器の演奏や書道、手話、料理などの手を使う技能の再現に応用していく。さらに将来的には、テレビの視聴体験をより充実させるようなコンテンツの提供にもつなげていく考えだ。「透過型HMDをしたままテレビを見ることが将来一般化すれば、テレビの野球中継を見ながら選手の立体映像をリビングに呼び出して素振りを見たり、音楽番組に出演するアイドルを間近に鑑賞したりできるようになる。HoloLensのようなHMDがより安価になり一般に普及する未来を見据えて、モーションキャプチャー技術をさらに磨き、新たなコンテンツをつくっていきたい」(藤井氏)。

(文/内山 育海=日経テクノロジーオンライン編集)