キヤノンITソリューションズが、2013年に発売したMR(Mixed Reality:複合現実感)システム「MREAL(エムリアル)」を活用して、実在の人物全体を3D仮想映像空間内に合成表示する「人物合成映像システム」を開発した。 同社によればMRとは、現実世界と仮想世界をリアルタイムに違和感なく融合させる映像技術のことで、例えばCGで作った仮想のモックアップ(デジタルモックアップ)を、実寸感覚で体験することが可能。博物館・美術館などで恐竜の化石を復元するなどの技術に応用されている。

 従来のMRシステムでは、CG画像上に身体の一部のみの表示や、全身を表示できてもCGとの前後関係が正しく表示できない、あるいはリアルタイムで合成できないなどの課題があった。これに対し、今回の人物合成映像システムは、カラーマスキング機能を応用し、緑または青のクロマキー背景色以外の映像を、実写映像から人物全体として抽出。これを3Dステレオカメラの視差を利用したリアルタイム画像処理により、空間内の人物の位置を推定。人物と仮想物体との前後関係を正しく反映して表示することに成功したという。

 従来のシステムでは、肌色部分だけを認識して表示するという処理を行っていたが、新システムでは、クロマキー背景色以外を表示させるという仕組みを採用した。

 この開発により、工場の生産設備で作業者の姿勢や作業動線のシミュレーション、車両や大型機械設計などの組み立て方法や整備性の検証などのほか、住宅メーカーが顧客の身長に合わせた住設機器の提案をするときなどにも利用できるという。

実在の人物全体を3D仮想映像空間内に合成表示する「人物合成映像システム」
[画像のクリックで拡大表示]
実際には緑色のクロマキー背景色の前に立っている
[画像のクリックで拡大表示]
[画像のクリックで拡大表示]