モニターに映った仮想の物体を触れたり，その存在を感じられたりする――。東京ゲームショウ2009で、慶応義塾大学 大学院メディアデザイン研究科の舘研究室と，東京大学 大学院情報理工学系研究科の川上研究室が共同で、触覚や小型プロジェクターを使った新しいAR（augmented reality＝拡張現実）技術の研究成果を披露している。
公開しているデモは3種類。振動モーターを組み込んだペンで、仮想の物体を触ったり動かしたりできる「Pen de Touch」（写真1）。指先にモータを組み込んだデバイスを取り付け、指先に圧力とせん断力を伝えることで仮想の物体をつかんだり、重さを感じさせたりできる「GravityGrabber」（写真2）、加速度センサとカメラを組み込んだ小型プロジェクターで映したキャラクターが、現実の世界の色や形を検知して動きを変える「Twinkle」である（写真3）。
例えばPen de Touchでは、ペンの後端に取り付けた3点のマーカーの位置を、天井に取り付けた6個のカメラで読み取ることで、ペンの位置や高さ、傾きなどを検知する（写真4、５）。これと仮想物体との位置関係を基に、ペンの振動モーターを動かして「物体に触った感覚」を与えるしくみになっている。
舘研究室らは研究デモは、会場内ホール2にある「コフェスタ」ブース内で行われている。
（文／山田 剛良）
「Pen de Touch」のデモの様子。テーブルに映し出された日本の地形を、ペン先で「触る」ことができる
「GravityGrabber」のデモの様子。モーターを組み込んだデバイスの位置をカメラで検知し、画面の物体に合わせて指先に力を伝える
「Twinkle」のデモの様子。センサとカメラを組み込んだ小型プロジェクターでキャラクターを映し出す。黒の線や赤色、水色などを検知してキャラクターが動く
Pen de Touchのペンの内部には振動モーター、後端には位置検出のためのマーカーが組み込まれている
天井に取り付けた6個のカメラで、ペンの位置を検出する
