日常生活を豊かにする実世界インタラクション

実世界のさまざまな対象の情報を取得し活用することで日常生活を豊かにするための研究を行っています。そのために、画像処理や各種センサー情報を組み合わせて実世界の状況を認識し、ユーザにフィードバックします。こうした体験メディアを中心テーマとして、人と人のインタラクションの支援、及びヒューマン・コンピュータ・インタラクションに関わるさまざまな課題に取り組んでいます。

カメラやセンサデバイスを身体に装着しそれらからの情報を統合して身体の様々な部位の動作状況を得る身体装着型簡易モーションキャプチャ技術を研究しています．例えば，まるで「寄生獣」のように掌の中央に魚眼カメラを装着しその画像を解析することで，各手指の詳細な姿勢を測定することができます．これらの技術により専用のモーションキャプチャ装置と比較して圧倒的に安価に同様の機能が，例えばARによるろくろ回し体験などのアプリケーションを実現できます．

実世界で様々なコンテンツを作成・入力するための技術に取り組んでいます．例えば，頭部装着カメラで指先軌跡を捉えることで空間にバーチャルな落書きを残すことができるAR落書きインタフェースや，指で囲った構図を元に首振りカメラやドローンを制御して意図通りの写真を撮影する技術を作っています．また，途中まで作った折り紙の進行状況を機械学習を利用して認識しプロジェクションマッピングで次の工程を指示してくれる折り紙支援技術も研究しています．