イノベーション推進機構 産学連携・URA領域

九州工業大学の研究者 -私たちはこんな研究をしています-

工学研究院

教授

丹上 結乃純

たんじょう ゆうい

所属
工学研究院
機械知能工学研究系
プロフィール

 様々なモーションキャプチャの手法(マルチビジョンから可動ステレオビジョンまで)を開発し、変形物体(特に人の動作やスポーツなど)の立体モデル化に応用するなど、三次元復元の研究に従事してきました。現在は、人の動作・挙動の認識と解析、映像による情報表現などの研究を行っています。7ヶ国語が話せるので、国際コミュニケ-ションは円滑にできます。研究室の学生・研究員もまた国際色豊かで、15名が日本、6名が外国出身で、国際的です。学生教育でも、自律的・積極的・紳士的な態度を徹底的に育成し、日本・外国の学生間の異文化疎通を図っています。大学際展示・国際展示フェア・国際会議なども重要な教育現場とし、学生ともども積極的に参加し、学生の意欲・関心および学習の相互形成・向上に努めるなど、教育の質を高める工夫を行っています。

受賞
計測自動制御学会(SICE)九州支部奨励賞
Artificial Life and Robotics (AROB) Young Author's Award
情報処理学会九州支部奨励賞
Biomedical Fuzzy Systems Association(BMFSA) The Best Paper Award
バイオメディカル・ファジイ・システム学会和文誌 優秀論文賞

ハイブリッド・イメージセンシングで
3D世界やロボットの知的環境実現

● 研究テーマ

  • ❖ハイブリッドイメージセンシング技術で3D世界の生成・解析から人を自発的に支援する
  • ❖3D適応ロボット・空中ロボットによるハイブリッドな知的環境実現まで

● 分野

モーションキャプチャ/3D解析(立体映像―ディジタルヒューマンを造る)人動作の表現と挙動認識(ロボットが自発的判断してに人を助ける)

● キーワード

イメージセンシング、人の動作・挙動認識、三次元復元、リハビリ動作解析、知的ロボット、空中ロボット

● 実施中の研究概要

 知能移動ロボットや空中ロボット、またセンサ・ネットワークに囲まれた知的環境で、人が安全・安心かつ便利に暮らせる社会の実現を目指して、使いやすいモーションキャプチャ・システムによるダイナミックな空間の立体モデル化、また人の動作・挙動の表現・認識と解析、映像によるコミュニケーション支援などの研究を行っています。

❖ モーションキャプチャ/3D解析
(立体映像 ― デジタルヒューマンを造る、人を見る・表現する)

人の動作をコンピューターに取り込み、立体モデル(ディジタルヒューマン)化する技術の研究です。デジタルヒューマンは、ビデオゲームのキャラクターに利用されたり、アバター(分身)として人とコンピューターのコミュニケーションに利用したりできます。スポーツやリハビリ訓練中の人の動作を立体モデル化して、動作の解析や評価を行うこともできます。開発したモーションキャプチャ法は、従来法と違って、カメラキャリブレーションが不要(または簡単)なため、屋外でも容易に利用できるなど、市販製品よりも使いやすい方法です。将来は、過去に撮影した2Dビデオ映像のMMC(Mobile Motion Capture、動くカメラを用いたモーションキャプチャ)による立体映像化や、それを用いた立体テレビ映像制作も可能になる方法です。

❖ 人の動作の表現と認識
  (人を自発的に手助けするロボット:考えるロボット)

知能ロボットとともに生きる時代が来ることを予想して、ロボットが人の動作や挙動を認識する方法の研究です。立ち止まった人、重い荷物を運ぶ人、具合が悪くなった人などを認識して、必要に応じて手助けするロボットの開発を目指しています。要素技術として、人動作の表現法・動作の実時間認識法・ビデオ映像からの人の抽出と追跡法などの研究を行っています。また、空中映像から、地上の人やその動作を認識する技術の開発も行っています。

❖ 映像によるコミュニケーション支援
 (言葉と映像でコミュニケーション)

人の顔や景色などは、言葉を尽くすよりも絵で見せた方が容易に相手に理解してもらえます。会話中の言葉から画像で表現できる言葉を認識し、その画像を会話の流れの中で提示するというシステムの開発を行っています。

● 今後進めたい研究

① 事故・盗難を防ぐ自動車(ぶつからない車:MIRU車)の開発・車に載せたカメラ・コンピューターシステムによって、走行中に前方の歩行者の行動や自転車・車などを常時検出して、危険な対象をドライバーに通知する技術の開発(ドライバーの見落としをカバー)や、駐車中の車内外の監視により車上荒しや盗難などを検知するシステムの開発など、交通事故・盗難ゼロ社会の実現を目指しています。
② 人とともに暮らす知能ロボットの開発・人のように動き回り、助けてくれるロボット、人とコミュニケーションを行うロボット、疲れた心を癒してくれるロボットなど、一緒に暮らせるロボットの実現を目指します。また、空中映像から、地上の人や公園・病院・ランドマークなどを認識する技術の実現を目指します。

● 特徴ある実験機器、設備

キャリブレーションフリーのモーションキャプチャシステム、全周囲復元のためのモーションキャプチャシステム、人の動作・挙動認識システム

● 知的財産権(技術シーズ)

『背景画像推定に基づく物体検出方法および物体検出装置』(出願中)(特願2009‐158120)(2009)
『動体の動作認識方法』(公開特許)(特願2008‐014124)(2008)
『モーションキャプチャ法』(公開特許)(特願2006‐355681)(2006)
『動体の動作判別方法』(公開特許)(特願2006‐355691)(2006)
『動体の動作表現方法および動作認識方法』(出願中)(特願2006‐355662)(2005)
『固有空間を用いた動体の動作判別方法』(公開特許)(特願2005‐237785)(2005)

● 過去の共同研究、受託研究、産業界への技術移転などの実績

【共同研究】
① 『簡易型モーションキャプチャシステムを用いた股関節症者の歩行動作の3次元復元と解析』(2005)
② 『モーションキャプチャによる膝十字靭帯変形の3次元復元』(2000)
③ 『モーションキャプチャシステムを用いた歯磨き動作の3次元復元と解析』(2000)
④ 『モーションキャプチャシステムを用いた車椅子から便座への移乗動作の3次元復元と計測』(2000)
【科研(代表)】
① 『ユビキタスパートナー構築のための特性情報空間の開発― 人の高速挙動認識への展開』
 (2007-2008年度 科学研究費補助金 若手研究(B))
② 『人の挙動認識のための特性情報空間の開発―ユビキタスパートナーの構築に向けて』
 (2005-2006年度 科学研究費補助金 若手研究(B))

● 関連リンク先

❖ 研究室ホームページ

❖ より詳しい研究者情報

図1 ハイブリッドイメージセンシングに関する5つの研究

図2 3D復元例上段は原画像、下段は検出結果変形物体の3D生成・解析

図3 3D一括モデル化例:上段は原画像,下段は復元結果、静止物体(鶴)の一括モデル化

図4 3D適応ロボット 見学者の動作・挙動を認識してその動作を再現するロボットシステム