発音しなくても唇で会話できる・・・

● 研究テーマ

• ・読唇（単音認識 ・単語認識・コミュニケーション支援 ）
• ・移動物体の追跡
• ・車いすベースの移動ロボット（音声操作型電動車いす ・屋内移動ロボット ）

● 分野

人間医工学、リハビリテーション科学・福祉工学

● キーワード

画像処理、パターン認識 、パターン認識、コンピュータビジョン、ヒューマンインタフェース、読唇、音声・聴覚・言語障害の補助手段

● 実施中の研究概要

"・視覚情報に基づく発話内容の認識（読唇・唇の動きを携帯電話で読む）

人は発話内容を認知するとき、音声情報だけでなく口形変化、表情等の視覚情報を利用します。音声情報は周囲雑音の影響により認識率の低下を招きますが、読唇は高騒音下での認識が可能となる利点をもちます。そして読唇は発話障害者のコミュニケーション支援、公共などの発声が難しい高騒音の場所での入力インタフェースとしての応用も期待できます。期待されるのはパソコンのWEBカメラや携帯端末のテレビ電話機能を利用して気軽に正確な読唇を行い文字情報、音声情報化する技術です。具体的にはActive Appearance Modelを利用して口唇領域を自動抽出し，認識に有効な特徴量を検討し認識を行います。携帯電話で口唇を認識する場合には、発話者の正面画像ではなく、横画像、斜め画像を採用する必要があり、これを読み取る技術の開発が必要です。また、これまでの読唇の研究で判ったことは言語に左右されずに文字情報、音声情報化できる可能性も秘めています。読唇の基礎技術に関する研究、読唇を利用した福祉支援システムの開発に取り組んでいます。

・移動物体の追跡

動画像中の移動物体を追跡する技術は、監視システム、ヒューマンインタフェースなどさまざまなアプリケーションへの応用が考えられます。移動物体の追跡アルゴリズムとしてテンプレートマッチングやParticle Filter、Mean Shift追跡など様々な手法が提案されています。本研究室では、移動物体周辺において山登り法による極大値の探索を行い高速な処理を実現するMean Shift追跡に関する研究に取り組んでいます。

・車いすベースの移動ロボット

音声／読唇操作型電動車いすや単眼カメラによる移動ロボットの周囲環境認識およびロボットの走行制御など、電動車いすをベースにした移動ロボットの開発に取り組んでいます。
"

● 今後進めたい研究

2006年の厚生労働省の調査によれば聴覚・言語障害者の推計数は343千人となっています。しかし、加齢による老人性難聴者などは含まれていません。又補聴器の市場規模は475千人といわれ潜在需要はなんと1500万人とも言われていいます。長寿社会は日本だけでなく世界に広がって行くと思いますが、聴覚･言語に障害を持つ人も増加していきます。人間のコミュニケーションの中で重要な会話を補助して行くことは障害を持つ人、介護する人にも便利です。読唇の研究をしている研究者は大変少ないのですが、これまで集積したデータは多数あります。今後は画像処理技術を使い読唇についてさらに研究を進めていきたいと思います。　　　　　　　　　　　　　　　　　　　　　　　　　　

● 知的財産権（技術シーズ）

・齊藤 剛史，小西 亮介："文字入力方法"，特許出願2008-003472，特許公開2009-169464，出願日：2008年1月10日，公開日：2009年7月30日．
・金子 豊久，齊藤 剛史："輪郭抽出システム"，特許4491714（特許出願2004-134642，特許公開2005-316776，出願日：2004年4月28日，公開日：2005年11月10日，登録日：2010年4月16日）．
・金子 豊久，齊藤 剛史："植物認識システム"，特許3918143（特許出願2000-403201，特許公開2002-203242，出願日：2000年12月28日，公開日：2002年7月19日，登録日：2007年2月23日）．

● 過去の共同研究、受託研究、産業界への技術移転などの実績

共同研究：画像処理に基づく割り箸原形の外観検査システムの開発

● 関連リンク先

❖ 研究室ホームページ
http://www.slab.ces.kyutech.ac.jp/ja/index.html

❖ 詳しい研究者情報

https://hyokadb02.jimu.kyutech.ac.jp/html/232_ja.html