イノベーション推進機構 産学連携・URA領域

九州工業大学の研究者 -私たちはこんな研究をしています-

情報工学研究院

准教授

二反田 篤史

にたんだ あつし

所属
情報工学研究院
知能情報工学研究系
プロフィール
2018
情報理工学博士
東京大学大学院
情報理工学系研究科
2009
数理科学修士
東京大学大学院
数理科学研究科

あるセミナーで見たアヤメの分類デモが当時はとても不思議なものに感じ機械学習に興味を持ちました。また機械学習には数学によって説明できる現象や実現できる技術が多くあることにも魅力を感じています。

受賞
Outstanding Paper Award, International Conference on Learning Representations (ICLR) (2021年)

機械学習の理論と応用

● 研究テーマ

  • ❖ 効率的大規模最適化法の開発
  • ❖ 確率的最適化理論に基づく機械学習研究
  • ❖ 深層学習の数理研究

● 分野

知能情報学 ソフトコンピューティング 情報学基礎論

● キーワード

確率的最適化 統計的機械学習 深層学習

● 実施中の研究概要

近年の技術進歩によって物体・音声認識、自然言語処理、ゲームAI、ロボット制御等の人工知能技術が驚くべき精度で実現しはじめています。その根幹にあるのが機械学習、とくに巨大なニューラルネットワーク(脳を模した数理モデル)を用いた深層学習と呼ばれる技術です。深層学習はそのポテンシャルの高さから学術会・産業界において注目度が非常に高く、更なるイノベーションを起こすべく活発に研究が進められています。このように深層学習の応用研究が進む一方で、その背後では高い性能を引き出すために膨大な計算リソースが費やされているという現状があります。その要因として深層学習の動作原理に対する理解不足のため、適切なネットワーク構造の決定、学習アルゴリズムのチューニングについての指針が欠如しているという点が挙げられます。今後、深層学習モデルの学習に費やされる計算コストを削減するためには、深層学習の理論的理解を深めそれに基づいた理論保証付き学習法によってチューニング要素の削減・効率化をする必要があると考えます。そこでこの目標に向けて次のような課題に取り組んでいます。

1. 最適化法の大域的収束性と収束率の精緻な理解、
2. 最適化法依存の帰納的バイアスの解明、
3. 帰納的バイアスを顕在化した学習法の開発。

一般に深層学習モデルのような巨大な非線形モデルは、その学習が非凸最適化問題に帰着するため最適解が得られる保証がなく、また得られるパラメータについてのバイアスなしには汎化性能(未知データの予測性能)を担保することができません。これは深層学習がうまくいくという経験的事実に反するものであり、このギャップを埋めるための研究は重要です。そのための活動が上記研究項目1・2に相当します。そしてそこで得られた知見を活用し、安定的な学習法の開発を研究項目3では目指しています。

● 今後進めたい研究

深層学習の最適化法の理論研究およびそこで得られた知見の応用展開。

● 関連リンク先

❖ 研究室ホームページ

❖ より詳しい研究者情報