最先端研究を訪ねて

【知覚情報処理】

映像検索

インターネットの大量映像データから、事物や人間の動作まで見つけ出す！世界トップの映像検索技術

篠田浩一先生

東京工業大学

情報理工学院　情報工学系　知能情報コース

◆どんな成果が上がりましたか

私はYouTubeのなどの大量の映像から「これは犬である」「これは座るという人間の動作である」という具合に、コンピュータが機械学習などの人工知能技術によって対象物の特徴を捉え、学習し、動画像の意味を認識させる技術を開発しました。

その結果「犬」「飛行機」などの物体や「走る」「座る」などの人間の動作まで、数百種類の事物映像の検出に成功。国際的な映像検索のコンテストで世界１位となりました。

この映像検索技術の大規模計算には、ビッグデータ処理の省エネ技術で世界１位に輝いた、本学のスーパーコンピュータTSUBAMEが活用されています。世界トップの映像検索技術を目指す東京工業大学が、一丸となった共同プロジェクトの成果と言えます。

◆その研究が進むと何が良いのでしょう

さらにこの新しい映像検索技術を応用し、３次元画像が取得できるカメラを開発し、歩き方をもとにした人物認証、ジェスチャーと手話の認識、人物追跡などに取り組んでいます。

例えば、自動車に搭載されているドライブレコーダーの映像や、街角の防犯カメラや監視カメラの映像にこれを装着し、危険性のある事物・行動を事前に検出することができれば、事故や犯罪の防止につながります。

中学１年生の夏休みに、米国でホームステイをしました。英語を全く喋れず、行く前はとても不安でしたが、先方の家族に温かく迎えられ、友だちもたくさんできて、楽しい思い出になりました。

海外に滞在したり、海外の人と交流したりすることが億劫でないのは、その経験があるからこそだと思います。今はインターネットで気軽に海外の人と交流ができるようになりましたが、日本で生活した経験しかないと、どうしても視野が狭くなります。ぜひ中高生のうちに、異文化に飛び込んでみてください。世界が広がります。

「知覚情報処理」が 学べる大学・研究者はこちら　(※みらいぶっくへ）

その領域カテゴリーはこちら↓

「13.IT・AI」の「48.人工知能・機械学習、画像（ＣＧ等）、インターフェース系」

◆篠田研究室

◆「社会インフラ映像処理のための高速・省資源深層学習アルゴリズム基盤」（科学技術振興機構）

◆「世界一のスピードで深層学習処理を行うAIプラットフォームの研究開発。この成果により全人類と社会に恩恵を！」(テクノロジストマガジン）

機械学習手法(特に深層学習)を用いた、映像や音声の解析に取り組んでいます。

◆主な業種

・大学・短大・高専等、教育機関・研究機関

・コンピュータ・情報通信機器

・電気機械・機器（重電系は除く）

◆主な職種

・基礎・応用研究、先行開発

・システムエンジニア

◆学んだことはどう生きる？ 

大学に残り、東工大の教員として関連した研究をさらに推進している人もいます。

機械学習とそれに関連したマルチメディア情報処理の分野は、現在急速に進歩しており、若手の研究者が不足しています。東工大では大型計算機が気軽に使えるので、研究環境は充実しています。

学生は特に海外からの応募が多く、2/3が留学生で、研究室での公用語は英語です。競争は厳しいですが、意欲的な学生には、海外で研究を発表したり、Googleなどの著名な企業へインターンに行く機会がふんだんにあります。

「音を可視化してみよう！」

音は目に見えませんが、皆さんは、何の音か、誰の声か、何をしゃべっているかを聞き分けることができます。それはなぜでしょうか。

音の周波数成分を表示するスペクトログラムをみてみましょう。Web上で検索すれば音を入力してスペクトログラムを描くツールが入手できます。そこでは、音の違いはどのように表現されているでしょうか。楽器ごとの違い、男女の違い、しゃべっている内容（言葉）による違いを調べてみて、その違いが生じる理由を考えてみましょう。