情報通信

機械学習・深層学習(Deep Learning)

2025年グローバル市場規模予想

4136億ドル

機械学習・深層学習(Deep Learning)
2012年6月26日、Google Official Blog は、ネコと思しき1枚の画像とともにあるニュースを伝えた。
“Using large-scale brain simulations for machine learning and A.I.” Google Official Blog, June 26, 2012 http://googleblog.blogspot.jp/2012/06/using-large-scale-brain-simulations-for.html
自動運転車や拡張現実、スマートコンタクトレンズなどの研究開発を進める 「Google X Lab」 は、同社コンピュータ群上に分散構築した大規模なニューラルネットワーク(人工知能の一種)に1週間にわたり、YouTubeの動画をランダムに見せ続け学習させたところ、コンピュータが自ら、「ネコ」を認識する能力を獲得したという。コンピュータに予め、ネコについて示唆を与えたわけでもなく、また、ネコの画像を意図的に多く見せたわけでもないのに、いわば、新生児の脳(newborn brain)が、「自己教示学習(self-taught learning)」により、ネコの概念を発見したのだ。

1959年、米国IBM社のコンピュータサイエンティスト(後にスタンフォード大学教授)の Arthur Samuel は、機械学習(machine learning) を、「明示的にプログラミングすることなく、コンピュータに学習能力を与える研究分野(Field of study that gives computers the ability to learn without being explicitly programmed.)」と定義した。
一方、Google Official Blogに猫の画像を投稿した一人、Andrew Ng(スタンフォード大学準教授)は、機械学習とは、「明示的にプログラミングすることなく、コンピュータに行動を起こさせる科学(the science of getting computers to act without being explicitly programmed )」だという。より自律的・行動的イメージが感じられる。

機械学習は、1940年代から始まった人工知能研究の中から生まれた計算手法であり、コンピュータ自ら、与えられたデータの中から、特徴やパターン、法則性を見出し、階層構造やクラスタ構造に分類したり、現状把握、動向分析、将来予測をすることなどを目的に開発されてきた。確率論や多変量解析、計算論的学習理論、情報理論、統計力学や量子力学、アルゴリズムなど様々な分野と関連性を持ちながら発展を遂げ、現在までに、顔認証や文字・画像・音声の認識、自然言語処理やウェブ検索、ウェブ翻訳、ゲノム構造解析、化合物の反応性予測、株価予測、ショッピングサイトやSNSにおけるレコメンド機能等々の分野で実用化されている。まさに、GoogleやAmazon、Facebookなどのビジネスモデルを支える基幹技術でもある。また、Googleは「Prediction API」、Microsoftは「Azure Machine Learning」、 Amazonは「Amazon Machine Learning」というそれぞれのクラウド機械学習サービスを提供している。いずれも一連の予測モデルをサポートしており、APIで入力変数の値を送信すると、目的変数の予測値を受け取れるというものだ。

ビッグデータの時代に入り、機械学習はますます重要性を高め、多言語コミュニケーション、自動運転システム、サイバーセキュリティ、そして、本格的な人工知能(強いAI)などを実現できる高度な技術が求められている。 2012年を機に、音声認識や画像認識で飛躍的進化をもたらした深層学習(deep learning)やそのコアをなす表現学習 (feature learning、representation learning) が注目を浴びているが、その源流は、1943年に発表された一つの論文*1)に発する。シナプスに信号が入力されると、その信号に応じて新たな信号の発火が起こり、それが次のシナプスに伝播するという、ヒトの脳の神経ネットワークを模した計算モデル(McCulloch-Pittsモデル)の提案だった。これが後のニューラルネットワーク(生物の神経ネットワークの構造と機能を模倣する学習アルゴリズム)の出発点となる。
冒頭に掲げたGoogleのネコを認識したシステムも、ニューラルネットワーク上での深層学習の例である。
*1) McCulloch, W. and Pitts, W. , “A logical calculus of the ideas immanent in nervous activity”. Bulletin of Mathematical Biophysics, 7: 115 – 133, (1943)

機械学習・深層学習(Deep Learning)の活躍の場

  • ・人工知能・知性システム
  • ・知能ロボット
  • ・スマートモビリティ
  • ・スマートスポーツ
  • ・スマートシティ
  • ・スマートモニタリング(インフラ監視/遠隔診断)
  • ・スマートスポーツ
  • ・ICTヘルスケア・データヘルス
  • ・ファクトリオートメーション
  • ・ITS(高度道路交通システム)
  • ・自動翻訳
  • ・多言語コミュニケーション
  • ・高性能コンピュータ
  • ・パーソナルスパコン
  • ・サイバーセキュリティ
  • ・犯罪捜査・テロ対策
  • ・地球環境・気候変動対策
  • ・食糧計画
  • ・エネルギー計画
  • ・未来予測
  • ・VR・ARゲーム・アトラクション

機械学習・深層学習(Deep Learning)のグローバル市場規模推定

機械学習・深層学習の活躍分野は既に、顔認証や文字・画像・音声の認識、自然言語処理やウェブ検索、ウェブ翻訳、ゲノム構造解析、化合物の反応性予測、株価予測、ショッピングサイトやSNSにおけるレコメンド機能等々に及び、今後、人工知能、ロボット、クルマ、医療、宇宙・深海を含むフロンティア開発、資源探査、環境、エネルギーとますます広がっていくだろう。俯瞰的に見ると、これらはMEMSが活躍する分野とほぼ一致する。
米国IDC社は、2015年のビッグデータ解析市場を1250億米ドル(≒15兆円)と見込んでいる。
astavisionでは、2015年時点での機械学習・深層学習関連のグローバル市場規模を、300億米ドル(≒3.6兆円)と予想している。そこで、年間平均成長率(CAGR)を30%と仮定し、2025年段階での機械学習・深層学習関連のグローバル市場規模は、4136億米ドル(≒49.63兆円)と推計する。
参考:
http://www.forbes.com/sites/gilpress/2014/12/11/6-predictions-for-the-125-billion-big-data-analytics-market-in-2015/2/

機械学習・深層学習(Deep Learning)との連携により発展していくと予想される事業分野

人工知能

個人識別・生体認証

画像認識システム

音声認識・音声合成・ボーカロイド

ビッグデータ・データマイニング

inSilico創薬・スパコン創薬・
機能分子設計

市場予測・未来予測

コミュニケーションロボット

生体情報デバイス・バイオセンサ

ユビキタス機器
(ウェアラブルデバイス)

介護ロボット・生活支援ロボット

仮想現実(AR・VR・SR・MR)・
3D投影

3Dプリンター医学応用

画像診断・生体イメージング

スマートモビリティ

車載電子機器・車載コンピュータ

交通事故防止

スマートシティ

インテリジェントスポーツ・
スマートスポーツ

五感の応用・人工感覚

自動運転・高度運転支援

超小型モビリティ・
パーソナルモビリティ

先進医療機器

IoT/M2M

高性能コンピュータ

この市場で活躍する可能性が高い職種です。

この市場で
活躍する職種

機械系エンジニア

サーバエンジニア

組み込み系エンジニア

ネットワークエンジニア

電気系エンジニア

IT・通信分野研究開発

インフラエンジニア

電気分野研究開発

機械分野研究開発

組み込み分野研究開発

システムエンジニア

データマイニング/データサイエンティスト

総括

McCulloch-Pittsモデルを基礎に、1950年代には、 Rosenblatt らにより、視覚と脳の機能を模したパターン認識を行うパーセプトロン(perceptron)が開発された*2) 。S層(感覚層・入力層)、A層(連合層・中間層・隠れ層)、R層(反応層・出力層)の3層からなるが、 S層からA層への結合荷重が固定となっているため、 実質的には2層ネットワーク(単純パーセプトロン)であり、入力値は0と1の二値のみ。単純なシステムだが、誤り訂正学習と呼ばれる学習能力を有する。課題が線形分離可能であれば、有限回の繰り返し学習によって100%の正解に到達できる(収束定理)。
単純パーセプトロンが契機となり、1960年代に爆発的なニューラルネットブームを巻き起こしたが、1969年に人工知能学者 Marvin Minsky らにより、線形分離不可能な問題を学習できないことが指摘され、第一期のブームは終息を迎える。
その後、ニューロン階層を多層化し入出力が二値から実数になったボルツマンマシン(1985年)や、特徴空間における非線形分離や非線形関数近似ができるバックプロパゲーション(1986年)など様々な変種が考案され、第二期のブームが始まる。しかし、バックプロパゲーションは、誤差が小さくなる方向に結合係数を変化させるという一種の最急降下法であるが、必ずしも誤差が最も小さくなるところで結合係数の変化が止まるわけではなく、極小値(ローカルミニマム)に入るとそれ以上誤差が減少しなくなり、最小値(グローバルミニマム)に到達できなくなることが起きる。そのため、第二のブームも2006年ごろまでには沈静化した。
そして、2006年、ボルツマンマシンやバックプロパゲーションの開発者の一人、Geoffrey Hinton がオートエンコーダやディープ・ビリーフ・ネットワークを提唱し、これが深層学習へと発展した。ニューラルネットの中間層(隠れ層)の数を2階層以上の重層構造にする。大脳皮質の6層からなる深いネットワークに似た構造だ。この多層化した隠れ層によって認識を繰り返し、色や形状、質感、全体像など様々な特徴を抽出して、より正確な識別ができるようになる。深層学習は、技術的に深い層構造のニューラルネッワークを持つ一方、多様な入力の組合せによる複雑な意味表現、人間の心理の深層にある表現を出力することを目指している。Googleのネコを認識したネットワークは、同社データセンタ内の16000のCPUコアをニューロン(ノード)とし、10億以上のシナプス結合で階層的に繋ぎ合わせたディープニューラルネットだ。

東京大学准教授の松尾豊は深層学習を、人工知能研究における「50年来のブレークスルー」と表現する。それまでの機械学習が突破できなかった「表現の壁」を突破し、「データをもとに、『何を表現すべきか』という問い自体を、自動的にコンピュータに獲得させる*3)」ことが射程に入ったということだ。
人工知能を始め、セキュリティ、環境問題、高齢者社会など、展開可能性は大きく広がる。
今後、深層学習や表現学習の需要がますます高まると思われるが、2015年時点で、日本国内の深層学習の研究者は50人程度、大部分が大学院生といわれる。
人材育成が急務だ。

機械学習の一般的な流れとして、問題を数値化するモデル(仮説空間)の設定→パラメータの設定(学習・推論)→アルゴリズムの実行→損失関数によるデータへの不適合度(推定の悪さ)の評価→損失が最小となるモデルの絞り込みという工程を繰り返し、より正解に近い値を得る。
機械学習のアルゴリズムには様々なものがあるが、学習の枠組みによって、凡そ、次のように分けられる。

• 教師あり学習法(supervised learning):入力データは訓練データと呼ばれ、ラベル付けされているか、あるいは既知の結果に紐づけられている。モデルは訓練プロセスで予測をしながら生成される。損失評価により、モデルの修正が加えられ、損失が十分小さくなるまで、訓練プロセスが繰り返される。主に分類や回帰分析、パターン認識に使われる手法で、ロジック回帰やバックプロパゲーション(誤差逆伝播法)、SVM (Support Vector Machine)などのアルゴリズムが知られる。
• 教師なし学習法(unsupervised learning) :入力データには予測目標値もラベルもない。モデルは入力データに内在する構造を抽出して生成される。相関ルール学習などの頻出パターンマイニングやクラスタリングに用いられ、アルゴリズムの例としてはアプリオリ・アルゴリズムやK平均法などが挙げられる。
• 半教師あり学習(semi-supervised learning):入力データはラベル付きとラベルなしが混在しており、モデルはラベルありデータを訓練データとして得られる予測に、ラベルなしデータから得られる予測を反映させる。ラベルありデータだけで学習した場合に比べ、より精度の高い予測を目指す。クラスタリングや分類、回帰、ランキングなどに用いられる。アルゴリズムとして、2つの学習法で別個に予測を行い、それぞれの予測結果から損失の少ない上位k個ずつのデータを入力データに加え計算し直すことを繰り返す方法などが提案されている。
• 強化学習(reinforcement Learning):元来は動物心理学や動物行動学の分野で用いられた用語で、動物に、ある行動を起こしたときだけ餌などの報酬を与えるという操作を繰り返すと、その行動パターンが徐々に強化され、やがて報酬が与えられなくても同様な行動を起こすようになることを表す。転じて、罰による行動抑制も含め、「条件付け」に対する適応現象を獲得する学習を広く、「強化学習」と呼ぶ。教師が正解を教えてくれるわけでなく、環境から与えられる報酬を手掛かりに、試行錯誤によって、目的に到達する。応用例として、明示的な正解値が存在しないシステム制御やロボットの歩行制御など、アルゴリズムの例としてはQ学習(Q-learning)やTD学習(Temporal Difference learning)が挙げられる。

また、よく使われるアルゴリズムとして、以下のようなものが知られる。

• 決定木学習(decision tree learning):リスクマネジメントなどの意志決定を行うために、計画から目標に到達するまでの過程を、分類と回帰のデータに基づき、樹形図で示す。多数の決定木からなるランダム森(random forest)などがある。データマイニングでよく使われる。
• 遺伝的プログラミング(Genetic Programing:GP):生物の進化を模倣した遺伝的アルゴリズム(Genetic Algorithms:GA)の遺伝子型を構造的な表現(木構造)が扱えるように拡張したもの。タスク処理能力によって適応度地形を決定し、それによってプログラムを最適化させていく。
• サポートベクターマシン(SVM):パターン識別用の教師あり学習法で、訓練例のラベルは2値に分類され、訓練アルゴリズムによってモデルを構築し、未知のデータがどちらに分類されるかを予測する。パターン識別能力では、現在最も優れた技法とされている。
• クラスタリング(clustering):教師なし学習法の一つであり、観測された例をクラスタと呼ばれる部分集合に振り分ける多変量解析手法。データの構造仮説によって結果が異なる。
• ベイジアンネットワーク(Bayesian network):因果関係を確率により記述するグラフィカルモデルの1つで、因果的な特徴を有向グラフによるネットワーク(重み付けグラフ)として表し、複雑でかつ不確実な事象の起こりやすさやその可能性を予測する。有向グラフでなく無向グラフで表現する方法は、マルコフネットワークと呼ばれる。

これ以外にも、ブースティング、RVM、SOM(自己組織化マップ)、NMF(非負値行列因子分解)、MTS(マハラノビスタグチシステム)、スプライン補間、ピーク検出、平滑化フィルタ、非線形回帰モデル、リッジ回帰、K-nearest neighborなど・・・様々なモデルや技法がある。
どの課題にどのアルゴリズムを当てはめ、どのモデルで解くかという決定が非常に重要である。
それ自体を、深層学習、そして、人工知能が、自ら獲得する日はすぐ近くに迫っているのかもしれない。

*2) Rosenblatt, Frank, “The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain”. Psychological Review 65 (6): 386–408, (1958)
*3) 「人工知能50年来の革命、ディープラーニングとは?」 東京大学新聞 On Line 2014年10月 4日http://www.utnp.org/cat23/yutakamatsuo/20141004

astavisionでは「成長している市場」、「未来を創る企業」を掲載しています。

Loading