20180706_nikkei13_15.jpg

<ディープラーニングが可能になった理由>

安田:今の松尾さんのお話を伺って思うのが、アイデア自体はかなり古いわけじゃないですか。

奥平:つまりエクセルの線を引く機能は、ちょっとエクセルいじった人は分かりますよね。

安田:エクセルが出てくるよりもはるかに昔から、コンセプト自体も知られていて、にもかかわらず、AIがブームになっている。今なぜ、どうしてという。

松尾:コンセプトはこんな感じなんですけど、一か所だけ重要な点を飛ばしておりまして。

瀧口:猫の画像をたくさん読ませる、見せるというふうにおっしゃってました。

松尾:うん、そうなんです。ただそれは従来の重回帰分析と一緒なんです。たくさんデータが無いと、パラメーターが推定できない。

奥平:もっと大きいホワイトボード用意しておけばよかったですね。

安田:経済分析でも、1万個の変数って一見なさそうなんですけど、時間を通じた時系列データの場合には、一時点一時点の変数の稼働は多くなくても、それが10年分、20年分に増えてくると、どんどん変数は大きくなっていきます。計算スピードが上がることによって、近年、こうした回帰分析みたいな実証、データ分析の力ってものすごい高まってるんですよね。

奥平:コンピューティングパワーがより安価になって、使いやすくなっているという部分が、そこを後押ししてると。

安田:更に経済分析に関していうと、データも取得可能性が上がっていると。ファイナンスなんかが一番分かりやすいのですけれど、株式市場のデータなんてほぼリアルタイムでものすごい数が出てくるじゃないですか。あれだけの数のデータがあると、いろんな形の当てはまりの良さを推定してできるようになっている。

奥平:実際、政府系のデータも随分使えるようになってきていて、個別には課題があるんでしょうけど、進んでますよね。

20180706_nikkei13_16.jpg

<ディープラーニングの「深さ」とは>

瀧口:そして書いていただいたボードに「深い!!」と書いてありますが。

松尾:深いんです。ディープラーニングは。

奥平:ディープ。要は深いと。

松尾:これがなぜ深いかっていうと、今まではx1とかx2とかx10000から、直接最後のyを定義してたんです。でも今度は、x1とかx2からいったんy1やy2、y3を定義し、これを使って最終的なyを定義するんです。

奥平:なるほど。

松尾:一段違う関数を噛ませて、最終的な関数を定義する。これを二段にした、二層にした、ということになるんですよ。こんな感じで三層、四層、五層とどんどん深くしていくと、深い関数になるんです。

瀧口:それが深いという意味なんですね。

松尾:なのでディープラーニングというのは、深い関数を使って、最小二乗法でパラメーターを推定するような手法なんです。なぜ深い方がいいかというと、いろいろ理由がありますけど、普通、重回帰分析なんかで使うのは、線形な式。一次式ですね。

安田:直線の式ですね。

松尾:これを二次関数とか三次関数とかやっていくと、どんどん針金みたいに、いろんな分布を表せるようになってくる。

奥平:より応用の可能性を当てはめられる対象が広がるということなんですね。

松尾:ですが、パラメーターの数は増えるんですね。要するに関数の表現力を上げると、パラメーターの数って必ず増えるという傾向があるんですね。ところが、パラメーターの数が増えると、その分データがたくさん必要になりますから、パラメーターの数をできるだけ増やしたくないんですね。表現力を上げながら、パラメーターの数をできるだけ減らしたいというふうに考えた時、一番いいやり方が、簡単な関数を重ねて深くするということなんです。

奥平:なるほどなるほど。

松尾:そうすると、パラメーターの数が比較的少ないにも関わらず、非常に表現力の高いいろんな関数が上手に表すことができるんです。なので深い関数を使った最小二乗法っていうのは、ずっとやりたいって研究者が何十年も思ってきたんですけど、できなかったんです。

瀧口:それは、どうしてですか?

松尾:今となって考えると、要するにデータの数が足りなかったのと、計算機のパワーが足りなかった。

奥平:なるほど。

松尾:数万変数とか数億変数あるので、それのパラメーターを最適化するって非常に計算量がかかるんですね。

奥平:コンセプトはあったんだけど、実際コンピューティングパワーが足りなかったと。

松尾:それが、今ではきるようになってきたと。

20180706_nikkei13_17.jpg

<猫を見分ける「眼」なぜ誕生?>

瀧口:今、クラウドコンピューティングで膨大な計算ができるようになったというのと、データ量も増えてきた。データ量が増えてきたというのは、いわゆるどの部分になりますか?

松尾:例えば画像認識、先ほど100×100の1万個の値から、猫かどうかっていうのを出すような関数を見つけるんだってお話しましたけど、画像認識の精度がすごく上がった。ディープラーニングの革新が生まれたきっかけはイメージネットというものですね。ウェブから集めてきた画像データに、タグをつけるというのを数万枚規模でやった研究者がいるんです。それを全世界に公開したんです。そうすると、みんなそれを使って学習させられるようになったということです。画像に数万枚分タグを付けていくというのは非常に大変な作業なんですけど。

瀧口:タグを付けるというのは、どういうことなんですか。

松尾:ある画像が猫だとか、ある画像が犬だというような、そういうラベルを付けていくんですね。これが要するにxとyに当たるわけです。xが画像で、猫だったら1、猫じゃなかったら0、あるいは別の関数は犬だったら1、犬じゃなかったら0、という関数を見つけていくわけですから、画像とラベル、両方揃ってxとyになるんですね。

安田:入力データがあっても、正解かどうかというのは、誰かが判定してあげないと学習が進まないということですね。

松尾:それをクラウドソーシングなんかを使って、大量に安いコストでできるようになったというのも、背景にはあります。

奥平:クラウドソーシングを使ったりしてるんですか。

松尾:そうなんです。今のこういう画像認識では、タグを付ける、アノテーションをするのに、クラウドソーシングで全世界の人が、共同で作業してやるという手段も非常によく使われますね。