佐久間洋司氏（以下、佐久間） ：「Understanding Deep Learning Requires Re-Thinking Generalization」という論文が DeepMind から発表されましたが、これについてはどう考えていますか？
Richard Zemel氏（以下、Zemel）：その論文について詳しく知っているわけではありませんが、MNIST のラベルがいつも正しくラベル付けされている訳ではない、間違ってラベルされたデータでも学習できることがあるといった対応の問題は長年の課題ですし、さっき話していた話題にも通じるものがあります。少ないラベルだったり、間違ったラベルだったり、煩雑であったりしても人間は学ぶことができます。私は「3」のように見えるものについてアイデアを持っていて、3というラベルといくつかの例を得ます。これは「Few-Shot Learning」で、私は3が何であるかという考えを構築し始めます。また3を見ますが、誰かがそれは4だと言うかもしれません。そこでラベルを信頼しないということも学びます。そして、自分のモデルをラベルよりも信頼できるようになった時、騒々しいラベルにも対応できる堅牢な学習システムができると信じています。
佐久間：Deep Forest をはじめとした、現在のニューラルネットワークに取って代わることを目指しているようなアイデアがありますが、それらについてはどうお考えでしょうか。
Zemel：Deep Forest は現在のニューラルネットワークを改善する数多くの方法の中の一つだと思いますが、これはそれを行うための一つの構造化された方法だと思っています。ちょうどツリーをネットワークで置き換えれば、Deep Forest はネットワークの集合体として捉えることができ、それは当然、単一のニューラルネットワークよりも優れています。このような集合体を用いるのはひとつの方向性だと思います。もう一つは、通常のネットワークを利用して、使用している活性化関数の種類を変えることでネットワークの内部を変更することです。シグモイド関数から ReLU といったように、さまざまなものに変えることで良好な進展を見てきましたが、まだ改善の余地があると思います。私は、現在のニューラルネットワークを置き換えていくのはこのような増強と改善ではないかと思います。
佐久間：Generative Adversarial Networks のような、End-to-End に最適化することが難しいようなアイデアを研究する際に気をつけていることはありますか？
Zemel：それらを End-to-End に最適化することは非常に難しいですが、多くの人々が努力していると思います。良い結果を得られるというだけでなく、最適化が難しいからこそ多くの研究者が考えたくなるテーマになるということが、この研究分野をとても興味深くしています。人々はそれを解決したと主張し続けていますが、実際にそれを解決した者はいないという意味で、まだまだオープンな課題であると思います。最終的に End-to-End の学習は通常よりうまくいくと思いますが、アクティブな学習システムが必要なことが課題です。システムにとって難しい新しい例を生成できるようにしなければならず、それを行う方法のひとつは、とにかく多くのラベル付きデータを収集するということです。新しいデータを生み出すことができるデータ補強の方が、システムをよりロバストにすることができるので、より優れていると思います。それら全てが可能ならば End-to-End の学習に役立つ非常に興味深い方向性となるでしょう。
佐久間：日本はあまり深層学習やニューラルネットワークの研究で進んでいるとは言えませんが、単純に人気であるという理由でこの分野を志す学生が少なくありません。このような状況についてはどう考えますか。
Zemel：おそらく世界中が同じ状況でしょう。それは良くもあり悪くもあると思います。悪い面は、おそらく看過しがたい数の人々が、あまりこの分野のことを知らずに参入しているということでしょう。もしも深層学習だけを学んでこの分野へ入ってしまうと、何が優れていて何がそれらを制限しているのか、適切に評価や認識をすることができなくなると思います。他の人工知能の手法を含め、機械学習の手法群の中でこれらがどのような場所に位置しているのかを理解しておくべきでしょう。
逆に、深層学習が非常に成功しているということは良い面だと思います。つまり、深層学習は人工知能研究の中でも数少ない、実際に機能して問題を解決することのできた手法でした。また強化学習はとても重要で興味深い分野ですが、深層学習と相まってさらに成功しています。このように他分野を横断していることも特徴の一つです。深層学習が全てを解決するかのように考えてこの分野に飛びつくことは好ましくないと考える人もいるかもしれませんが、もし、この技術はなんなのか、他の手法と比べるとどうなのかといったことをよく学んだなら、最高の仕事をすることができるでしょう。
佐久間：これから機械学習の分野を志している若者のために、実際は面白いのに過小評価されているように感じる分野があれば教えてください。
Zemel：実世界に向けた機械学習、バイアスのない機械学習システムといったより実用的な課題は、既に有名になりつつありますが、確かに取り組む余地があると思います。私はそれらが人気になっているとは思いますが、まだこの分野のかなり小さな一角です。多くは実際の機械学習の側面よりも理論的な側面から研究されてきたと思います。学生がこの分野に参入してきて、機械学習の公平性、機械学習システムの責任について興味を持つのではないかとも思います。実際に使用しうるような良い機械学習システムを構築しようとするならば、これらはまだ全体の問題のほんの一部です。私たちも研究に取り組んでいますがとても興味深い方向性だと思います。
佐久間： 逆に過大評価されているように感じられるテーマはあるでしょうか。言い換えれば多くの研究者が参入しすぎているような分野はありますか？
Zemel：つまり、ある意味では GAN（Generative Adversarial Network）だと言うことができます。それは非常に人気がありトレンディーになっています。私もそれに興味があるので、おそらく私は自分自身これを過大評価していると思います。しかしながら、この分野におけるGANの論文の割合は、それが長期的に値するであろう割合よりも高いということができると思います。おそらく、これは流行性のものでしょう。
※Vector Institute とトロント大学の軌跡については、学会誌「人工知能」７月号の学生フォーラムにも掲載されています。ご興味のある方はこちらも合わせてご覧ください。
関連記事
