スキルアップAI講師陣が選ぶ「2019年前半に読むべきディープラーニングの最新論文 19選」

スキルアップAI講師陣が選ぶ「2019年前半に読むべきディープラーニングの最新論文 19選」

 

はじめに

スキルアップAIでは、先日、「【E資格対策】ディープラーニング最新論文対策講座」を開催致しました。この講座では、2015年以降に発表されたディープラーニングに関する注目論文を潮流に沿って紹介し、注目ポイントを解説しました。

本講座で、多くの参加者から、「もっと深く書く論文を取り上げて欲しい」「より詳細な解説をしてもらいたい」という声も多数頂き、今後、ブログにて取り上げた論文の内容をご紹介する事に致しました。

月1回程度を目安とし、本講座で取り扱った内容を1論文ずつ紹介していく予定です。初回は、取り上げた論文一覧のご紹介です。

<コンピュータビジョン系>

 モダンなCNNの主要技術であるResNetの原論文。

 ResNetと並んでCNNの汎化性能の基本技術になりうるSE moduleの原論文。

 組み込み向けCNNの構成技術であり、スマホ等で使われている。

 医療分野で活躍するCNNであり、少数データからセグメンテーションを可能とする。

 なぜCNNが画像認識をうまくできるのか?という問題の解析手法。

<自然言語処理系>

 LSTM以上の長期記憶を実現した質疑応答用DNN。

 全体をBPで学習可+多層化したMemory Networks。Attention機構の再発見という意味で非常に重要な論文。

 現在のNLPタスクの主流になっているTransformerモデルの原論文であり、タイトルが非常にキャッチー、パクリタイトル論文が多数存在する。

 最近出たNLPタスクの決定的モデル、あらゆるタスクでSotAを達成した。

 DNNで「計算」そのものをモデリングしようという試み。

<ニューラルネット一般>

 モデル軽量化の主流手法、小さなモデルに知識を蒸留する。

 ニューラルネットワークを騙すような入力Adversarial Exampleについて。

 上2本に関連、「NNが好きな入力」を使って、「データを」蒸留する試み 。

 性能を変えずにBPの計算を高速にする手法 。

 DNNの学習に必要不可欠なバッチ正規化の解析論文。

 画像ではなく”関係性”を畳み込もうという新しいネットワーク。

<強化学習系>

 人工知能の火付け役、AlphaGoの進化版 • 教師あり学習から完全自律の教師なしモデルに進化した。

 強化学習の新しい考え方「逆強化学習」を解こう、という試み。

 逆強化学習は実はGANと同じという主張であり、GAN-Likeなネットワークでモデルフリーな強化学習手法を提案する。

 

次回予告

次回は「Deep Residual Learning for Image Recognition」を紹介する予定です。ご期待ください!

 

関連する講座

Page Top