ディープラーニング最新論文講座

ディープラーニングの最先端を効率的にキャッチアップするための講座です。

講師：斉藤 翔汰

東京第1期

• Deep Residual Learning for Image Recognition
  • モダンなCNNの主要技術であるResNetの原論文
• Squeeze-and-Excitation Networks
  • ResNetと並んでCNNの汎化性能の基本技術になりうるSE moduleの原論文
• U-Net: Convolutional Networks for Biomedical Image Segmentation
  • 医療分野で活躍するCNNであり、少数データからセグメンテーションを可能とする
• MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
  • 組み込み向けCNNの構成技術であり、スマホ等で使われている
• Visualizing and Understanding Convolutional Networks
  • なぜCNNが画像認識をうまくできるのか？という問題の解析手法
• Memory Networks
  • LSTM以上の長期記憶を実現した質疑応答用DNN
• End-To-End Memory Networks
  • 全体をBPで学習可＋多層化したMemory Networks。Attention機構の再発見という意味で非常に重要な論文
• Attention Is All You Need
  • 現在のNLPタスクの主流になっているTransformerモデルの原論文であり、タイトルが非常にキャッチー、パクリタイトル論文が多数存在する
• Neural Turing Machines
  • DNNで「計算」そのものをモデリングしようという試み
• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
  • 最近出たNLPタスクの決定的モデル、あらゆるタスクでSotAを達成した
• Distilling the Knowledge in a Neural Network
  • モデル軽量化の主流手法、小さなモデルに知識を蒸留する
• Explaining and Harnessing Adversarial Examples
  • ニューラルネットワークを騙すような入力Adversarial Exampleについて
• Dataset Distillation
  • 上2本に関連、「NNが好きな入力」を使って、「データを」蒸留する試み
• Linear Backprop in non-linear networks
  • 性能を変えずにBPの計算を高速にする手法
• Understanding Batch Normalization
  • DNNの学習に必要不可欠なバッチ正規化の解析論文
• Modeling Relational Data with Graph Convolutional Networks
  • 画像ではなく”関係性”を畳み込もうという新しいネットワーク
• Mastering the game of Go without human knowledge
  • 人工知能の火付け役、AlphaGoの進化版 • 教師あり学習から完全自律の教師なしモデルに進化した
• Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization
  • 強化学習の新しい考え方「逆強化学習」を解こう、という試み

東京第2期

• Spherical CNNs
  • 球面上の画像に対するCNNの提案論文
• On the Convergence of Adam and Beyond
  • 広く用いられる最適化アルゴリズムAdamの問題点を提示
• Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
  • 言語に表れる階層構造をinductive biasとしてLSTMに導入
• The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks
  • 宝くじ仮説と呼ばれるNNの初期値に関する重大仮説を提案
• ImageNet-trained CNNs are biased towards texture
  • CNNの認識原理に関する解析論文「CNNは模様ベースの認識を行う」
• Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples
  • Obfuscated gradientsと呼ばれるAdversarial Attackへの防御手法の回避方法
• Delayed Impact of Fair Machine Learning
  • AIが差別的な意思決定を行わないようにするFairness制約の問題点を提示
• Born Again Neural Networks
  • Self-distillation(自己蒸留)によってNNを生まれ変わらせる手法の提案
• Efficient Neural Architecture Search via Parameter Sharing
  • ENASと呼ばれるNNの自動設計手法の提案論文
• DARTS: Differentiable Architecture Search
  • ENASに関連、NNの自動設計を行うNNをBPで学習する手法の提案
• Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules
  • タスクに効果的なデータ水増しの方法を学習する手法の提案
• Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
  • 特徴表現の解きほぐしと呼ばれるNNの解析を教師なしで行うことは本質的に不可能であることを示した論文
• Attention is All You Need
  • 機械翻訳をRNNを用いずに行う手法の提案論文
• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
  • Bidirectional Transformerモデルを使った万能NLPモデルの提案
• XLNet: Generalized Autoregressive Pretraining for Language Understanding
  • BERTの問題を解決した後発の万能NLPモデル
• Unsupervised Domain Adaptation by Matching Distributions based on the Maximum Mean Discrepancy via Unilateral Transformations
  • 教師なしでのドメイン適応を行うカーネルベース手法の提案
• Image-to-Image Translation with Conditional Adversarial Networks
  • Pix2pixと呼ばれる画像変換用のGANの原論文

合計31本の重要論文の概要に加えて 最後は「論文の読み方」について伝授します。

講師：鈴木 藍雅

コンピュータビジョン編

• Deep Residual Learning for Image Recognition
  • モダンなCNNの主要技術であるResNetの原論文
• Squeeze-and-Excitation Networks
  • ResNetと並んでCNNの汎化性能の基本技術になりうるSE moduleの原論文
• U-Net: Convolutional Networks for Biomedical Image Segmentation
  • 医療分野で活躍するCNNであり、少数データからセグメンテーションを可能とする
• MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
  • 組み込み向けCNNの構成技術であり、スマホ等で使われている
• Efficient Neural Architecture Search via Parameter Sharing
  • ENASと呼ばれるNNの自動設計手法の提案論文
• DARTS: Differentiable Architecture Search
  • ENASに関連、NNの自動設計を行うNNをBPで学習する手法の提案
• Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules
  • タスクに効果的なデータ水増しの方法を学習する手法の提案
• Image-to-Image Translation with Conditional Adversarial Networks
  • Pix2pixと呼ばれる画像変換用のGANの原論文
• Spherical CNNs
  • 球面上の画像に対するCNNの提案論文

自然言語処理（NLP）編

• Memory Networks
  • LSTM以上の長期記憶を実現した質疑応答用DNN
• End-To-End Memory Networks
  • 全体をBPで学習可＋多層化したMemory Networks。Attention機構の再発見という意味で非常に重要な論文
• Attention Is All You Need
  • 現在のNLPタスクの主流になっているTransformerモデルの原論文であり、タイトルが非常にキャッチー、パクリタイトル論文が多数存在する
• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
  • 最近出たNLPタスクの決定的モデル、あらゆるタスクでSotAを達成した
• XLNet: Generalized Autoregressive Pretraining for Language Understanding
  • BERTの問題を解決した後発の万能NLPモデル
• Neural Turing Machine
  • DNNで「計算」そのものをモデリングしようという試み
• Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
  • 言語に表れる階層構造をinductive biasとしてLSTMに導入

ニューラルネットワーク（NN）系一般編

• Distilling the Knowledge in a Neural Network
  • モデル軽量化の主流手法、小さなモデルに知識を蒸留する
• Born Again Neural Networks
  • Self-distillation(自己蒸留)によってNNを生まれ変わらせる手法の提案
• Explaining and Harnessing Adversarial Examples
  • ニューラルネットワークを騙すような入力Adversarial Exampleについて
• Dataset Distillation
  • 上2本に関連、「NNが好きな入力」を使って、「データを」蒸留する試み
• Linear Backprop in non-linear networks
  • 性能を変えずにBPの計算を高速にする手法
• Understanding Batch Normalization
  • DNNの学習に必要不可欠なバッチ正規化の解析論文
• Modeling Relational Data with Graph Convolutional Networks
  • 画像ではなく”関係性”を畳み込もうという新しいネットワーク
• On the Convergence of Adam and Beyond
  • 広く用いられる最適化アルゴリズムAdamの問題点を提示
• The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks
  • 宝くじ仮説と呼ばれるNNの初期値に関する重大仮説を提案
• Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples
  • Obfuscated gradientsと呼ばれるAdversarial Attackへの防御手法の回避方法
• Delayed Impact of Fair Machine Learning
  • AIが差別的な意思決定を行わないようにするFairness制約の問題点を提示
• Unsupervised Domain Adaptation by Matching Distributions based on the Maximum Mean Discrepancy via Unilateral Transformations
  • 教師なしでのドメイン適応を行うカーネルベース手法の提案

強化学習（RL）編

• Mastering the game of Go without human knowledge
  • 人工知能の火付け役、AlphaGoの進化版 • 教師あり学習から完全自律の教師なしモデルに進化した
• Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization
  • 強化学習の新しい考え方「逆強化学習」を解こう、という試み
• Generative Adversarial Imitation Learning
  • GANのアイデアを元にしたImitation Learningのアルゴリズム Generative Adversarial Imitation Learning (GAIL)を提案