ディープラーニング最新論文講座

ディープラーニングの最先端を効率的にキャッチアップするための講座です。

東京第1期

1. 01. Deep Residual Learning for Image Recognition
   モダンなCNNの主要技術であるResNetの原論文
2. 02. Squeeze-and-Excitation Networks
   ResNetと並んでCNNの汎化性能の基本技術になりうるSE moduleの原論文
3. 03. U-Net: Convolutional Networks for Biomedical Image Segmentation
   医療分野で活躍するCNNであり、少数データからセグメンテーションを可能とする
4. 04. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
   組み込み向けCNNの構成技術であり、スマホ等で使われている
5. 05. Visualizing and Understanding Convolutional Networks
   なぜCNNが画像認識をうまくできるのか？という問題の解析手法
6. 06. Memory Networks
   LSTM以上の長期記憶を実現した質疑応答用DNN
7. 07. End-To-End Memory Networks
   全体をBPで学習可＋多層化したMemory Networks。Attention機構の再発見という意味で非常に重要な論文
8. 08. Attention Is All You Need
   現在のNLPタスクの主流になっているTransformerモデルの原論文であり、タイトルが非常にキャッチー、パクリタイトル論文が多数存在する
9. 09. Neural Turing Machines
   DNNで「計算」そのものをモデリングしようという試み
10. 10. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
    最近出たNLPタスクの決定的モデル、あらゆるタスクでSotAを達成した
11. 11. Distilling the Knowledge in a Neural Network
    モデル軽量化の主流手法、小さなモデルに知識を蒸留する
12. 12. Explaining and Harnessing Adversarial Examples
    ニューラルネットワークを騙すような入力Adversarial Exampleについて
13. 13. Dataset Distillation
    上2本に関連、「NNが好きな入力」を使って、「データを」蒸留する試み
14. 14. Linear Backprop in non-linear networks
    性能を変えずにBPの計算を高速にする手法
15. 15. Understanding Batch Normalization
    DNNの学習に必要不可欠なバッチ正規化の解析論文
16. 16. Modeling Relational Data with Graph Convolutional Networks
    画像ではなく”関係性”を畳み込もうという新しいネットワーク
17. 17. Mastering the game of Go without human knowledge
    人工知能の火付け役、AlphaGoの進化版 • 教師あり学習から完全自律の教師なしモデルに進化した
18. 18. Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization
    強化学習の新しい考え方「逆強化学習」を解こう、という試み

東京第2期

1. 01. Spherical CNNs
   球面上の画像に対するCNNの提案論文
2. 02. On the Convergence of Adam and Beyond
   広く用いられる最適化アルゴリズムAdamの問題点を提示
3. 03. Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
   言語に表れる階層構造をinductive biasとしてLSTMに導入
4. 04. The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks
   宝くじ仮説と呼ばれるNNの初期値に関する重大仮説を提案
5. 05. ImageNet-trained CNNs are biased towards texture
   CNNの認識原理に関する解析論文「CNNは模様ベースの認識を行う」
6. 06. Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples
   Obfuscated gradientsと呼ばれるAdversarial Attackへの防御手法の回避方法
7. 07. Delayed Impact of Fair Machine Learning
   AIが差別的な意思決定を行わないようにするFairness制約の問題点を提示
8. 08. Born Again Neural Networks
   Self-distillation(自己蒸留)によってNNを生まれ変わらせる手法の提案
9. 09. Efficient Neural Architecture Search via Parameter Sharing
   ENASと呼ばれるNNの自動設計手法の提案論文
10. 10. DARTS: Differentiable Architecture Search
    ENASに関連、NNの自動設計を行うNNをBPで学習する手法の提案
11. 11. Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules
    タスクに効果的なデータ水増しの方法を学習する手法の提案
12. 12. Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
    特徴表現の解きほぐしと呼ばれるNNの解析を教師なしで行うことは本質的に不可能であることを示した論文
13. 13. Attention is All You Need
    機械翻訳をRNNを用いずに行う手法の提案論文
14. 14. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
    Bidirectional Transformerモデルを使った万能NLPモデルの提案
15. 15. XLNet: Generalized Autoregressive Pretraining for Language Understanding
    BERTの問題を解決した後発の万能NLPモデル
16. 16. Unsupervised Domain Adaptation by Matching Distributions based on the Maximum Mean Discrepancy via Unilateral Transformations
    教師なしでのドメイン適応を行うカーネルベース手法の提案
17. 17. Image-to-Image Translation with Conditional Adversarial Networks
    Pix2pixと呼ばれる画像変換用のGANの原論文

未定