ディープラーニング最新論文講座

ディープラーニングの最先端を効率的にキャッチアップする

• ディープラーニングに関する最新の研究動向
• ディープラーニング最新論文を自力でキャッチアップできる力
• E資格の点数アップ（最新の研究に関する出題の可能性があります）

必須スキル

• 現場で使えるディープラーニング基礎講座 修了相当
• 現場で使える機械学習・データ分析基礎講座 修了相当
• CNN・RNNに関する基本的な動作原理や生成モデル・強化学習に関する基礎知識

•  日本ディープラーニング協会のE資格試験を受験される予定の方、E資格を取得済みの方
•  ディープラーニングの最新研究に興味がある方
•  自力で論文を読むきっかけを掴みたい方

※ディープラーニング講座をお申し込み済みの方は、50%OFFで受講いただけます。

合計31本の重要論文の概要に加えて 最後は「論文の読み方」について伝授します。

コンピュータビジョン編

• Deep Residual Learning for Image Recognition
  • モダンなCNNの主要技術であるResNetの原論文
• Squeeze-and-Excitation Networks
  • ResNetと並んでCNNの汎化性能の基本技術になりうるSE moduleの原論文
• U-Net: Convolutional Networks for Biomedical Image Segmentation
  • 医療分野で活躍するCNNであり、少数データからセグメンテーションを可能とする
• MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
  • 組み込み向けCNNの構成技術であり、スマホ等で使われている
• Efficient Neural Architecture Search via Parameter Sharing
  • ENASと呼ばれるNNの自動設計手法の提案論文
• DARTS: Differentiable Architecture Search
  • ENASに関連、NNの自動設計を行うNNをBPで学習する手法の提案
• Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules
  • タスクに効果的なデータ水増しの方法を学習する手法の提案
• Image-to-Image Translation with Conditional Adversarial Networks
  • Pix2pixと呼ばれる画像変換用のGANの原論文
• Spherical CNNs
  • 球面上の画像に対するCNNの提案論文

自然言語処理（NLP）編

• Memory Networks
  • LSTM以上の長期記憶を実現した質疑応答用DNN
• End-To-End Memory Networks
  • 全体をBPで学習可＋多層化したMemory Networks。Attention機構の再発見という意味で非常に重要な論文
• Attention Is All You Need
  • 現在のNLPタスクの主流になっているTransformerモデルの原論文であり、タイトルが非常にキャッチー、パクリタイトル論文が多数存在する
• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
  • 最近出たNLPタスクの決定的モデル、あらゆるタスクでSotAを達成した
• XLNet: Generalized Autoregressive Pretraining for Language Understanding
  • BERTの問題を解決した後発の万能NLPモデル
• Neural Turing Machine
  • DNNで「計算」そのものをモデリングしようという試み
• Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
  • 言語に表れる階層構造をinductive biasとしてLSTMに導入

ニューラルネットワーク（NN）系一般編

• Distilling the Knowledge in a Neural Network
  • モデル軽量化の主流手法、小さなモデルに知識を蒸留する
• Born Again Neural Networks
  • Self-distillation(自己蒸留)によってNNを生まれ変わらせる手法の提案
• Explaining and Harnessing Adversarial Examples
  • ニューラルネットワークを騙すような入力Adversarial Exampleについて
• Dataset Distillation
  • 上2本に関連、「NNが好きな入力」を使って、「データを」蒸留する試み
• Linear Backprop in non-linear networks
  • 性能を変えずにBPの計算を高速にする手法
• Understanding Batch Normalization
  • DNNの学習に必要不可欠なバッチ正規化の解析論文
• Modeling Relational Data with Graph Convolutional Networks
  • 画像ではなく”関係性”を畳み込もうという新しいネットワーク
• On the Convergence of Adam and Beyond
  • 広く用いられる最適化アルゴリズムAdamの問題点を提示
• The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks
  • 宝くじ仮説と呼ばれるNNの初期値に関する重大仮説を提案
• Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples
  • Obfuscated gradientsと呼ばれるAdversarial Attackへの防御手法の回避方法
• Delayed Impact of Fair Machine Learning
  • AIが差別的な意思決定を行わないようにするFairness制約の問題点を提示
• Unsupervised Domain Adaptation by Matching Distributions based on the Maximum Mean Discrepancy via Unilateral Transformations
  • 教師なしでのドメイン適応を行うカーネルベース手法の提案

強化学習（RL）編

• Mastering the game of Go without human knowledge
  • 人工知能の火付け役、AlphaGoの進化版 • 教師あり学習から完全自律の教師なしモデルに進化した
• Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization
  • 強化学習の新しい考え方「逆強化学習」を解こう、という試み
• Generative Adversarial Imitation Learning
  • GANのアイデアを元にしたImitation Learningのアルゴリズム Generative Adversarial Imitation Learning (GAIL)を提案

オンライン講座

随時お申し込み可能です。受講方法については、お支払い確認後、3営業日以内にご案内いたします。