受講対象者
こんな方におすすめ
- 日本ディープラーニング協会のE資格試験を受験される予定の方、E資格を取得済みの方
- ディープラーニングの最新研究に興味がある方
- 自力で論文を読むきっかけを掴みたい方
受講に必要な前提知識
- ディープラーニング講座+機械学習講座を修了レベル
- CNN・RNNに関する基本的な動作原理や生成モデル・強化学習に関する基礎知識
講座概要
求める理解レベルに応じて2つの講座をご用意しています。
※ディープラーニング講座をお申し込み済みの方は、50%OFFで受講いただけます。
速習編深掘り編
講座名 | ディープラーニング最新論文講座【速習編】 |
---|---|
講座時間 | 対面講義4時間×1回 合計4時間(ポイントを中心に学習します) |
料金 |
●対面講座 ●オンライン講座 |
料金に標準で含まれるもの |
●対面講座 ●オンライン講座 |
定員 | 25名(最少催行人数10名) |
講座名 | ディープラーニング最新論文講座【深掘り編】 |
---|---|
講座時間 | 対面講義4時間×4回 合計16時間 |
料金 |
●対面講座 |
料金に標準で含まれるもの |
●対面講座 |
定員 | 25名(最少催行人数10名) |
カリキュラム
速習編深掘り編
東京第1期
取り扱い論文- 01. Deep Residual Learning for Image Recognition
モダンなCNNの主要技術であるResNetの原論文 - 02. Squeeze-and-Excitation Networks
ResNetと並んでCNNの汎化性能の基本技術になりうるSE moduleの原論文 - 03. U-Net: Convolutional Networks for Biomedical Image Segmentation
医療分野で活躍するCNNであり、少数データからセグメンテーションを可能とする - 04. MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
組み込み向けCNNの構成技術であり、スマホ等で使われている - 05. Visualizing and Understanding Convolutional Networks
なぜCNNが画像認識をうまくできるのか?という問題の解析手法 - 06. Memory Networks
LSTM以上の長期記憶を実現した質疑応答用DNN - 07. End-To-End Memory Networks
全体をBPで学習可+多層化したMemory Networks。Attention機構の再発見という意味で非常に重要な論文 - 08. Attention Is All You Need
現在のNLPタスクの主流になっているTransformerモデルの原論文であり、タイトルが非常にキャッチー、パクリタイトル論文が多数存在する - 09. Neural Turing Machines
DNNで「計算」そのものをモデリングしようという試み - 10. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
最近出たNLPタスクの決定的モデル、あらゆるタスクでSotAを達成した - 11. Distilling the Knowledge in a Neural Network
モデル軽量化の主流手法、小さなモデルに知識を蒸留する - 12. Explaining and Harnessing Adversarial Examples
ニューラルネットワークを騙すような入力Adversarial Exampleについて - 13. Dataset Distillation
上2本に関連、「NNが好きな入力」を使って、「データを」蒸留する試み - 14. Linear Backprop in non-linear networks
性能を変えずにBPの計算を高速にする手法 - 15. Understanding Batch Normalization
DNNの学習に必要不可欠なバッチ正規化の解析論文 - 16. Modeling Relational Data with Graph Convolutional Networks
画像ではなく”関係性”を畳み込もうという新しいネットワーク - 17. Mastering the game of Go without human knowledge
人工知能の火付け役、AlphaGoの進化版 • 教師あり学習から完全自律の教師なしモデルに進化した - 18. Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization
強化学習の新しい考え方「逆強化学習」を解こう、という試み
東京第2期
取り扱い論文- 01. Spherical CNNs
球面上の画像に対するCNNの提案論文 - 02. On the Convergence of Adam and Beyond
広く用いられる最適化アルゴリズムAdamの問題点を提示 - 03. Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
言語に表れる階層構造をinductive biasとしてLSTMに導入 - 04. The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks
宝くじ仮説と呼ばれるNNの初期値に関する重大仮説を提案 - 05. ImageNet-trained CNNs are biased towards texture
CNNの認識原理に関する解析論文「CNNは模様ベースの認識を行う」 - 06. Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples
Obfuscated gradientsと呼ばれるAdversarial Attackへの防御手法の回避方法 - 07. Delayed Impact of Fair Machine Learning
AIが差別的な意思決定を行わないようにするFairness制約の問題点を提示 - 08. Born Again Neural Networks
Self-distillation(自己蒸留)によってNNを生まれ変わらせる手法の提案 - 09. Efficient Neural Architecture Search via Parameter Sharing
ENASと呼ばれるNNの自動設計手法の提案論文 - 10. DARTS: Differentiable Architecture Search
ENASに関連、NNの自動設計を行うNNをBPで学習する手法の提案 - 11. Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules
タスクに効果的なデータ水増しの方法を学習する手法の提案 - 12. Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
特徴表現の解きほぐしと呼ばれるNNの解析を教師なしで行うことは本質的に不可能であることを示した論文 - 13. Attention is All You Need
機械翻訳をRNNを用いずに行う手法の提案論文 - 14. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Bidirectional Transformerモデルを使った万能NLPモデルの提案 - 15. XLNet: Generalized Autoregressive Pretraining for Language Understanding
BERTの問題を解決した後発の万能NLPモデル - 16. Unsupervised Domain Adaptation by Matching Distributions based on the Maximum Mean Discrepancy via Unilateral Transformations
教師なしでのドメイン適応を行うカーネルベース手法の提案 - 17. Image-to-Image Translation with Conditional Adversarial Networks
Pix2pixと呼ばれる画像変換用のGANの原論文
未定
開催日程
速習編深掘り編オンライン
東京第3期
未定
東京第2期
未定
速習編
お客様ご自身のPCにて、ご都合に合わせた時間、場所で動画をオンラインでご視聴いただけます。
随時お申し込み可能です。受講方法については、お支払い確認後、3営業日以内にご案内いたします。
※対面講義の撮影動画は、速習編 東京第1期(2019/2開催)または東京第2期(2019/8開催)のいずれかをご選択ください。
担当講師一覧
-
斉藤 翔汰
スキルアップAI講師。横浜国立大学大学院 環境情報学府 情報メディア環境学専攻(現:情報環境専攻)修了。修士(情報学)。高専時代に画像認識に対して興味を持ったことがきっかけで、現在はDeep Learningや機械学習、進化計算などの人工知能分野におけるアルゴリズムの研究開発やコンサルティングに従事。日本ディープラーニング協会の2018年度・2019年度E資格合格者、2018年度G検定合格者。