【自然言語処理&強化学習編】2021年前半に読むべき「機械学習/ディープラーニングの最新論文」26選

【自然言語処理&強化学習編】2021年前半に読むべき「機械学習/ディープラーニングの最新論文」26選

スキルアップAI講師陣が厳選してご紹介

 

はじめに

今回は自然言語処理&強化学習編として、Transformer/BERTの発展モデルや今後重要になるであろう強化学習に対する解釈や敵対的攻撃に関する内容を中心に7本ご紹介します!著者実装が公開されているものは、その情報も合わせてまとめました。
論文は自動機械学習(AutoML)を専門としICMLなどのトップカンファレンスへの論文採択経験もある斉藤と、需要予測・異常検知など様々な分野で機械学習/ディープラーニングの産業応用に取り組んできた小縣が中心となってスキルアップAI講師陣にて厳選しました。是非、今後の学びにご活用ください!

 

「自然言語処理」に関する最新論文

  • Language Models are Few-Shot Learners
    • 著者(OpenAI)によるAPI提供(beta版、要登録):https://beta.openai.com/
    • 機械学習のトップカンファレンスNeurIPSの採択論文
    • 1,750億個のパラメータを持つ新たな言語モデル「GPT-3」に関する論文。質問応答、翻訳などの様々なタスク・データセットに対し、少数の教師付きデータで学習するfew-shot learningの性能が大幅に向上した。

  • ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
    • 著者実装:https://github.com/google-research/ALBERT
    • 機械学習のトップカンファレンスICLRの採択論文
    • 自然言語表現の学習におけるメモリ消費量を減らし、訓練速度を上げるための手法に関する論文。Multi-head attentionやその後の全結合レイヤに関連するパラメータを各層で共有するなどの工夫を行い軽量化・高速化を実現した。
      さらにBERTの事前学習で用いられる隣接文問題を改良し、隣接した2つの文章が正しい順番か逆の順番かを予測するSentence-Order Predictionタスクとすることで各既存モデル(BERT)と比べてパラメータ数が少ない中で、ベンチマークスコアの向上を達成した。

  • On Identifiability in Transformers
    • 機械学習のトップカンファレンスICLRの採択論文
    • Transformerにおけるattention weightとtoken embeddingの識別可能性(attentionやembeddingの結果が各トークンで一意であるかどうか)、Transformer内部で生成される隠れトークンへの文脈の集約に関する研究論文。Transformerのさらなる改善のためのいくつかの手法も提案されている。

  • Scaling Laws for Neural Language Models
    • トランスフォーマーの性能は、モデルのパラメータ、データセットサイズ、計算量に大きく左右されることを示した論文。その性能は、各要因のみを変数に用いたべき乗の式で表すことができる。

 

「強化学習」に関する最新論文



 

次回予告

次回は4月頭頃に最終回となる「機械学習/ニューラルネットワークの一般的テクニック&実務応用編」に関する最新論文10本を解説いたします!ご期待ください!

◆2021年前半に読むべき「機械学習/ディープラーニングの最新論文」26選の一覧はこちら
◆2021年前半に読むべき「機械学習/ディープラーニングの最新論文」26選 コンピュータビジョン編はこちら

スキルアップAIでは、Transformer/BERTの基礎および強化学習の基礎から応用まで学ぶ「現場で使えるディープラーニング基礎講座」や、AIの説明可能性について学ぶ「現場で使える XAI(Explainable AI)講座」を開講しています。
基礎から学びたい方は、是非ご検討ください。

また、スキルアップAI技術ブログでは
文章読解タスクにおける Adversarial Examples
など、自然言語処理や敵対的攻撃に関連する最新論文の解説も行っております。こちらも合わせてご覧ください。

スキルアップAIのメールマガジンでは会社のお知らせや講座に関するお得な情報を配信しています。
配信を希望される方はこちら

また、SNSでも様々なコンテンツをお届けしています。興味を持った方は是非チェックしてください♪
  • Twitter
  • Facebook
  • LinkedIn
更新日:2021.03.31

関連する講座

Page Top