【機械学習/ニューラルネットワークの一般的テクニック&実務応用編】2021年前半に読むべき「機械学習/ディープラーニングの最新論文」26選

【機械学習/ニューラルネットワークの一般的テクニック&実務応用編】2021年前半に読むべき「機械学習/ディープラーニングの最新論文」26選

スキルアップAI講師陣が厳選してご紹介

 

はじめに

最終回は機械学習/ニューラルネットワークの一般的テクニック&実務応用編として、ニューラルネットワークの構造最適化やアクティブラーニング、モデルの枝刈り、推薦システムなどへの応用を中心に10本ご紹介します!著者実装が公開されているものは、その情報も合わせてまとめました。
論文は自動機械学習(AutoML)を専門としICMLなどのトップカンファレンスへの論文採択経験もある斉藤と、需要予測・異常検知など様々な分野で機械学習/ディープラーニングの産業応用に取り組んできた小縣が中心となってスキルアップAI講師陣にて厳選しました。是非、今後の学びにご活用ください!

 

「機械学習/ニューラルネットワークの一般的テクニック」に関する最新論文

  • On Sampled Metrics for Item Recommendation
    • データマイニング関連の国際会議KDDの採択論文
    • 推薦モデルの性能評価の際に、計算量を落とす目的で使用されているネガティブサンプリングを用いると、誤った精度評価につながる恐れがあることを理論および実データによる実験と合わして示した。


  • Understanding and Robustifying Differentiable Architecture Search
    • 機械学習のトップカンファレンスICLRの採択論文
    • 著者実装:https://github.com/automl/RobustDARTS
    • ニューラルネットワーク構造の探索問題を離散最適化から連続最適化に緩和する事で微分可能にし勾配法で構造を最適化するDARTSにおいて、様々なタイプの正則化を加える事で得られる構造の汎化性能が向上することを複数の事例で検証した。


  • Pruning Neural Networks without Any Data by Iteratively Conserving Synaptic Flow
    • 著者実装:https://github.com/ganguli-lab/Synaptic-Flow
    • 機械学習のトップカンファレンスNeurIPSの採択論文
    • 既存の枝刈りアルゴリズムにおいて発生していた、特定のレイヤのパラメータがすべて取り除かれてしまう「レイヤ崩壊(layer collapse)」の仕組みを数学的に説明し、その理論をもとに学習前に枝刈りを行うsynflow pruningを提案。他のアルゴリズムと比較して、レイヤ崩壊を確実に回避し、理論的な限界値までネットワークの圧縮ができる事を示した論文。

 

「実務応用」に関する最新論文

  • Improving Deep Learning for Airbnb Search
    • データマイニング関連の国際会議KDDの採択論文
    • Airbnbの検索をABCの観点から改良。 A(アーキテクチャ) モデルの構造; B(バイアス) 検索結果の下位の宿はユーザーの好みに関係なく予約されにくい; C(コールドスタート) 新規ユーザーは履歴データが不足している。
      モデルの改良に関して、「論文を読んで新しい手法を試す」というアプローチはうまくいかず、「ユーザの行動を観察して設計する」というアプローチに切り替えたことなど試行錯誤の過程が報告されている。
      (次の論文ではD(ダイバーシティ)の観点から改良)

  • Managing Diversity in Airbnb Search
    • データマイニング関連の国際会議KDDの採択論文
    • Airbnbユーザーの選択肢を増やしてユーザー体験の向上につなげるという目的のもとで、検索結果に多様性を持たせるようにランキングアルゴリズムを改良。検索クエリを処理するLSTMと予約/未予約状況を処理する全結合ニューラルネットワークを組み合わせる2-stageのアーキテクチャや検索結果の多様性を評価する指標を提案した。


  • Predicting Next-Season Designs on High Fashion Runway
    • データマイニング関連の国際会議KDDのワークショップ「AI for Fashon」採択論文
    • 30年分のランウェイショーの画像からembeddingを学習するCNNモデルと、次のシーズンのトレンドを表すembeddingを予測するためのパラメータを学習するRNN/LSTMを各デザイナーごとに学習させ、トレンドになるか確認したいファッション画像のembeddingとRNNから予測されたembeddingのコサイン類似度を測ることで、次のシーズンのファッショントレンドを予測する手法を提案した論文。

 

おわりに

全3回に渡って「2021年前半に読むべき機械学習/ディープラーニングの最新論文 26選」として、コンピュータビジョン~実務応用まで様々な分野の最新論文を紹介しました。
AIエンジニア/データサイエンティストとして、NeurIPSやICLR、ICMLなどと合わせてCVPRやKDDなど自分の業務に直結しそうな各種カンファレンスの採択論文を毎年フォローし、常に一次情報に触れ続けることが重要です。
今回の記事を足がかかりにして、是非自分でも様々な論文を調査してみましょう!

◆2021年前半に読むべき「機械学習/ディープラーニングの最新論文」26選の一覧はこちら
◆2021年前半に読むべき「機械学習/ディープラーニングの最新論文」26選 コンピュータビジョン編はこちら
◆2021年前半に読むべき「機械学習/ディープラーニングの最新論文」26選 自然言語処理&強化学習編はこちら

スキルアップAIでは、深層学習の基礎から応用まで学ぶ「現場で使えるディープラーニング基礎講座」をはじめとして、様々なGANを学ぶ「GAN(敵対的生成ネットワーク)講座」、オンラインで受講可能な「現場で使える XAI(Explainable AI)講座」を開講していますので是非ご検討ください。

スキルアップAIのメールマガジンでは会社のお知らせや講座に関するお得な情報を配信しています。
配信を希望される方はこちら

また、SNSでも様々なコンテンツをお届けしています。興味を持った方は是非チェックしてください♪
  • Twitter
  • Facebook
  • LinkedIn
更新日:2021.04.08

関連する講座

Page Top