昨今、Transformer をもとにした大規模モデルが機械翻訳や画像認識など幅広い領域で成功を収めています。しかし、ビジネス上の活用シーンを鑑みると計算時間の制約が生じる場合もあります。そこで、モデル全体を順伝播するのではなく、データに応じて適切な部分構造を選択し、計算に利用することで、僅かな計算時間で高い予測性能を発揮できる「Mixture-of-Experts (MoE; 混合エキスパート)」が注目されています。
そこで、今回のスキルアップAIキャンプでは、MoE モデルの概要から最新の手法まで紹介します。また、ハンズオンでは、PyTorch による MoE モデルの実装方法を紹介します。
プログラム概要
- MoEモデルとは？
- MoEモデルの活用事例
- MoEモデルの構成要素｜混合エキスパート
- MoEモデルの構成要素｜ゲーティング
- MoEモデルの最新手法
- ハンズオン｜PyTorch による MoE モデルの実装
※一部変更となる場合がございます。
スピーカー
-
スキルアップAI株式会社／斉藤 翔汰
スキルアップAI講師。横浜国立大学大学院 環境情報学府 情報メディア環境学専攻（現:情報環境専攻）修了。修士（情報学）。高専時代に画像認識に対して興味を持ったことがきっかけで、現在はDeep Learningや機械学習、進化計算などの人工知能分野におけるアルゴリズムの研究開発やコンサルティングに従事。日本ディープラーニング協会の2018年度・2019年度E資格合格者、2018年度G検定合格者。著書「徹底攻略ディープラーニングE資格エンジニア問題集」（インプレス）。
開催概要
日時
2022年11月30日（水）19：30～21：00
開催方法
Zoom
参加費
無料
※競合他社様のご参加は、ご遠慮いただいておりますので、ご了承ください。
