E資格受験に必要なJDLA認定講座の一つであるラビット・チャレンジ(https://ai999.careers/rabbit/)のレポート用ページです。
100文字以上要点まとめ
【ニューラル気化器翻訳の問題点】
文長が長くなると表現力が足りなくなる
【解決法】
Attensionを用いる
【Transformer】
2017年6月に登場
RNNを使わない
必要なのはAttentionだけ
当時のSOTAをはるかに少ない計算量で実現 – 英仏 (3600万文) の学習を8GPUで3.5日で完了
【Attentionはなに】
辞書オブジェクト
query(検索クエリ)に一致するkeyを索引し、対応するvalueを取り出す操作であると見做すことができる
実装演習
確認テスト
Transformerの応用例(https://ai-scholar.tech/articles/transformer/transformer-vision-5)
画像認識
物体検出
セグメンテーション
画像生成
低レベル視覚
マルチモーダルなタスク
映像理解
ローショット学習
クラスタリング
3次元解析
コメント