【ラビットチャレンジレポート】深層学習day3 Section7:AttentionMechanism

E資格受験に必要なJDLA認定講座の一つであるラビット・チャレンジ(https://ai999.careers/rabbit/)のレポート用ページです。

100文字以上要点まとめ

seq2seqの長い文章への対応が難しいという課題に対応
(seq2seq では、2単語でも、100単語でも、固定次元ベクトルの中に入力しなければならない)
入力と出力のどの単語が関連しているのか」の関連度を学習する仕組みで解決

実装演習

エビデンス

確認テスト

①RNNとword2vec、seq2seqとAttentionの違いを簡潔に述べよ。

 RNN:時系列データを処理するのに適したネットワーク

 word2vec:単語の分散表現ベクトルを得る手法

 seq2seq:一つの時系列データから別の時系列データを得るネットワーク

 Attention:時系列データの中身のそれぞれの関連性に重みをつける手法

コメント

タイトルとURLをコピーしました