E資格受験に必要なJDLA認定講座の一つであるラビット・チャレンジ(https://ai999.careers/rabbit/)のレポート用ページです。
100文字以上要点まとめ
【全体図】
2つのモデルがドッキングしている
2つのモデル：Encoder-Decoderモデルの一種
【EncoderRNN】
文の意味を学習する
単語⇒ID⇒one-hot⇒embedding
【DecoderRNN】
Encoderが出力した文の意味をもとに文章を返す(翻訳結果など)
【HRED】
一問一答しか出来ないというSeq2Seqの課題に対応
過去n-1この発話から次の発話を生成する
【VHRED】
HRED は確率的な多様性が字面にしかなく、会話の「流れ」のような多様性が無いというHREDの課題に対応
（HREDは短いよくあると答えを学ぶ傾向がある。「うん」「そうだね」など)
VAEの潜在変数の概念を追加することで解決した構造
実装演習
確認テスト
①下記の選択肢から、seq2seqについて説明しているものを選べ。
（1）時刻に関して順方向と逆方向のRNNを構成し、それら2つの中間層表現を特徴量として利用するものである。
（2）RNNを用いたEncoder-Decoderモデルの一種であり、機械翻訳などのモデルに使われる。
（3）構文木などの木構造に対して、隣接単語から表現ベクトル（フレーズ）を作るという演算を再帰的に行い（重みは共通）、文全体の表現ベクトルを得るニューラルネットワークである。
（4）RNNの一種であり、単純なRNNにおいて問題となる勾配消失問題をCECとゲートの概念を導入することで解決したものである。
⇒(2)
②seq2seqとHRED、HREDとVHREDの違いを簡潔に述べよ。
⇒上記
③VAEに関する下記の説明文中の空欄に当てはまる言葉を答えよ。自己符号化器の潜在変数に____を導入したもの。
⇒確率分布
コメント