E資格受験に必要なJDLA認定講座の一つであるラビット・チャレンジ(https://ai999.careers/rabbit/)のレポート用ページです。
線形代数
100文字以上の要約
【1)固有値・固有ベクトルの求め方】
$$ A\vec{x} = \lambda\vec{x} $$
$$ ( A – \lambda I )\vec{x} = \vec{0} $$
$$ \vec{x} \ne \vec{0} より$$
$$ | A – \lambda I| = 0 を解けばよい$$
※逆行列が存在すると
$$ I \vec{x} = \vec{0} $$
になってしまうため、逆行列が存在しない(行列式=0)条件を考える
固有値は定まるが固有ベクトルは定数倍を取ることができる。
【 2)固有値分解のについて理解を深める 】
ある正方行列Aは
固有値を対角上に並べた行列Λと
対応する固有ベクトルを並べた行列Vを用いて
$$ A = V \Lambda V ^{-1}$$
と表せる
固有値分解は行列の累乗の計算が容易になるという利点がある。
【 3)特異値・特異ベクトルの概要を知る 】
正方行列以外でも似たようなことができる→特異値分解
$$ M\vec{v} = \sigma\vec{u} $$
$$ M^T\vec{u} = \sigma\vec{v} $$
を満たす行列Mは特異値分解できる
$$ M = USV^{-1} $$
※U,Vは直行行列(複素数を含む場合はユニタリ行列という)
【 4)特異値分解の概要を知る 】
特異値の求め方
$$ MM^T = USV^{-1}VS^TU{-1} = USS^TU^{-1}$$
$$ M^TM = VS^TU^{-1}USV^{-1} = VS^TSV^{-1}$$
$$ MM^Tを固有値分解するとMの左特異ベクトルU, $$
$$ M^TMを固有値分解するとMの右特異ベクトルV, $$
$$ 特異値の2乗が求められる $$
【 memo 】
・掛け算は変換する装置として捉えることもできる。行列はベクトルを変換する装置。
・行列の積は連立方程式の研究の中で生まれたらしい
・逆行列の求め方(掃き出し法)https://senkei.nomaki.jp/gaussian_elimination.html
・ベクトルの内積は平行四辺形の面積と等価https://juken-mikata.net/how-to/mathematics/vector.html
・3次の行列式https://risalc.info/src/determinant-three-by-three.html
・行列式は正方行列の「大きさ」みたいなもの
・固有値分解はの利点は行列を分類できること？
・固有値分解・特異値分解についてhttps://qiita.com/MA-fn/items/8257deb5441c18952f6d
・特異値の活用例：画像を特異値分解し成分の小さい部分を取り除くと品質を損なわず効率よくデータ圧縮できる。レンズのピントをずらすイメージ
・特異値の大きい部分が似ている→同じ画像かも？という判断ができる（教師無しでも分類できる）
確率・統計
100文字以上の要約
【集合について】
集合とはものの集まり
数学的には S = {a, b, c, d, e, f, g}
a ∈ S, b ∈ S
内部にM = {c, d, g}があったとすると
M ⊂ S
【確率】
頻度確率(客観確率)：発生する頻度（測定により必ず決まる。くじ引きなど）
ベイズ確率(主観確率)：信念の度合い（算出するのが難しい。予測みたいなもの？）
確率の定義
$$ P(A) = \frac{n(A)}{n(U)} = \frac{事象Aが起こる数}{すべての事象の数} $$
Aが起きない確率は
$$ P(\bar{A}) = 1 – P(A) $$
A,B同時に起きる確率は
$$ P(A∩B) = P(A)P(B|A) = Aが起きる確率*Aが起きたうえでBが起きる確率 $$
※ベン図で考えると
Aが起きる確率 = Uに対するAの比率
Aが起きたうえでBが起きる確率 = Aに対するA∩ Bの比率
$$ P(A∩B) = P(B)P(A|B) $$
も成り立つ
P(A|B)を条件付確率と言う
$$ P(A|B) = \frac{P(A∩B)}{P(B)} = \frac{A,B同時に起きる確率}{Bが起きる確率}$$
お互いの発生には因果関係がない事象A,Bが同時に発生する場合は
$$ P(A∩B) = P(A)P(B|A) = P(A)P(B) $$
事象A,Bの少なくともどちらかが起きる確率は
$$ P(A∪B) = P(A) + P(B) – P(A∩B) $$
【統計】
記述統計：集団の性質を要約し記述する
推測統計：集団から一部を取り出し母集団の性質を推測する。（例。工場の検査など)
期待値：平均の値orありえそうな値
離散値$$ E(f) = \sum_{k=1}^{n}P(X=x_k)f(X=x_k) $$
連続値$$ E(f) = \int P(X=x)f(X=x)dx $$
分散：データの散らばり具合(期待値との差)
$$ Var(f) = E((f_{(X=x)}-E_{(f)})^2) = E(f_{(X=x)}^2) – {(E_{(f)})}^2$$
共分散：2つのデータ系列の傾向の違い(それぞれの期待値との差の積)
$$ Cov(f,g) = E((f_{(X=x)}-E(f))(g_{(Y=y)}-E(g))) = E(fg) – E(f)E(g)$$
標準偏差：分散を元のデータと同じ単位にする
$$ \sigma = \sqrt{Var(f)}$$
様々な確率分布
ベルヌーイ分布：コイントスのイメージ
マルチヌーイ(カテゴリカル)分布：さいころを転がすイメージ
二項分布：ベルヌーイ分布の多施行版
ガウス分布：釣り鐘型の連続分布
推定
点推定：平均値など1つの値を推定する
区間推定：平均値などが存在する範囲(区間)を推定すること
推定量と推定値
推定量(estimator)：パラメータを推定するために利用数数値の計算方法や計算式。推定関数
推定値(estimate)：実際に試行をおこなった結果から計算した値
$$ 真の値を\thetaとすると推定値は\hat{\theta}と表す $$
標本推定
サンプル数が大きくなれば母集団の値に近づく→一致性
サンプル数がいくらであってもその期待値は母集団の値と同様→不偏性
標本分散
一致性は満たすが不偏性は満たさない
不偏分散
標本分散にn/(n-1)をかける。サンプルがn-1個しかないという考え
【memo】
・⊂∈などの記号は「集合」で変換すると出てくる
・∪は物が入りやすそう→和集合とイメージすると覚えやすい
・補集合Āは U \ A と表すこともできる
情報理論
100文字以上の要約
【自己情報量】
情報の増え方の感じ方としては比率で考える方が自然
変化量の積分→量なので自己情報量は
$$ I(x) = -log(P(x)) = log(W(x)) $$
※対数の底が2の場合単位はbit
※対数の底がネイピアeの場合単位はnat
【シャノンのエントロピ】
自己情報量の期待値
$$ H(x) = E(I(x)) = -E(log(P(x))) = -\sum (P(x)log(P(x))) $$
例コインを投げた時に得られる情報の多さは裏表の確率が0.5のときが一番多い
裏の確率1の場合は裏が出ることがわかってるので得られる情報はない
シャノンエントロピが最大になるような現実が起こりやすい
→機械学習で誤差関数代わりに使うこともある
【カルバック・ライブラー ダイバージェンス】
同じ事象・確率変数における異なる確率分布P,Qの違いをあらわす
$$ D_{KL} = \sum_x P(x)\log{\frac{P(x)}{Q(x)}} $$
例：表確率Qのコインを投げていると思っていたら実はいかさまのコイン(確率P)だった
【交差エントロピー】
KLダイバージェンスの一部分を取り出したもの
Qについての自己情報量をPの分布で平均している
$$ H(P,Q) = -\sum P(x)\log{Q(x)}$$
例：電信で情報を送る場合、送信側はQだが、受信側は受けられなかったことに気づかないためPだと思うことになる(Qになるとは限らない)
【memo】
カルバックライブラーダイバージェンスhttps://yul.hatenablog.com/entry/2019/01/07/152738
交差エントロピーhttps://qiita.com/kenta1984/items/59a9ef1788e6934fd962
感じたことなぐり書き
・超AI入門講座、スタートテストで問われる内容とかぶっている部分もあり飛ばし飛ばしやるのがよいかも
・wordpressで数式書くのめんどくさすぎる
・大学で習った内容だいぶ忘れてる
・イメージを教えてくれるので腑に落ちやすい
・ステージテスト22/23で合格。どこ間違えたんだろ？
時間
11/24 2:00 ～固有値_04
11/25 1:00 ～固有値_11
11/27 1:00 ～統計学1-11
11/27 1:00 ～統計学2-11
11/27 1:00 ～統計学2-16
11/27 0:40 ステージテスト
合計 6:40
コメント