UnityとゲームAIと将棋

Unity、Pythonを中心にゲーム開発やゲームAI開発の技術メモ等、たまに将棋も

確率統計関連の基本事項思い出し用シート

機械学習 確率統計

機械学習関連の本や論文などを読んでいると「記載されている数式の変形がどういった背景で行われているのか？」「そもそもこの式って何についての式なのか？」といったようなことをよく忘れてしまい、その都度調べるのも大変なので、基本的なものを一覧としてまとめておきます。

■基本事項

期待値

「確率変数の全ての値に、その値が得られる確率を掛けて全て加算したもの」

\displaystyle \mu = E[X] = \sum_{x} x p(x)
E[aX+bY+c] = aE[X] + bE[Y] + c
E[XY] = E[X]E[Y] \hspace{0.5cm} (X \mathop{\perp}Y)

分散

「期待値（平均値）と各データの差を二乗し、各データの得られる確率を掛けて全て加算したもの」

\displaystyle \sigma^2 = V[X] = \sum_{x} (x-\mu)^2 p(x)
V[X]=E[X^2] - \mu^2
V[aX+b] = a^2V[X]
V[X \pm Y]=V[X]+V[Y] \pm 2Cov[X,Y]

共分散・相関係数

Cov[X,Y]=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y]
\displaystyle \rho[X,Y] = E\left[\left(\frac{X-E[X]}{\sqrt{V[X]}}\right) \left(\frac{Y-E[Y]}{\sqrt{V[Y]}}\right)\right] = \frac{Cov[X,Y]}{\sqrt{V[X]V[Y]}}
  • X,Yが独立の時、共分散は0になる
  • 相関係数は-1以上1以下の値を取り、絶対値が1に近ければ相関が強く、0に近ければ相関が弱い

標準偏差

「データが平均からどれだけばらついているかを表す指標」

\sigma=\sqrt{V[X]}

変動係数

「単位の異なるデータのばらつき方を比較するための指標（無次元数）」

\displaystyle \frac{\sqrt{V[X]}}{E[X]}

偏差値

「元のデータを平均が50、標準偏差が10となるように変換した値」

\displaystyle \frac{x-\mu}{\sigma} \times 10 + 50

標準化

「元のデータを平均が0、分散が1になるように変換すること」

確率変数Xを標準化したものをZとすると

{\displaystyle Z = \frac{X-E[X]}{\sqrt{V[X]}}}
E[Z]=0\\ V[Z]=1

ベイズの定理

条件付き確率

P(A,B) = P(A|B)P(B) = P(B|A)P(A)

ベイズの定理の基本形

\displaystyle P(A|B) = \frac{P(B|A)P(A)}{P(B)} = \frac{P(B|A)P(A)}{P(B|A)P(A) + P(B|A^c)P(A^c)}

多変数になった場合は同時確率から変形していくのがわかりやすいと思います。

\begin{align} P(A,B,C,D) &= P(A,B,C|D)P(D) \\ &= P(A,B|C,D)P(C|D)P(D) \\ &= P(A|B,C,D)P(B|C,D)P(C|D)P(D) \\ \end{align}

■離散型分布

離散一様分布

\displaystyle P(X=1) = P(X=2) = \cdots =P(X=K) = \frac{1}{K}
\displaystyle E[X] = \frac{K+1}{2}, \quad V[X] = \frac{K^2-1}{12}

ベルヌーイ分布

Bin(1,p)
P(X=x)=p^xq^{1-x}, \quad x=0,1
E[X] = p,\quad V[X] = pq

二項分布

「成功確率pのベルヌーイ試行をn回行った時の成功回数Xが従う確率分布」

Bin(n,p)
P(X=x)={}_nC_xp^xq^{n-x}, \quad x=0,1,\ldots,n
E[X] = np,\quad V[X] = npq

超幾何分布

「M個の赤玉とN-M個の白玉の合計N個の玉の入った箱から非復元無作為抽出でn個取り出したときの赤玉の個数の分布」

HG(N,M,n)
\displaystyle P(X=x)=\frac{{}_MC_x \times {}_{N-M}C_{n-x}}{{}_NC_n}, \quad max\{0,n-(N-M)\} \leq y \leq min\{n,M\}
\displaystyle E[X] = n\cdot\frac{M}{N},\quad V[X] = n\cdot\frac{M}{N}\left(1-\frac{M}{N}\right)\times \frac{N-n}{N-1}

ポアソン分布

Po(\lambda)
\displaystyle P(X=x) = \frac{\lambda^x}{y!}e^{-\lambda}, \quad y=0,1,2,\ldots
E[X]=\lambda, \quad V[X]=\lambda

幾何分布

Geo(p)

※ x回目で初めて成功の場合

P(X=x) = pq^x, \quad(q=1-p), \quad x=0,1,2,\ldots
\displaystyle E[X]=\frac{1}{p}, \quad V[X]=\frac{q}{p^2}

■連続型分布

連続一様分布

f(x) = \begin{cases} \displaystyle\frac{1}{b-a} \quad(a \leq x \leq b)\\\ \quad 0 \quad (Other) \end{cases}
\displaystyle E[X] = \frac{a+b}{2},\quad V[X] = \frac{(b-a)^2}{12}

正規分布

N(\mu, \sigma^2)
\displaystyle f(x)=\frac{1}{\sqrt{2\pi}\sigma}exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)
E[X]=\mu, \quad V[X]=\sigma^2

累積分布関数は

\displaystyle P(X \leq x) = P\left(\frac{X-\mu}{\sigma} \leq \frac{x-\mu}{\sigma}\right) = \Phi\left(\frac{x-\mu}{\sigma}\right)

ベータ分布

\displaystyle f(x)=\frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1}, \quad a \gt 0,b \gt 0,0 \lt x \lt 1
\displaystyle E[X]= \frac{a}{a+b}, \quad V[X]=\frac{ab}{(a+b)^2(a+b+1)}

標本分布

\displaystyle E[X] = \mu, \quad V[X]= \sqrt{\frac{\sigma^2}{n}}

参考文献