C. 確率論と確率過程

C..1 確率密度関数

C..2 種々の統計量

期待値（exception）

$\displaystyle E_x [g(x)] = \int_{-\infty}^{\infty} g(\xi) p_x(\xi) d\xi$ (61)
平均（average, mean value）

$\displaystyle \bar{x} = E_x [x] = \int_{-\infty}^{\infty} \xi p_x(\xi) d\xi$ (62)
分散（variance）

$\displaystyle \sigma_x^2 = E_x [(x-\bar{x})^2] = \int_{-\infty}^{\infty} (\xi-\bar{x})^2 p_x(\xi) d\xi$ (63)
標準偏差（standard deviation） $\sigma_x$
モーメント（moment）

$\displaystyle E_x [x^m] = (-i)^m \left. \frac{d^m \phi_x(\zeta)}{d\zeta^m}\right \vert _{z=0} = (-i)^m \phi_x^{(m)}(0)$ (64)

C..3 平均と共分散

C..4 確率ベクトルの独立性

C..5 条件付き確率

条件付き確率 (Conditional probability) とは、ある事象Bが起こるという条件の下で別の事象Aの確率をいい、これを $P(A\vert B)$ または

と書く。

C..6 ガウス確率ベクトル

C..7 確率過程

C..8 定常過程とエルゴード性

エルゴード過程（elgodic process）の基本的な考え方は集合平均（ensamble average）を時間平均（time average）で置き換える事である。定常過程 $\{x_k\}$ から任意の関数を用いて得られる新たな過程 $\{\bm{f}(\bm{x}_k)\}$ の平均過程がその一つの標本過程 $\{\bm{f}(\bm{\xi}_k)\}$ によって

$\displaystyle E_{\bm{x}_k} [\bm{f}(\bm{x}_k)] = \lim_{L\rightarrow \infty} \frac{1}{2L+1} \sum_{i=-L}^{L} \bm{f}(\bm{\xi}_{k+i})$

(65)

と表わせる時、 $\{x_k\}$ はエルゴード性（elgodicity）を持つという。また、時間平均と集合平均が等しい過程をエルゴード過程という。

C..9 Gauss過程

確率過程 $\bm{x}_k$ において、任意の

と

に対して $\bm{x}_k, \cdots, \bm{x}_{k+m}$ の結合確率密度関数が存在し、かつGauss分布

$\displaystyle p_x(\bm{x}) = \frac{1}{\pi^N \vert\bm{\Sigma}_{\bm{x}}\vert} \exp... ...m{x} - \bar{\bm{x}})^\dag\bm{\Sigma}_{\bm{x}}^{-1} (\bm{x} - \bar{\bm{x}}) \} }$

(66)

であれば、 $\{\bm{x}_k\}$ をGauss過程と呼ぶ。

C..10 Markov過程

時刻

における $\bm{x}_k$ が一つ前の時刻の状態 $\bm{x}_{k-1}$ だけに依存し、それ以上前の状態 $\bm{x}_0, \cdots, \bm{x}_{k-2}$ には無関係

$\displaystyle p_{\bm{x}_k \vert \bm{x}_0, \cdots, \bm{x}_{k-1}} (\bm{\xi}_{k} \... ...i}_{k-1}) = p_{\bm{x}_k \vert \bm{x}_{k-1}} (\bm{\xi}_{k} \vert \bm{\xi}_{k-1})$

(67)

であるとき、確率過程 $\{\bm{x}_k\}$ を1次のMarkov過程と呼ぶ。結合確率密度関数はBayesの定理より

$\displaystyle p_{\bm{x}_0, \cdots, \bm{x}_{k}} (\bm{\xi}_{0}, \dots, \bm{\xi}_{... ...{0}) \cdots p_{\bm{x}_k \vert \bm{x}_{k-1}} (\bm{\xi}_{k} \vert \bm{\xi}_{k-1})$

(68)

と表される。また、2次のMarkov過程は

$\displaystyle p_{\bm{x}_k \vert \bm{x}_0, \cdots, \bm{x}_{k-1}} (\bm{\xi}_{k} \... ...t \bm{x}_{k-2},\bm{x}_{k-1}} (\bm{\xi}_{k} \vert \bm{\xi}_{k-2},\bm{\xi}_{k-1})$

(69)

で定義され、高次のMarkov過程も同様に定義できる。