** PRML - 演習5.36 [#keab2476]
式(5.157)より
$$
\mathcal{N} = \frac{1}{(2 \pi \sigma^2)^{1/2}} e^(- \frac{1]{2 \sigma^2} ( x - \mu )^2)
\mathcal{N} = \frac{1} { (2 \pi \sigma^2)^{1/2} } exp{ (- \frac{1}{ 2 \sigma ^ {2}} ( x - \mu)^2)}
$$
に対し、式(5.151)
$$
\sigma_k (x) = exp(a_k)
$$
を代入すると
$$
\mathcal{N} = frac{1} { (2 \pi )^{1/2} } exp(-a_k) exp (- \frac{1}{ 2  e^{-2a_k}} ( x - \mu)^2) 
$$

$$
= \frac{1} { (2 \pi )^{1/2} } exp ( - \frac{1}{ 2 } ( x - \mu)^2 e^{-2a_k} - a_k )
$$

これを\( a_k \)で偏微分すると、

$$
\frac{\partial \mathcal{N}}{\partial a_k} = ( (x - \mu)^2 e^{-2a_k} -1 ) \mathcal{N}
$$

\( \sigma_k = e^{a_k} \)で、\( \sigma_k \)に戻すと
$$
= ( \frac{ (x - \mu)^2 }{\sigma_k^2} - 1 )  \mathcal{N}
$$

式(5.153)をn番目の観測値に対して簡略化して書くと
$$
E_n= - ln (\sum_{k=1}^{K} \pi_k  \mathcal{N}_{nk} )
$$
これを\( a_k \)で偏微分すると
$$
\frac{\partial E_n}{\partial a_k} = - \frac{1}{\sum_{k=1}^{K} \pi_k  \mathcal{N}_{nk}} \frac{\partial \mathcal{N}_{nk}}{\partial a_k} 
$$
$$
= - \frac{\mathcal{N}_{nk}}{\sum_{k=1}^{K} \pi_k  \mathcal{N}_{nk}}  ( \frac{ (x - \mu)^2 }{\sigma_k^2} - 1 ) 
$$
式(5.154)
$$
\gamma_{nk}(t_n | x_n) = \frac{\mathcal{N}_{nk}}{\sum_{k=1}^{K} \pi_k  \mathcal{N}_{nk}} 
$$
を使って
$$
\frac{\partial E_n}{\partial a_k} = \gamma_{nk} (1 - \frac{ (x - \mu)^2 }{\sigma_k^2} )
$$

どうして式(5.157)
$$
\frac{\partial E_n}{\partial a_k} = \gamma_{nk} (L - \frac{ (x - \mu)^2 }{\sigma_k^2} )
$$
のようにLが出てくるのかわからない！
トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
SmartDoc