ベイズ混合モデルにおける近似推論② ~ギブスサンプリング~
さて、今回はMCMCの代表的な手法であるギブスサンプリングを使って、混合モデルによるクラスタリングを行いたいと思います。今回も前回の変分近似の記事と同様、ポアソン混合分布を具体的なモデル例として使っていきます。
[必要な知識]
下記をさらっとだけ確認しておくといいです。
・ギブスサンプリング
さて、ギブスサンプリングでは、サンプルを取りたい同時分布に対して、下記のような繰り返し手続きを用いて変数を順にサンプリングします。
他の変数を既にサンプリングされた値で固定し、残りを確率分布からサンプルする、というのを繰り替えしていきます。それぞれの確率分布が、注目している変数をサンプリングするのに十分なほど簡単になっているのがギブスサンプリングが適用できる条件です。証明は今回省きますが、このような手続きで得られたサンプルは、数が十分に多ければ真の分布から得られたものとみなすことができます。
ギブスサンプリングは変分近似と比べ、細かい積分計算(期待値計算)を必要としない分だけいくらか変分近似より楽に導出できるかと思います。また、サンプリング手法が元々積分計算を近似するために開発されたという経緯もあり、変分近似と比べて若干適用できるモデルの範囲が広いです。変分近似とギブスサンプリングの簡単な比較はこちらの記事をご参照ください。
・ポアソン混合モデルに対するギブスサンプリング
さて、前回と同様、お題としてポアソン混合モデルを使用します。利便上もう一度確率モデルを書いておくことにします。
、はそれぞれ観測データと隠れ変数の集合で、とはパラメータです。
それぞれのパーツは具体的に次の様に設定します。
早速このモデルの事後分布(が観測された後の残りの確率変数の分布)の推定にギブスサンプリングを適用してみましょう。今回はパラメータと隠れ変数を別々に分けることによって、十分容易にサンプリングが出来る確率分布が得られることを示します。
まずパラメータであるとのサンプルから見てましょう。すべての隠れ変数がすでにサンプルされたある値で固定された状態になっているので、パラメータの分布はちょこちょこっと計算すると次のようなガンマ分布とディリクレ分布の独立した積になることがわかります(表記を簡単にするためインデックスは取り除きます)。
ガンマ分布に関しては、さらにそれぞれのクラスタ()と次元()ごとに独立にサンプルすればOKだということがわかりますね。実装上では、お使いのプログラミング言語のライブラリでガンマ分布とディリクレ分布からそれぞれ値をサンプルすればOKです。
さて、パラメータがサンプルされたので、今度は隠れ変数をサンプリングしてみることにします。とが一旦サンプルされた値で固定されると、次の様にはそれぞれデータ点ごとに独立にサンプリングできることがわかります。
このようにしてすべてのをサンプルし終えたら、またとのサンプリングに戻ります。
・簡単な実験
さて、導出したポアソン混合モデルのギブスサンプリングを使って、簡単なトイデータのクラスタリングをしてみましょう。可視化のためデータの次元は2に固定し、データ数は300とします。サンプリングのイタレーションは50回とします。
次の結果はクラスタ数とし、多少クラスタ間のオーバーラップがあるデータから隠れ変数をサンプリングしてプロットしてみたものです。
左の図が正解のクラスタリングで、右図はサンプリングのプロセスをアニメにしています。右図を見ると、サンプリング数が増えていっても2つのクラスタのちょうど中間くらいにあるデータに対する割り当てはずっと安定しません。サンプリング法では、このような事後確率の不確実性がそのままサンプルされる値のバラツキ加減によって表現されるわけですね。
次はクラスタ数のデータを分離してみた結果です。
サンプリングの途中で誤ったクラスタ分けに一度収束しかけていますが、30回目くらいでなんとか運良く脱出し、最終的には正しい結果が得られたようですね。ギブスサンプリングはじっくり待てば理論的には真の事後分布からのサンプルを得ることが出来るのですが*1、実際には局所的に尤度の高い位置にひっかかってしまい抜け出せなくなってしまう場合も多いです。
・まとめ
ということで、今回はポアソン混合分布に対するギブスサンプリングを導出し、簡単な実験をやってみました。ガウス混合分布と比べてパラメータ数も1つ少なく行列計算も必要ないので、実際に手で計算してみてアルゴリズムを導出してみることをオススメします。変分近似と比べてもいくぶんか導出は楽ですね*2。
次回は1つ発展として崩壊型ギブスサンプリング(Collapsed Gibbs sampling)を紹介する予定です。