作って遊ぶ機械学習。

~基礎的な確率モデルから最新の機械学習技術まで~

変分近似

変分ベイズを使って変化点検知をしてみる

おつかれさまです.今回は簡単なメッセージ受信数のデータを使って,変分ベイズによる変化点検知をやってみたいと思います.なお,今回使うデータやモデルは下記のPyMCの入門書を参考にしています*1. Pythonで体験するベイズ推論-PyMCによるMCMC入門-キャメ…

ベイズ学習の勉強に参考になる資料

おつかれさまです.今回はタイトルの通り,ベイズ学習を勉強する上で参考になる教科書やウェブの資料,論文等を紹介したいと思います. ベイズ学習は確率推論に基づいた機械学習アルゴリズムの構築論です.ベイズ学習を使えば,あらゆる形式のデータに対して…

ベイズ混合モデルにおける近似推論① ~変分近似~

今回から数回に分けてベイズ混合モデルの構築法と種々の近似推論(変分近似、ギブスサンプリング、崩壊型ギブスサンプリング)に関してお話ししたいと思います。 混合モデルの代表的なアプリケーションはクラスタリングですが、今回ご紹介するモデルの構築方…

MCMCと変分近似

今回は代表的な2つの確率分布の近似推定手法であるMCMCと変分近似を比較します。変分近似に関しては複数回にわけて記事にしているのでそちらを参照されるとよいです。 変分近似(Variational Approximation)の基本(1) 変分近似(Variational Approximat…

変分近似(Variational Approximation)の基本(3)

「作って遊ぶ」を題目として掲げておきながらまだ作っても遊んでもいなかったので、今回はそろそろ何か動くものを載せたいと思います。 さて、前回得られた変分近似のアルゴリズムを導出するための手引きを使って、今回は世界で一番簡単だと思われる2次元ガ…

変分近似(Variational Approximation)の基本(2)

// // さて、前回は変分近似の目的(複雑過ぎて解析解が得られないような確率分布の近似)と、近似のための指標(KL divergence)に関して解説しました。 今回は、変分近似の「公式」を導いてみたいと思います。近似分布$q(z)$に関して「分解の仮定」を置く…

変分近似(Variational Approximation)の基本(1)

// // 初回の記事で変分近似はけっこう重たいのですが、今後ここで頻繁に使っていこうと考えているのでとりあえずご紹介です。 変分近似(variational approximation)とは、確率分布を近似的に求める方法のひとつです*1。一般的には確率分布を求めるには正…