…行ったソースコード（Julia実装）は下記にあります．（logistic_regression_intrp.jl） MLBlog/src at master · sammy-suyama/MLBlog · GitHub 今回の記事がよくわからん！という方には，次のような入門書もあります． books.rakuten.co.jp *1:僕の経験上最悪のデータは，欠損部分がすでに0で埋められているというものでした．どこが欠損していたかの情報もなかったため，観測値として本当に0なの…

…紳士的ですね*3． Juliaで実装したソースコードは下記に置いてあります．（change_point.jl） MLBlog/src at master · sammy-suyama/MLBlog · GitHub ということで，本日は以上です． *1:英語になっちゃいますが，本の内容とほぼ同じJupyter Notebookがあります． https://github.com/CamDavidsonPilon/Probabilistic-Programming-and-Bay…

…出してPythonやJulia等の適当な言語で実装するほか、モデルがそれほど複雑でないのであればStanなどのツールを使って自動的に推論してもらうという手もあります。また、多くの機械学習の課題では、ただパラメータの事後分布を計算するだけを目標とするということはあまりないでしょう。例えば未来の値X*を予測したい場合は、学習された事後分布を使って予測分布P(Ｘ*|Ｘ)=ΣP(Ｘ*, Θ|Ｘ)を評価することになると思います。あるいは、クラスタリングなどの「観測することのできない潜在…

…リングアルゴリズムをJuliaで実装し、動作確認をしてみます。ソースコードはGithubにあります。 観測データ数N＝１０００、次元数D＝２、クラスタ数K＝８として混合モデルを学習させてみました。次の図は１００回までのサンプル結果をアニメーションにしています。 左下の方のクラスタはかなり密集していますが、なんとかうまく分離できているように見えますね。右図でサンプル回数が５０回を超えてもまだパタパタしている箇所がありますが、それらのデータ点はクラスの所属が「あいまい」であること…

…り忘れていましたが、Juliaで実装したものをGitHubに公開しました。 MLBlog/demo_simpleVI.jl at master · sammy-suyama/MLBlog · GitHub 基本的にはJulia上で julia> include("demo_simpleVI.jl") と叩けば今回のような図が色々出てくるかと思います。 次回以降は、もうちょっと複雑な、でも現実的なモデルに対して変分近似を適用してみたいと思います。 [続き・関連] MCMCと変分…