作って遊ぶ機械学習。

~基礎的な確率モデルから最新の機械学習技術まで~

MLPシリーズ「ベイズ深層学習」概要まとめ

今回は8月に出版した講談社機械学習プロフェッショナルシリーズの「ベイズ深層学習」の概要を書いてみます. www.kspub.co.jp 講談社のページ等では目次は載っていますが,それより詳細な情報はネットにはないので,もう少しだけ踏み込んだ内容をここで紹介…

線形回帰を1つ1つ改造して変分オートエンコーダ(VAE)を作る

こんばんは. 今日は統計や機械学習において最も基本となる手法である線形回帰から出発し,1つ1つモデルや学習方法に変更を加えていき,最終的に深層学習の分野で非常に良く使われている生成モデルである変分オートエンコーダ(variational auto-encoder,…

深層学習はガウス過程

おつかれさまです. 僕はあまり深層学習に関して記事を書くことはないのですが,ちょっと気になった論文があったので紹介します. [1711.00165] Deep Neural Networks as Gaussian Processes 論文はGoogle Brainの研究者らによるもので,NIPS2017 Bayesian D…

データに欠損がある場合の教師あり学習

おはようございます. 今回は教師あり学習モデルを題材に,入力データが欠損している場合のベイズ流の対処法を解説します.ベイズモデルというと,たいていの場合は事前分布の設定の仕方云々だとか,過学習を抑制できるだとかに議論が注目されがちですが,個…

変分ベイズを使って変化点検知をしてみる

おつかれさまです.今回は簡単なメッセージ受信数のデータを使って,変分ベイズによる変化点検知をやってみたいと思います.なお,今回使うデータやモデルは下記のPyMCの入門書を参考にしています*1. Pythonで体験するベイズ推論-PyMCによるMCMC入門-キャメ…

ベイズ学習の勉強に参考になる資料

おつかれさまです.今回はタイトルの通り,ベイズ学習を勉強する上で参考になる教科書やウェブの資料,論文等を紹介したいと思います. ベイズ学習は確率推論に基づいた機械学習アルゴリズムの構築論です.ベイズ学習を使えば,あらゆる形式のデータに対して…

実践!ベイズ学習

今回は、実問題を解くためのベイズ学習による機械学習アルゴリズムの構築方法に関してざっくり俯瞰してみたいと思います。ここで解説するフローは僕が実問題にアプローチする際に意識しているものですが、おそらくこれはベイズ学習のみならず、広く一般的な…

ベイズ混合モデルにおける近似推論③ ~崩壊型ギブスサンプリング~

さて、今回は混合モデルに対する効率的な学習アルゴリズムとして、崩壊型ギブスサンプリング(Collapsed Gibbs Sampling)*1を紹介します。ベースとなるアイデア自体はギブスサンプリングそのものなのですが、標準的な方法と比べて種々の計算テクニックが必…

機械学習の4つのアプローチ

おつかれさまです。今日はちょっと趣を変えて、近年のいわゆる「機械学習」という技術のアプローチをカジュアルに少しカテゴリ分けしたいと思います。 といっても、自分はアカデミックの研究者ではなく大量の論文を読み漁るということもほとんどしないので、…

ベイズ混合モデルにおける近似推論② ~ギブスサンプリング~

さて、今回はMCMCの代表的な手法であるギブスサンプリングを使って、混合モデルによるクラスタリングを行いたいと思います。今回も前回の変分近似の記事と同様、ポアソン混合分布を具体的なモデル例として使っていきます。 [必要な知識] 下記をさらっとだけ…

ベイズ混合モデルにおける近似推論① ~変分近似~

今回から数回に分けてベイズ混合モデルの構築法と種々の近似推論(変分近似、ギブスサンプリング、崩壊型ギブスサンプリング)に関してお話ししたいと思います。 混合モデルの代表的なアプリケーションはクラスタリングですが、今回ご紹介するモデルの構築方…

ベイズ推論による機械学習の基本

今回は基本的なベイズ学習の概念と流れを説明したいと思います。まず始めに、ベイズ学習のすべての基本となる2つの計算規則(和の規則、積の規則)を取り上げます。また、ベイズ学習に関わるややこしい用語たち(データ、尤度関数、事前分布、事後分布、エ…

ややこしい離散分布に関するまとめ

今回は離散分布(discrete distribution)の代表格である多項分布(multinomial distribution)や、その共役事前分布であるディリクレ分布(Dirichlet distribution)との関係性や計算方法を整理したいと思います。 離散分布というと、本来はポアソン分布(P…

グラフィカルモデルを使いこなす!~転移学習を表現してみる~

さて、今日は以前ご紹介したグラフィカルモデルを使って、転移学習(Transfer Learning)の一例をモデル化してみたいと思います。この記事を読んでいただければグラフィカルモデルを使ったベイズ学習が、機械学習における様々な問題設定に対して柔軟なアプロ…

アニメでわかるベイズ推論によるパラメータ学習

さて、今日はガウス分布を使った簡単な実験を行って、ベイズ推論における機械学習の本質の一端を説明したいと思います。せっかくなので前回取り扱った多峰性事前分布も実験に取り入れてみたいと思います。 改めてベイズ学習を数式で書くと次のようになります…

第一線のAI研究者が注目する最新機械学習技術6選(NIPS2015招待講演より)

ちょっと前になりますが、昨年12月に行われた機械学習のトップカンファレンスであるNIPS2015の講演ビデオが上がっているようなのでチェックしてみました。今回ご紹介するのはケンブリッジ大学のZoubin Ghahramani教授の研究です。 datasciencereport.com 同…

多峰性の事前分布ってどうやって作るの?

ベイズ学習では、複雑なモデルにおけるパラメータの学習を効率的に行うために、しばしば観測モデルに対する共役な事前分布を仮定します。例えばベルヌーイ分布のパラメータの事後分布を推定するために、事前分布をベータ分布にしたりします。ウェブを検索す…

グラフィカルモデルを使いこなす!~有向分離の導入と教師あり学習~

さて、前回はグラフィカルモデルの描き方と簡単な事後確率の推論をやってみました。今回以降は、下記のようなもう少し現実的な確率モデルに対する推論をグラフィカルモデル上でやってみる予定です。 ・教師あり学習(今回) ・半教師あり学習 ・共変量シフト…

グラフィカルモデルによる確率モデル設計の基本

今回から数回にわたって、グラフィカルモデルを利用した確率モデルの設計についてお話しします。従来の統計モデルと比べ、機械学習を機械学習たらしめているものの一つは、扱う現象の複雑さにあると言えます。複雑な現象を解析するためにはそれに見合った複…

もうバグに悩まされることもない?MITの研究者が人工知能を利用した自動デバッグシステムを開発

こんにちは。 MITの研究者が従来法よりも10倍多くのバグを修正できるアルゴリズムを開発したそうです。 news.mit.edu ・従来法の問題点 ソースコードのバグを自動修正するという研究は従来からありました。一般的な方法としては、修正したいソースコードに対…

MCMCと変分近似

今回は代表的な2つの確率分布の近似推定手法であるMCMCと変分近似を比較します。変分近似に関しては複数回にわけて記事にしているのでそちらを参照されるとよいです。 変分近似(Variational Approximation)の基本(1) 変分近似(Variational Approximat…

変分近似(Variational Approximation)の基本(3)

「作って遊ぶ」を題目として掲げておきながらまだ作っても遊んでもいなかったので、今回はそろそろ何か動くものを載せたいと思います。 さて、前回得られた変分近似のアルゴリズムを導出するための手引きを使って、今回は世界で一番簡単だと思われる2次元ガ…

Googleの人工知能が囲碁のトッププレイヤーを撃破

オセロ、チェス、将棋に続き、ついに囲碁までもコンピュータが人間を上回るようになったみたいですね。 www.wired.com 概略は以下の通りです。 ・GoogleのDeepMindの研究員が開発したAlphaGoという囲碁の人工知能システムが、欧州のチャンピオンを倒した。 …

最尤推定、MAP推定、ベイズ推論

今回は、最尤推定、MAP推定(事後確率最大化推定、正則化)、ベイズ推論*1の関係性を見ていきたいと思います。結論から言うと、最尤推定とMAP推定はベイズ推論の特殊な近似方法であると見ることができます。 [必要な知識] 下記をさらっとだけ確認しておくと…

変分近似(Variational Approximation)の基本(2)

// // さて、前回は変分近似の目的(複雑過ぎて解析解が得られないような確率分布の近似)と、近似のための指標(KL divergence)に関して解説しました。 今回は、変分近似の「公式」を導いてみたいと思います。近似分布$q(z)$に関して「分解の仮定」を置く…

変分近似(Variational Approximation)の基本(1)

// // 初回の記事で変分近似はけっこう重たいのですが、今後ここで頻繁に使っていこうと考えているのでとりあえずご紹介です。 変分近似(variational approximation)とは、確率分布を近似的に求める方法のひとつです*1。一般的には確率分布を求めるには正…

開設しました。

機械学習に関するブログを開設しました。 確率モデルに基づく機械学習の基本的なテクニックの紹介から、データサイエンスに関する一般的な話題まで取り上げたいと思っています。 ・なぜ機械学習のブログ? このブログを始めるに至った理由は、確率モデルを使…