マルコフ核と確率密度関数 - 檜山正幸のキマイラ飼育記 (はてなBlog)

確率統計の理解のために、僕がジリィモナド、マルコフ核、マルコフ圏などをおすすめするのは、見通しがよくなり、必要な概念が実は少数なことが分かるからです。少数の概念に対する膨大な呼び名（同義語、類義語、曖昧語）が無節操にとっ散らかっています。

必要な少数な概念が測度論ベースなので、そこのハードルが高いのは事実です。測度論を避ける手段として、確率測度の代わりに確率密度関数を使う方法があります。確率密度関数をベースにするアプローチには、次の制限があります。

可測空間に測度（確率測度とは限らない）を割り当てないと議論ができない。
すべてのマルコフ核が、確率密度関数で表せるわけではない。
確率密度関数ベースで、圏と類似の構造を作れるが、ほんとの圏にはならない*1。

学習（お勉強）の観点からの確率密度関数の問題点は、確率密度関数と確率測度を同一視する悪い癖が付いてしまうことです。特に、有限離散の場合は、関数と測度が区別できなくなります。

制限や問題点はありますが、現実に確率密度関数が必須なことはあるので、確率密度関数の説明をします。でも、「測度論を避けるために確率密度関数」という発想ではありません。測度論から見て確率密度関数を理解する方針です。なので、やっぱり測度論のハードルは存在します、あしからず。

必要に応じて「マルコフ核：確率計算のモダンな体系」を参照してください。

内容：

パラメータ付き確率密度関数
半圏PPDF
半圏PPDFを、マルコフ核の圏へ埋め込む

パラメータ付き確率密度関数

測度空間 (X, Σ, Λ) を考えます。ここで、

Xは集合
Σは、X上のシグマ集合代数
Λは、可測空間 (X, Σ) 上の測度

Λは確率測度である必要はありませんが、σ-有限性とか、ある程度はいい性質を仮定します。X = (X, ΣX, Λ_X) と記号の乱用をします。Λ_X の下付きXはときに省略します*2。

(X, ΣX, Λ_X), (Y, ΣY, Λ_Y) が（よい性質を持つ）測度空間として、可測関数 f:X×Y→R_≧0 が次を満たすときパラメータ付き確率密度関数〈parameterized probability density function〉と呼ぶことにします。

x∈X に対して、 $\int_{y\in Y}f(x, y)\Lambda(dy) = 1$

確率密度核〈probability density kernel〉と呼んだりもしますが、ここではパラメータ付き確率密度関数としておきます。名前が長すぎると思ったら、「PPDF」と略称してください。

f:X×Y→R_≧0 がパラメータ付き確率密度関数のとき、fに対応するマルコフ核を次のように定義します。

$\mbox{For } x \in X, B\in \Sigma Y,\\ \hat{f}(B \mid x) := {\displaystyle \int_{y\in B\subseteq Y}f(y \mid x)\Lambda(dy)}$

$\hat{f}$ が、(X, ΣX)→* (Y, ΣY) というマルコフ核になることはすぐ分かるでしょう。マルコフ核を定義する際に、Y上の測度 Λ = Λ_Y が必要なことに注意。

半圏PPDF

圏の公理から、恒等射の存在と単位律を除いて定義される構造を半圏〈semi-category〉といいます。測度空間とパラメータ付き確率密度関数の全体は半圏になります。その半圏をPPDFとして、以下に定義します。

|PPDF| = Obj(PPDF) = (よい性質を持つ（って、曖昧だけど）測度空間の全体)
ホムセット： PPDF((X, ΣX, Λ_X), (Y, ΣY, Λ_Y)) := (パラメータ付き確率密度関数 f:X×Y→R_≧0 の全体)

X = (X, ΣX, Λ_X), Y = (Y, ΣY, Λ_Y) と記号の乱用をして、f∈PPDF(X, Y) であることを f:X→Y in PPDF と書きます。f:X→Y, g:Y→Z in PPDF に対して、結合は次のように定義します（ $\bullet$ が結合の反図式順記号）。