多変量正規分布 1：アフィン空間 - 檜山正幸のキマイラ飼育記 (はてなBlog)

確率モデルのひとつであるガウス／マルコフ・モデルを理解したいのですが、その前に、多変量〈多次元〉正規分布を理解しないといけないようです。なので、多変量正規分布を調べています。

多変量正規分布を理解するための予備知識を何回かに分けて書くつもりです。今回はアフィン空間の話しかしてないので、この記事単独でアフィン空間に関する記事として読めます。アフィン空間上に載る正規分布の話は（いつか分からないが）次回以降です。

内容：

はじめに
アフィン空間
アフィン写像
アフィン枠とアフィン座標

はじめに

多変量正規分布は、たいていRⁿ上の確率密度関数を使って定義します。「Rⁿを使う」ってことは、基底（あるいは座標）を固定していることになります。基底〈座標〉に依存するのが、なんかイヤだなー、って気がします。

多変量正規分布が載る空間は、通常、n次元のベクトル空間ですが、正規分布を平行移動しても正規分布なので、台空間はベクトル空間つうよりアフィン空間でしょう。アフィン空間をベクトル空間で代用しても特に問題はないですが、原点を固定して扱うのが若干気持ち悪い。

上記ニ点の「イヤだなー」「気持ち悪い」を解消するために、アフィン空間上で、基底〈座標〉によらないスタイルで多変量正規分布を定義したいと思います。以下、多変量のケースを扱うので、単に「正規分布」と言ってもそれは多変量正規分布を意味します。1変量〈1次元〉のときはその旨断ります。

目的は概念をハッキリさせることなので、「できるだけ少ない予備知識で」は諦めます。具体的に言えば、測度論の概念は使います。確率・統計的な概念がハッキリしない／モヤッとしている原因の相当な部分が「測度論を避ける」ことに起因してると思うので、ハッキリさせたいなら測度論的な議論は避けられないと思います。

基底〈座標〉を使った具体的な計算はしません。これは、主義主張とは無関係で、僕がそういう計算が苦手だから、という理由だけです。細かい議論が省略されていたら、それも僕がよく分かってないか、横着してるんだ、と思ってください。

アフィン空間

ベクトル空間は、R上の有限次元ベクトル空間だけを考えます。以下、単に「ベクトル空間」と言ったらR上の有限次元ベクトル空間です。

Xを集合、Vをベクトル空間（今したお約束で、R上に有限次元）とします。Xの要素を点、Vの要素をベクトルと呼び、x, y∈X, u, v∈V などの文字を使います。X, V と、写像 α:X×V→X を一緒にした (X, V, α) がアフィン空間〈affine space〉だとは、次の性質を持つことです*1。

αは、VのXへの作用〈action〉になっている*2。つまり：
1. For x∈X, u, v∈V, α(x, u + v) = α(α(x, u), v)
2. For x∈X, α(x, 0) = x
For x, y∈X, α(x, v) = y となる v∈V が一意的に存在する。

α(x, v) を、足し算記号を流用して a + v と書くことにします。Vの足し算と演算子オーバーロード〈多義的使用〉になるので注意してください。オーバーロードされた足し算記号を使うと、上記の二つの等式は次のように書けます。

x + (u + v) = (x + u) + v
x + 0 = x

「α(x, v) = y となるv」は、引き算記号を流用して、v = y - x と書くことにします。オーバーロードされた引き算記号を使うと：

x + (y - x) = y
(y - x) + (z - y) = z - x
x - x = 0

などが成立します。

v∈V に対して、x $\mapsto$ x + v : X→X という写像は、vによる平行移動〈parallel {translation | displacement | moving}〉*3といいます。一方、a∈X を選んで固定すると、v $\mapsto$ (a + v) : V→X という写像が定義され、これは集合の同型〈全単射〉になります。この写像の逆写像は x $\mapsto$ (x - a) : X→V です。

(a + v) - a = v
a + (x - a) = x

オーバーロードされていることに注意さえすれば、足し算記号／引き算記号はうまく働きます。

a∈X を選んで固定すると、XとVを同一視できることが、アフィン空間の代わりにベクトル空間Vだけを考えても差し支えない理由です。が、a（原点）を固定する時点で恣意的な選択が入ります。恣意性を構造に入れたくないなら、ベクトル空間ではなくてアフィン空間を使うことになります。

アフィン空間をAで表すとき、A = (X_A, V_A, α_A) と書きます。例によって記号を乱用して A = (A, V_A, α_A) とも書きます。A = (A, V, α), B = (B, W, β) のような書き方も使います。

アフィン写像

A = (A, V, α), B = (B, W, β) を2つのアフィン空間とします。集合のあいだの写像 f:A→B と線形写像 ℓ:V→W の組 (f, ℓ) で、次を満たすものをアフィン線形写像〈affine linear map〉、または単にアフィン写像〈affine map〉といいます。

For x∈A, v∈V, f(α(x, v)) = β(f(x), ℓ(v))

足し算記号を使ったほうが分かりやすいでしょう。

For x∈A, v∈V, f(x + v) = f(x) + ℓ(v)

f:A→B は点のあいだの写像、ℓ:V→W はベクトルのあいだの写像で、平行移動を（ℓを通して）保存する性質を持ちます。

また記号の乱用で、アフィン写像 (f, ℓ) を、f = (f, ℓ) のように書きます。アフィン写像全体と点の写像をどちらもfで表します。ℓはアフィン写像fの一部なので、f = (f, ℓ_f) とも書きます。

f = (f, ℓ_f) :A→B, g = (g, ℓ_g) :B→C が2つのアフィン写像のとき、結合〈合成〉 f;g = (f;g, ℓ_f;ℓ_g) :A→ C も再びアフィン写像になります。また、id_A = (id_A, id_V_A) :A→A もアフィン写像です。

これらのことを一言でいえば、アフィン空間の全体と、それらのあいだのアフィン写像の全体は圏をなします。この圏をAffと置けば：

圏の対象： |Aff| = Obj(Aff) := (すべてのアフィン空間のクラス)
圏のホムセット： For A, B∈|Aff|, Aff(A, B) = (AからBへのアフィン写像の全体である集合)

アフィン枠とアフィン座標

Vがn次元ベクトル空間であるとき、Vの基底に順番を付けたリスト (v₁, ..., v_n) をベクトル空間の枠〈frame of a vector space〉、または線形枠〈linear frame〉といいます。A = (A, V, α) がアフィン空間のとき、Aの要素〈点〉aと、Vの線形枠 (v₁, ..., v_n) を一緒にした (a, v₁, ..., v_n) をアフィン線形枠〈affine linear frame〉またはアフィン枠〈affine frame〉といいます。

ベクトル空間の線形枠 v = (v₁, ..., v_n) があると、それに伴う線形同型写像 φ:Rⁿ→V が誘導されます。

φ(ξ₁, ..., ξ_n) := v₁ξ₁ + ... + v_nξ_n

線形枠vと線形同型写像φは1：1に対応するので、あまり区別しないで、写像φのことも線形枠と呼びます。写像としての線形枠 φ:Rⁿ→V の逆写像 φ^-1:V→Rⁿ を、Vの線形座標〈linear {coordinates | coordinate system}〉と呼びます。

アフィン空間Aのアフィン枠 (a, v) に対しても、アフィン写像 f = (f, ℓ_f) が誘導されます。

f:Rⁿ→A, f(ξ₁, ..., ξ_n) := a + v₁ξ₁ + ... + v_nξ_n
ℓ_f:Rⁿ→V, ℓ_f(ξ₁, ..., ξ_n) := v₁ξ₁ + ... + v_nξ_n

アフィン枠 (a, v) とアフィン写像 f = (f, ℓ_f) も1：1に対応するので、アフィン枠から誘導されるアフィン写像もアフィン枠と呼びます。
写像としてのアフィン枠 f:Rⁿ→V, ℓ_f:Rⁿ→V の逆写像（の組） (f^-1, (ℓ_f)^-1) を、Aのアフィン座標〈affine {coordinates | coordinate system}〉と呼びます。

アフィン空間Aのアフィン枠（原点と線形枠）を固定すると、A = (A, V, α) は、Rⁿ上の標準的アフィン構造 Rⁿ = (Rⁿ, Rⁿ, (+)) と同一視できます。ここで、(+):Rⁿ×Rⁿ→Rⁿ は標準的な足し算です。

具体的な計算をしたいときは、アフィン枠を固定して、A = (A, V, α) を Rⁿ = (Rⁿ, Rⁿ, (+)) で表現します。アフィン写像 f:A→B は、Aのアフィン枠 (a, v₁, ..., v_n) とBのアフィン枠 (b, w₁, ..., w_m) により、Rⁿ→R^m の写像を定めます。fの線形パートℓ_fを表現するm行n列の行列と、f(a)∈B を表すm行縦ベクトル〈1列行列〉でfを表示できます。この行列と縦ベクトルは、当然にアフィン枠の取り方に依存して変わります。