ニューラルネット形状を実現する関手としりとりの圏

雑記／備忘

「最急降下法機械学習の圏 // 使えるのか？」で言及した、単一ニューラルネットの形状の圏 SNNS （the category of Single Neural Network Shapes）からパラメータ付き関数の圏 Para(AES) への実現関手〈実装関手〉について説明します。

何はともあれ、しりとりの圏が実用的な例で出てきた事が嬉しい。 $\newcommand{\cat}[1]{\mathcal{#1}}\newcommand{\For}{\mbox{For }}\newcommand{\Iff}{\Leftrightarrow}\newcommand{\In}{\mbox{ in }}$

内容：

概ユークリッド空間の圏
ニューラル関数の圏
関数のパラメータ族とパラメータ付き関数
単一ニューラルネットの形状の圏
形状からの実現関手
おわりに

概ユークリッド空間の圏

概ユークリッド空間〈almost Euclidean space〉については次の記事を参照してください。

多様体の圏上の計算デバイス：表示オペレータ // 概ユークリッド空間と部分写像の圏

概ユークリッド空間のあいだの射は、1回〈階〉連続微分可能写像だと定義*1すると、概ユークリッド空間の圏AESが決まります。

今回使う概ユークリッド空間は、普通のユークリッド空間 Rⁿ と、ユークリッド空間のあいだのアフィン線形写像の空間 AL(Rⁿ, R^m) だけです。アフィン線形写像 f:Rⁿ → R^m は次の形で書けます。

$f(\begin{bmatrix}x_1\\ \vdots\\ x_n\end{bmatrix}) :=\\ \begin{bmatrix} a_{1\,1} &\cdots& a_{1\,n} \\ \vdots &\ddots& \vdots\\ a_{m\,1} &\cdots& a_{m\,n} \end{bmatrix} \begin{bmatrix}x_1\\ \vdots\\ x_n\end{bmatrix} + \begin{bmatrix}b_1\\ \vdots\\ b_m\end{bmatrix}$

この表示から、次の同型があるのは分かります。

AL(Rⁿ, R^m) $\cong$ R^{nm + m}

同型写像をひとつ具体的に与え固定すると概ユークリッド空間になります。ここでは、行列の第1行を左から右に読んでいき、次には第2行という順序で行列成分を列挙します。行列成分の列挙の後に定数項ベクトル成分を並べることで同型を作ることにします。この大域座標を G_{AL(Rⁿ, R^m)}:LA(Rⁿ, R^m) → R^{nm + m} として、記号の乱用で AL(Rⁿ, R^m) = (AL(Rⁿ, R^m), G_{AL(Rⁿ, R^m)}) とします。

概ユークリッド空間の直積はまた概ユークリッド空間になるので、AL(Rⁿ, R^m) × AL(R^k, R^ℓ) も概ユークリッド空間です。

ニューラル関数の圏

σ:R → R in AES に対して σ⁽ⁿ⁾:Rⁿ → Rⁿ は次のように定義します。

$\sigma^{(n)}(\begin{bmatrix}x_1\\ \vdots\\ x_n\end{bmatrix}) := \begin{bmatrix}\sigma(x_1)\\ \vdots\\ \sigma(x_n)\end{bmatrix}$

関数 σ:R → R in AES （活性化関数〈activation function〉と呼ばれる）をひとつ固定して、概ユークリッド空間の圏の部分圏 Neul_σ ⊆ AES を定義します。Neul_σ の射はσ-ニューラル関数〈σ-neural function〉と呼ぶことにして、σ-ニューラル関数の全体を帰納的〈inductive〉に定義しましょう。

アフィン線形写像 f:Rⁿ → R^m in AES はσ-ニューラル関数である。特に、恒等写像 id_Rⁿ:Rⁿ → Rⁿ はニューラル関数である。
n = 1, 2, ... に対して、σ⁽ⁿ⁾:Rⁿ → Rⁿ はσ-ニューラル関数である。
f, g∈Mor(AES) がσ-ニューラル関数で結合可能なとき、それらの結合 f;g もσ-ニューラル関数である。
以上で定義される関数だけがσ-ニューラル関数である。

圏 Neul_σ の対象の集合とホムセットは：

Obj(Neul_σ) = |Neul_σ| = (すべてのユークリッド空間の集合) $\cong$ N
Neul_σ(Rⁿ, R^m) = (Rⁿ → R^m のニューラル関数の集合)

[補足]
ニューラル関数を定義する条件の二番目を次のように変更しても同じ関数クラスを定義します。

アフィン線形写像 f:Rⁿ → R^m, g:R^m → R^ℓ に対して、f;σ⁽ⁿ⁾;g:Rⁿ → R^ℓ はσ-ニューラル関数である。

[/補足]

σをアフィン線形関数（1次関数）に選んでしまうと、σ-ニューラル関数はアフィン線形関数のことになってしまいます。σをうまく選べば、AES(Rⁿ, R^m) の関数を Neul_σ(Rⁿ, R^m) のニューラル関数でより良く近似可能になります。さらに、関数空間 Neul_σ(Rⁿ, R^m) 全体を使うのではなくて、有限個の実数パラメータで表示できる部分空間だけでも十分良い近似が得られると期待されています。

そして、実際に近似を求めるアルゴリズム（のひとつが）が最急降下法機械学習です。

関数のパラメータ族とパラメータ付き関数

集合圏で、F:P → Map(A, B) in Set があると、反カリー化することにより、f = F_∪ :P×A → B in Set が得られます（下付きの'∪'は反カリー化オペレータ記号）。もちろん、f をカリー化すると、もとの F に戻ります。

反カリー化 (-)_∪:Set(P, Map(A, B)) → Set(P×A, B) in Set
カリー化 (-)^∩:Set(P×A, B) → Set(P, Map(A, B)) in Set

集合圏では、F = f^∩ と f = F_∪ は1：1に対応するので、ときに同一視することもあります。Pをパラメータの集合と考えると、F:P → Map(A, B) in Set は関数のパラメータ族〈parameterized family of functions〉です。一方、f:P×A → B in Set は、入力の一部にパラメータ集合を持つ関数〈function with parameters〉です。後者の関数をパラメータ付き関数〈parameterized function〉とも呼びます。

一般的な圏Cでは、関数のパラメータ族に相当する射は F:P → [A, B] in C になります。ここで、[A, B] は指数対象ですが、指数対象が利用できない圏もあります。パラメータ付き関数 f:P $\otimes$ A → B in C ならモノイド積があれば定義できます。後々の都合を考えて、C は対称モノイド圏だとしましょう。

パラメータ付き射 f:P $\otimes$ A → B と g:Q $\otimes$ B → C in C に対して、パラメータ付き射としての結合をして f;;g:(P $\otimes$ Q) $\otimes$ A → C in C を定義できます。（以下に出てくる α_Q,P,A はモノイド圏の結合律子です）。

f;;g := α_Q,P,A;(id_Q $\otimes$ f);g in C

次のような対応があります。（以下に出てくる λ_A はモノイド圏の左単位律子です。）

f:P $\otimes$ A → B in C ⇔ f:A → B in Para(C)
f;;g:(P $\otimes$ Q) $\otimes$ A → C in C ⇔ f;g:A → C in Para(C)
λ_A:1 $\otimes$ A → A in C ⇔ id_A:A → A in Para(C)

すぐ上のような対応で、パラメータ付き射の圏 Para(C) が構成できます。ただし、この素朴な構成だけでは若干問題があります。パラメータ対象の同型による同値関係で商をとらないと、ちゃんとした圏にはなってくれません。商をとってもなお、ホムセットが小さい保証はありません。

でもまー、ここではうるさいこと言わないで、Para(C) は出来た、大丈夫だと思いましょう。

特に、圏 Para(AES) の射 f:A → B は、概ユークリッド空間 P をパラメータ空間とする微分可能写像です。気持ちの上では、f:A → B in Para(AES) を関数のパラメータ族 F:P → C¹(A, B) in Set と思ってもかまいません（C¹(A, B) は、概ユークリッド空間 A から B への1階微分可能写像の集合）。

単一ニューラルネットの形状の圏

単一のニューラルネットの形状を表すデータからなる圏SNNSはしりとりの圏です。

はじめての圏論その第1歩：しりとりの圏

ただし、上記記事で使っているひらがなの集合を自然数の集合 N = {0, 1, 2, ...} に置き換えます。ひらがな文字列は自然数のリストに置き換えます。念の為、圏SNNSの仕様を書いておきます。

Obj(SNNS) = |SNNS| = N
Mor(SNNS) = List_≧1(N) （長さ1以上の自然数のリスト）
dom((n, ..., m)) = n
cod((n, ..., m)) = m
id(n) = (n) （長さ1のリスト）
comp((n, ..., m), (m, ..., ℓ)) = (n, ..., m);(m, ..., ℓ) = (n, ..., m, ..., ℓ) （しりとり結合）

(2, 3, 4, 3) とか (3, 3) とかは、圏SNNSの射です。この2つの射は結合可能で、(2, 3, 4, 3);(3, 3) = (2, 3, 4, 3) となります。

リストの長さとしりとり結合のあいだには次の関係があります。

length(α;β) = length(α) + length(β) - 1

形状からの実現関手

さて、関手 SI_σ:SNNS → Para(AES) を定義しましょう。σ:R → R in AES は選んで固定した活性化関数です。

圏SNNSの射 (n, ..., m) に対する関手 SI_σ の値は、SI_σ((n, ..., m)) と書くべきですが、二重の括弧を省略して SI_σ(n, ..., m) と略記します。

まず、SNNSの対象（自然数） n に対してn次元ユークリッド空間を対応させます。

For n∈|SNNS|, SI_σ(n) := Rⁿ ∈|Para(AES)|

射（自然数のリスト）に対する値ですが、リストの長さが 1, 2, 3 の場合を丁寧に説明します。

リストの長さが 1 の場合

混乱しないように、長さ 1 のリスト (n):n → n in SNNS を id_n と書きます。

SI_σ(id_n) := ({0}×Rⁿ∋ (0, x) $\mapsto$ x ∈Rⁿ) : Rⁿ → Rⁿ in Para(Rⁿ)

要するに、長さ 1 のリストは、パラメータ付き関数の圏の恒等射に対応します。SI_σ を関手にしたいので、そりゃそうなります。

リストの長さが 2 の場合

長さ 2 のリスト (n, m):n → m in SNNS に対する関手の値は：

SI_σ(n, m) := (AL(n, m)×Rⁿ∋ (f, x) $\mapsto$ f(x) ∈R^m) : Rⁿ → R^m in Para(Rⁿ)

SI_σ(n, m) は、評価写像〈evaluation map〉です。パラメータ空間が、概ユークリッド空間としての AL(n, m) で、パラメータ付き関数としてのプロファイルは Rⁿ → R^m です。気持ちの上では、AL(n, m) を AES(Rⁿ, R^m) = C¹(Rⁿ, R^m) へ埋め込む写像だと思ってもかまいません。

次のような解釈ができます。

SI_σ(n, m):Rⁿ → R^m in Para(AES)
SI_σ(n, m):AL(n, m)×Rⁿ → R^m in AES
(SI_σ(n, m))_∪:AL(n, m) → AES(Rⁿ, R^m) in Set
(SI_σ(n, m))_∪:AL(n, m) → Neul_σ(Rⁿ, R^m) in Set （Neul_σ(Rⁿ, R^m) ⊆ AES(Rⁿ, R^m)）

リストの長さが 3 の場合

長さ 3 のリスト (n, k, m):n → m in SNNS に対する関手の値は：

SI_σ(n, k, m) := (AL(n, k)×AL(k, m))×Rⁿ∋ (f, g, x) $\mapsto$ (f;σ^(k);g)(x) ∈R^m) : Rⁿ → R^m in Para(Rⁿ)

今度はパラメータ空間が AL(n, k)×AL(k, m) になります。中間に σ^(k) を挟んで2つのアフィン線形写像を結合して、それを x に適用します。

次のような解釈ができます。

SI_σ(n, k, m):Rⁿ → R^m in Para(AES)
SI_σ(n, k, m):(AL(n, k)×AL(k, m))×Rⁿ → R^m in AES
(SI_σ(n, k, m))_∪:AL(n, k)×AL(k, m) → AES(Rⁿ, R^m) in Set
(SI_σ(n, m))_∪:AL(n, k)×AL(k, m) → Neul_σ(Rⁿ, R^m) in Set （Neul_σ(Rⁿ, R^m) ⊆ AES(Rⁿ, R^m)）

リストの長さが 4 以上の場合

長さ 4 以上のリストに対しても同様で、アフィン線形写像と σ^(k) を互い違いに結合した関数の適用になります。カリー化すれば、アフィン線形写像の空間の直積をニューラル関数の空間に埋め込んでいることになります。

SI_σ が関手であるためには、次の性質が要求されます。

SI_σ((n, ..., m);(m, ..., ℓ)) = SI_σ((n, ..., m));SI_σ((m, ..., ℓ)) in Para(AES)
SI_σ(id_n) = id_{SI_σ(n)} in Para(AES)

これらは、先に注意した“Para(AES) 構成の微妙な問題”がありますが、定義に従って確認できることです。

おわりに

リスト (n, ..., m) が表しているのはニューラルネットの形状に関する仕様で、n が入力層のニューロン数、m が出力層のニューロン数、あいだの自然数は中間層のニューロン数です。

十数年前に、初めて圏論に触れる人のためのオモチャとして考案したしりとりの圏が、理論上・実際上の意味を持つ圏として再登場して、なかなかに感慨深いものがあります。これからは、「しりとりの圏は単なるオモチャじゃなくて、応用もある実用的な圏なんだぞ」と言えますね(笑)。

*1:1回だけ微分可能としたことに特段の意味はありません。必要に応じた微分可能性を選んでください。

2021-03-01

最急降下法機械学習の圏

雑記／備忘

フォング／スピヴァック／トゥイーラス*1の次の論文が面白そうなので話題にします。 $\newcommand{\cat}[1]{\mathcal{#1}}\newcommand{\For}{\mbox{For }}\newcommand{\Iff}{\Leftrightarrow}\newcommand{\In}{\mbox{ in }}\newcommand{\CAT}{\bf CAT}\newcommand{\CCAT}{2\mbox{-}\mathbb{CAT}}$

Title: Backprop as Functor: A compositional perspective on supervised learning
Authors: Brendan Fong, David I. Spivak, Rémy Tuyéras
Submitted: 28 Nov 2017 (v1), May 2019 (v3)
Pages: 13p + 4p(appendix)
URL: https://arxiv.org/abs/1711.10455

この論文のサマリーを提供する気はなくて、読むときに注意すべき事項と、一般化したほうが良さそう／変更したほうが良さそうなところについて述べます。大雑把なハナシしかしないので、個別の論点はまた別な記事にするかも知れません。[追記]関連記事を書きました。関連記事は、目次の下にリストすることにします。[/追記]

内容：

何が書いてないか
ちょっと一般化すれば
ここは分かりにくい
ニューラルネットの形状の圏
使えるのか？

関連記事：

ニューラルネット形状を実現する関手としりとりの圏

何が書いてないか

フォング達の論文を読んでも、テクノロジーとしての最急降下法機械学習の技法はサッパリ分からないです（書いてないから）。具体的詳細はともかくとして、この分野の鳥瞰的景観〈Bird's eye view〉は得られるかも知れません。

確率統計的な議論はまったく出てきません。誤差関数 E が天下りに現れます。誤差関数の定義や合理化に確率統計的な議論が使われますが、それはもう終わっているという前提です。

最急降下法機械学習アルゴリズムを抽象化した概念的実体をGD学習子〈GradientDescent learner〉と呼ぶことにしましょう。フォング達の論文では、GD学習子はLearnと呼ばれる圏の射として実現されます。ただし、Learnの射がすべてGD学習子というわけではありません。とある関手の像となる射がGD学習子です。

GD学習子は、訓練データセットを食わせる〈フィードする〉ことによって学習を実行します。フォング達の論文では、学習の実行については何も書いてありません。単一の学習データ（値のペア）に対するワンステップの更新動作しか問題にしていません。更新動作の繰り返しとしての学習の実行はまだ始まってないという前提です。

前提をまとめると：

確率統計的な議論は終わっている。だから、書いてない。
学習の実行は始まってない。だから、書いてない。

フォング達の論文が語っていることは、ニューラルネットの形状（簡単な仕様）とパラメータ付き関数〈parameterized function〉とGD学習子のあいだのマクロな関係性だけです。

「で、何がうれしいの？」と聞かれると、僕はよく分かりません。ひょっとすると、最急降下法機械学習のライブラリ／フレームワークの設計原理になるかも知れません。が、鳥瞰的景観を眺めたときの爽快感が一番の“うれしさ”のような気がします。

ちょっと一般化すれば

フォング達の論文で中心的役割を演じている圏はParaとLearnです。圏Paraも圏Learnも、対象は集合だとしています。これは分かりやすさのためだと思います。が、最急降下法は微分を使うので、単なる集合の上で最急降下法が定義できるわけではありません。

微分計算ができる空間となると、（可微分構造を備えた）多様体となるでしょう。リーマン計量もあったほうが便利なので、リーマン多様体の圏RieMan*2をベースにするのが良さそうです。

特定の圏 Para、Learn を考えるのではなくて、ベースの圏から新しい圏を作る構成法としての Para, Learn を考えることにしましょう。集合圏Setがベースなら、

${\bf Para} := Para({\bf Set})$
${\bf Learn} := Learn({\bf Set})$

リーマン多様体の圏RieManがベースなら、

$Para({\bf RieMan})$
$Learn({\bf RieMan})$

という圏達を使って理論を展開できます。

Para、Learn の構成を見ると、ベースの圏はそれぞれ対称モノイド圏〈symmetric monoidal category〉、デカルト・モノイド圏〈Cartesian monoidal category〉なら大丈夫*3なので、Para, Learn は次のような“圏の圏”のあいだの関手になるでしょう*4。（ $\CCAT$ は、“圏の圏”の2-圏達からなる3-圏です。）

$Para: {\bf SymMonCAT} \to {\bf SymMonCAT} \In \CCAT$
$Learn: {\bf CartMonCAT} \to {\bf SymMonCAT} \In \CCAT$

ベースの圏をいきなりリーマン多様体の圏にするのは大変だし、とりあえずはその必要もないでしょう。非常に簡単な多様体のクラスとして概ユークリッド空間〈almost Euclidean space〉のクラスがあります。概ユークリッド空間は次の記事で定義しています -- ほとんどユークリッド空間と変わらない多様体です。

多様体の圏上の計算デバイス：表示オペレータ // 概ユークリッド空間と部分写像の圏

概ユークリッド空間のあいだの射は適当な回数（階数）連続微分可能な写像〈r≧1 な C^r-写像〉です*5。概ユークリッド空間の圏をAESとして、

$Para({\bf AES}) \In {\bf SymMonCAT}$
$Learn({\bf AES}) \In {\bf SymMonCAT}$

が、GD学習子を論じるときの適切なセッティングでしょう。

ここは分かりにくい

概ユークリッド空間の圏AESをベースに考えることにして、最急降下法機械学習がやっていることは、想定される“真な関数” $f:X \to Y \In {\bf AES}$ を、与えられた訓練データセットをもとに推測することです。推測で得られた関数 $g:X \to Y\In {\bf AES}$ は $f$ の近似ですが、近似の良さ（あるいは悪さ）を計るときに誤差関数を使います。

この誤差関数の定義は僕は分からなかったです。しかしこれは、はしょっている部分の議論を僕が知らないだけで、僕の無知のせいです。

それでも、誤差関数を作るモトみたいな関数 $e:{\bf R}\times {\bf R} \to {\bf R}$ より、 $e$ を第一変数に関して偏微分した関数 $d:{\bf R}\times {\bf R} \to {\bf R}$ をプライマリにしたほうが分かりやすい気がします。 $d$ は2つの実数値の食い違いを求める関数で、距離と幾分似た感じがします。

先に述べたように、パラメータ付き関数〈parametrized function〉や学習子〈learner〉は集合圏でなくても定義できるので、以下、圏のモノイド積を $\otimes$ 、モノイド単位を 1 で表します。

一般の学習子、つまり Learn(C) （C はデカルト・モノイド圏）の射は、3つ組 (I, U, r) で定義されます。

$(I, U, r):A \to B \In Learn(\cat{C})$ 学習子〈learner〉
$P \In \cat{C}$ パラメータ空間〈parameter space〉
$I:P\otimes A \to B \In \cat{C}$ 実装関数〈implementation {function}?〉
$U:P\otimes A \otimes B \to P \In \cat{C}$ 更新関数〈update {function}?〉
$r:P\otimes A \otimes B \to A \In \cat{C}$ リクエスト関数〈request {funcion}?〉

このなかでリクエスト関数については、フォング達の論文でも、"The request function is perhaps a little mysterious at this stage." と書いてあるように、イマイチ正体不明・意味不明なモノです。誤差関数の作り方も分からない僕には、GD学習子のリクエスト関数の作り方がどこから来たのか想像できません。そもそも、想像じゃダメですけど。

意図や由来の詮索は諦めて天下りの定義を認めるなら、実装関数

$I:P\otimes A \to B \In Para({\bf AES})$

さえあれば、そこから誤差関数の微分〈勾配ベクトル場〉を使ってGD学習子（ $Learn({\bf AES})$ の射）を構成できることが論文の付録で証明されています。

この構成が、関手

$GDL:Para({\bf AES}) \to Learn({\bf AES})\In {\bf SymMonCAT}$

になります。ただし、この関手を完全に決定するには幾つかのオプションを決める必要があります。

フォング達はまた、ニューラルネットの圏NNetも定義してますが、NNetの定義も分かりにくいですね。節を改めて書きます。

ニューラルネットの形状の圏

フォング達の圏NNetは、その対象・射に実体的意味は何もなく、ニューラルネットの形状（ニューロン数や層の数）を記述するだけの構文的対象物です。そうであるなら、もっと簡単な圏を作れそうです。二種類の圏を作ってみました。

SNNS 単一ニューラルネットの形状の圏〈the category of single neural network shapes〉
MNNS 多重ニューラルネットの形状の圏〈the category of multiple neural network shapes〉

圏SNNSは、ほんとにメチャクチャ簡単です。しかし、モノイド積を持ちません。モノイド積を入れた圏がMNNSです。モノイド積を入れたらけっこう複雑になってしまったので、今日はMNNSの話はしません。

圏SNNSを定義しましょう。

集合Xに対して、List(X) は、Xを項目〈要素 | 成分 | エントリー〉とするリストの集合です。リストの長さに制限を付けたいときは、List_≧1(X) のような書き方をします。

圏SNNSの対象の集合はN（自然数の全体）です。射の集合は List_≧1(N) です。つまり、長さ 2 1 以上の自然数のリストが射です。（[追記]「長さ2以上」は間違いでした。[/追記]）

Obj(SNNS) = |SNNS| := N
Mor(SNNS) := List_≧1(N)

射の結合は、リストを繋ぐのですが、単なる連接ではなくてしりとり結合を使います。

はじめての圏論その第1歩：しりとりの圏

恒等射もしりとりの圏と同じです。まさか、しりとりの圏が意味のある例で出てくるとは思わなかった。

リスト (n, ..., m) に対する dom((n, ..., m)) = n がニューラルネットの入力層のニューロン数、cod((n, ..., m)) = m がニューラルネットの出力層のニューロン数、length((n, ..., m)) - 2 が中間層の数を意味します（-1 のときも中間層なしです）。

使えるのか？

圏SNNSの対象と射は、ニューラルネットの形状に関する大雑把な情報（仕様）を提供するだけです。活性化関数 $\sigma:{\bf R} \to {\bf R}$ を決めてやると、次の関手が確定します*6。

$SI_\sigma : {\bf SNNS} \to Para({\bf AES})\In \CAT$

'SI'は、Single neural network の Implementation のつもりです。形状の情報だけから、概ユークリッド空間のあいだのパラメータ付き関数が決定します。さらに、（オプションを具体化した）GDL関手を繋ぐと、学習子の圏 Learn(AES) 内にGD学習子を実現できます。

GDL関手のオプションは、最急降下法のワンステップの“歩幅”を指定する正実数 ε と、実数値の食い違いを計る関数 $d:{\bf R}\times {\bf R}\to {\bf R}$ なので、2つの関手 SI, GDL を合わせてもチューニング要素は3つです。

活性化関数 $\sigma:{\bf R} \to {\bf R}$
正実数 $\varepsilon$
食い違いを計る関数 $d:{\bf R}\times {\bf R}\to {\bf R}$

最初の節で「最急降下法機械学習のライブラリ／フレームワークの設計原理になるかも知れません」と言ったのは、このようなオプションを指定するだけでGD学習子が手に入れば便利だし、全体が compositional にできていれば、色々なモノを色々に組み合わせて試せるのも便利な気がしたからです。僕は実務経験がないので、想像で言ってるだけですけどね。

*1:おそらくフランス語読みだと思いまが、調べても発音が分からなかったので、カタカナ書きはイイカゲンです。

*2:人名としてのリーマンは Riemann で'n'が2個であることに注意。

*3:デカルト・モノイド圏よりもっと条件をゆるくできそうな気がします。

*4:Paraの構成では、サイズ（集まりの大きさ）の問題が生じます。小さい圏、または本質的に小さい圏でないと、局所的に小さい圏を作れないようです。

*5:微分可能性の階数 r は目的と状況に応じて決めます。

*6:どのようにして決定するのかは、出来れば別記事にしたい。[追記]しました。→ ニューラルネット形状を実現する関手としりとりの圏[/追記]

2021-02-27

(-1)乗記号の憂鬱と混乱

雑記／備忘

$f:{\bf R}^2 \to {\bf R}^2$ は、可逆で微分可能な写像〈関数〉だとしましょう。この関数の逆関数の微分は、次の公式で与えられます。

$D(f^{-1}) = (Df)^{-1}\circ f^{-1}$

$Df$ は“fの微分”を与える2×2の行列値関数（ヤコビ行列）です。

この公式を見たある人が、次のように“式変形”してから公式を使おうとしました。

$D(f^{-1}) = (f\circ Df)^{-1}$

そして、「んっ？えっ。あれっ。アッレェーー？？」と混乱していました。

もとの公式の書き方が（間違いではないけど）不親切というか誤解をまねく表現なんですね。右肩に -1 を載せる指数の書き方は、多義的で〈オーバーロードされていて〉意味が取りにくく誤解・混乱の原因になります。

この記事で (-1)乗記号の幾つかの例を出して明確化します。(-1)乗記号に限らず、誤解をまねく困った記法の例は色々あります。言えることは、「なんとなくボンヤリと捉えるのではなくて、文脈に応じてちゃんと解釈しましょう」です。

内容：

(-1)乗記号の用法
逆元
逆写像
逆数関数
逆像
逆関数の微分公式

(-1)乗記号の用法

右肩に指数として -1 を載せる書き方は、次のような意味で使われています。

逆元
逆写像
逆数関数
逆像

他にもあるかも知れませんが、とりあえずこの4つの用法を見ていきましょう。

逆元

逆元〈inverse element〉というと、群を連想する人が多いかも知れませんが、部分写像〈partial map〉でいいのなら、任意のモノイドにおいて逆元を作る対応を考えることができます。

M = (M, *, e) （記号の乱用）をモノイドとして、Mの部分集合 Invtbl(M) （可逆〈invertible〉な要素の全体）を次のように定義します。

Invtbl(M) := {x∈M | x*y = y*x = e となる y∈M が存在する}

e∈Invtbl(M) なので、Invtbl(M) は空ではありません。x∈Invtbl(M) に対して、x*y = y*x = e となる y は一意であることが証明できます。なので、(x $\mapsto$ y) として、次のプロファイルの写像 inv_M が定義できます。

inv_M:Invtbl(M) → M in Set

Par を集合と部分写像〈paritial map〉の圏として、inv_M を部分写像と考えることもできます。

inv_M:M → M in Par

inv_M(x) を簡略に表す記法が x^-1 です。

逆写像

X, Y を集合として、XからYへの写像の全体を Map(X, Y) と書きます。可逆な写像〈invertible map〉の全体を InvtblMap(X, Y) とします。

InvtblMap(X, Y) := {f∈Map(X, Y) | f;g = id_X かつ g;f = id_Y となる g∈Map(Y, X) が存在する}

InvtblMap(X, Y) は空集合になることがあります。例えば、InvtblMap({1, 2}, {1}) は空です。

f∈InvtblMap(X, Y) に対して、f;g = id_X かつ g;f = id_Y となる g∈Map(Y, X) （gがfの逆写像〈inverse map〉）は一意であることが証明できます。なので、(f $\mapsto$ g) として、次のプロファイルの写像 invMap_X,Y が定義できます。

invMap_X,Y:InvtblMap(X, Y) → Map(Y, X) in Set

invMap_X,Y を部分写像と考えることもできます。

invMap_X,Y:Map(X, Y) → Map(Y, X) in Par

invMap_X,Y(f) を簡略に表す記法も f^-1 です。

逆数関数

典型的な逆数関数〈reciprocal function〉は ${\bf R}_{\ne 0}\ni x \mapsto \frac{1}{x} \in {\bf R}$ ですが、少し一般化して、モノイドを余域とする関数 f:X → M （M = (M *, e) はモノイド）があるとき、“fの逆数関数” g を次のように定義します。

For x∈X, g(x) := inv_M(f(x))

inv_M は先に出てきた逆元を対応させる部分写像です。

任意の x∈X に対して g(x) ∈ Invtbl(M) ならば、g = f;inv_M :X → M in Set という普通の写像〈全域決定性写像〉として定義できます。そうでないときでも、部分写像として結合〈合成〉して g = f;inv_M :X → M in Par は定義できます。

f:X → M に対する f;inv_M :X → M （Set または Par の射）を、fの逆数関数〈the reciprocal {function}? of f〉といいます。例えば、https://www.storyofmathematics.com/reciprocal-function（このページ、広告多すぎ）を参照。

fの逆数関数を f^-1 と書くかも知れません。

逆像

f:X → Y in Set として、fによる B⊆Y の逆像〈inverse image〉は次のように定義します。

f^-1(B) := {x∈X | f(x)∈B}

もう既に使ってますが、逆像にも(-1)乗の記号を使います。(B $\mapsto$ f^-1(B)) という対応は、次のプロファイルの写像です。

f^-1:Pow(Y) → Pow(X) in Set

ベキ集合構成を、集合圏SetからSetへの反変自己関手と考えたときの射部分〈morphism part〉が (f $\mapsto$ f^-1) です。

(-1)乗の記号のままだと分かりにくいので、f^-1 の代わりに Pow(f) と書けば：

Pow(f):Pow(Y) → Pow(X) in Set

これが反変自己関手だと言ったのは、次の性質をもつからです。

For X∈|Set|, Pow(X)∈|Set|
For f:X → Y in Set, Pow(f):Pow(Y) → Pow(X) in Set
For f:X → Y, g:Y → Z in Set, Pow(f;g) = Pow(g);Pow(f) :Pow(Z) → Pow(X) in Set
For X∈|Set|, Pow(id_X) = id_Pow(X) :Pow(X) → Pow(X) in Set

ただし、逆像ではなくて順像〈image〉も関手になるので、これらを区別するために次のような書き方をします。

f:X → Y in Set に対して、
逆像による反変ベキ集合関手の値： Pow^*(f):Pow^*(Y) → Pow^*(X) in Set
順像による共変ベキ集合関手の値： Pow_*(f):Pow_*(X) → Pow_*(Y) in Set

逆関数の微分公式

冒頭に挙げた逆関数の微分公式 $D(f^{-1}) = (Df)^{-1}\circ f^{-1}$ をちゃんと解釈してみましょう。

$f:{\bf R}^2 \to {\bf R}^2$ の微分は、 $Df:{\bf R}^2 \to Mat(2, 2)$ という写像になります。ここで、 $Mat(2, 2)$ は、実数成分の2行2列の行列の集合です。2行2列の行列の全体は掛け算でモノイドとなるので、逆元〈逆行列〉を対応させる写像があります*1。

$inv_{Mat(2,2)}:Invtbl(Mat(2, 2)) \to Mat(2, 2)$

$(Df)^{-1}$ の意味は $Df;inv_{Mat(2,2)} = inv_{Mat(2,2)}\circ Df$ のこと、つまり $Df$ の逆数関数（逆関数ではない！）です。それに対して、 $f^{-1}$ は $invMap_{{\bf R}^2, {\bf R}^2}(f)$ のことです。

ですから、逆関数の微分公式を(-1)乗記号を使わずに書くと：

$D(invMap_{{\bf R}^2, {\bf R}^2}(f)) = (inv_{Mat(2,2)}\circ Df) \circ invMap_{{\bf R}^2, {\bf R}^2}(f)$

これは煩雑過ぎますが、でも、言っている意味を解釈すればこんなことになります。

(-1)乗記号のような記法は、簡潔で視認性も良くて便利です。が、ときに人をたぶらかして過ちの沼に誘います。沼にハマらないためには、記号の表層に騙されずに「言っている意味を解釈」する必要があります。

*1:写像達をどんな圏のなかに居るのか？というと、微分する話なら可微分写像の圏でしょう。可微分写像の圏をきちんと定義するのは面倒なので明示していませんが。

2021-02-26

確率的圏における同一視・オーバーロード

雑記／備忘

細かい差異をいちいち区別していると煩雑でやってられないし、かといって、味噌もクソも一緒にしてしまうとグッチャングッチャンで意味不明になるし。良いバランスの妥協点を探すのは難しいですね。

内容：

同一視されがちな概念
マルコフ核と、ジリィ空間への可測写像
分布マルコフ核と、ジリィ空間の要素である確率測度
述語マルコフ核と、述語関数
確率測度と、確率密度関数
おわりに

同一視されがちな概念

確率的圏〈stochastic category〉とは、具体的に構成されたマルコフ圏（マルコフ圏 A First Look -- 圏論的確率論の最良の定式化」参照）のことです。確率的圏の形式的な定義は「統計的反転の圏論的セットアップ 1/2 // 確率的圏と準確率的圏」に書いてあります。確率的圏はマルコフ圏の構造を持ちますが、その対象は可測空間とみなせ、その射はマルコフ核（「マルコフ核：確率計算のモダンな体系」参照）とみなせます。

可測空間Xに対して、Xの上の確率測度の集合に適切な可測構造（シグマ集合代数）を載せた可測空間を（Xの）ジリィ空間〈Giry space〉と呼ぶことにします。ジリィ空間は単なる集合ではなくて可測空間です。もちろん、ジリィ関手（ジリィ・モナドの台関手である自己関手）による値がジリィ空間です。

確率的圏のなかで、同一視すべきか区別すべきか悩む概念が幾つかあります。

マルコフ核と、ジリィ空間への可測写像
分布マルコフ核と、ジリィ空間の要素である確率測度
述語マルコフ核と、述語関数
確率測度と、確率密度関数

これらは、厳密に言えば違う概念ですが、しばしば同一視され、同じ記号・名前で表記されます（記号・名前のオーバーロードという）。どこまで同一視すべきかはケースバイケースですから、この記事では「同一視する／できるメカニズム」を見ていくことにします。

マルコフ核と、ジリィ空間への可測写像

モナドとクライスリ圏の一般的な話をします。(F, μ, η)/C が基礎圏C上のモナドとして、K := Kl((F, μ, η)/C) をそのクライスリ圏とします。

クライスリ圏の射 f:X → Y in K と、対応する基礎圏の射 f:X → F(X) in C はほんとに同じものです。なぜなら、クライスリ圏の定義をするときに、次の等式（による定義）を使うからです。

K(X, Y) := C(X, F(X))

したがって、クライスリ圏の射 f:X → Y in K と基礎圏の射 f:X → F(X) in C は、同一視もなにも、そもそもが同一物。

しかし、圏論では実体が同じならば等しいとは言えません。f:X → Y in K と f:X → F(X) in C は、違う圏に所属する（生息地が異なる）射なのだから違う、とも言えます。異なる圏のホムセットを結び付けているのは随伴によるホムセット同型です。

K(J(X), Y) $\cong$ C(X, T(Y)) in Set

ここで、J:C → K in CAT は、基礎圏をクライスリ圏に埋め込む関手です。対象パートは恒等なので J(X) = X です。T:K → C in CAT は次のように定義される関手です。

T(X) := F(X) for X∈|K|
T(f:X → Y in K) := (f^#:T(X) → T(Y) in C)

f^# はモナドに付随するクライスリ拡張です。

f:X → Y in K と f:X → F(X) in C を別物として扱い、上記のホムセット同型による“行ったり来たり”を明示的に書く、という選択肢もありますが。通常その必要はないでしょう。

確率的圏Dにおいても、Dの射であるマルコフ核 F:X → Y in D と、対応する可測写像 f:X → Giry(Y) in Meas を区別する必要は通常ありません。実体としては同じでもあるし、同じ記号・名前で表していいと思います。

分布マルコフ核と、ジリィ空間の要素である確率測度

D を確率的圏としましょう。D の対象は具体的な可測空間（とみなせるもの）です。特に、単位対象1は単元集合を台とする離散可測空間です。他に二元集合を台とする離散可測空間2があるとします。便宜上、1 = ({0}, Pow({0})), 2 = ({0, 1}, Pow({0, 1})) とします。

マルコフ圏の射で、dom(f) = 1 である射を、ジェイコブス〈Bart Jacobs〉は状態〈state〉、フリッツ〈Tobias Fritz〉は分布〈distribution〉と呼んでいます。ここでは、フリッツにならって分布を使います。「分布＝域が単位対象である射」という意味しかなくて、それ以上でもそれ以下でもありません。この文脈での「分布」に余計な意味を混入させないように注意しましょう。

確率的圏Dの射はマルコフ核（とみなせる）なので、分布を分布マルコフ核〈distribution Markov kernel〉と呼んで紛れないようにします。

さて、分布マルコフ核 S:1 → X in D をジリィ空間への可測写像とみなすと S:1 → Giry(X) in Meas です（前節参照）。S(0) ∈Giry(X) は、ジリィ空間の点〈要素〉なので、X上の確率測度です。逆に、σ∈Giry(X) があると、σをポイントするポインティング写像 (0 $\mapsto$ σ) はマルコフ核とみなせます。

実際には、確率的圏Dを作り出すもとになっているモナドFがTHE・ジリィ・モナドGiryそのものとは限らないので、F(X) ⊆ Giry(X) として、次の同型を考えます。

F(X) $\cong$ D(1, X) in Set （F(X) の可測構造は忘却）

確率測度σのポインティング写像を σ^~:1 → X in D とすると、(-)^~:F(X) → D(1, X) in Set となります。分布マルコフ核 (S:1 → X in D) = (S:1 → F(X) in Meas) の値を ^~S = S(0) ∈F(X) とすると、^~(-):D(1, X) → F(X) in Set となります。

ポインティング写像を作ることと、値を求めることは互いに逆なので：

^~(σ^~) = σ on F(X)
(^~S)^~ = S on D(1, X)

これが、分布マルコフ核と確率測度を同一視するメカニズムです。

述語マルコフ核と、述語関数

確率的圏Dにおける述語〈predicate〉とは、プロファイルが X → 2 in D である射です。述語もマルコフ核なので、そのことを強調して述語マルコフ核〈predicate Markov kernel〉とも呼ぶことにします。

一方で、可測関数 p:X → [0, 1] in Meas も述語（正確にはファジー述語）と呼びます。こちらは述語関数〈predicate function〉と呼ぶことにします。

述語マルコフ核と述語関数もしばしば同一視されます。同一視を実現する可逆写像をハッキリと定義しておきましょう。

(-)^∧:D(X, 2) → Meas(X, [0, 1])
- For Q∈D(X, 2)
- Q^∧(x) := Q({1} | x)
^∧(-):Meas(X, [0, 1]) → D(X, 2)
- For q∈Meas(X, [0, 1])
- ^∧q({1} | x) := q(x)
- ^∧q({0} | x) := 1 - q(x)

(-)^∧ と ^∧(-) は互いに逆なので：

^∧(Q^∧) = Q on D(X, 2)
(^∧q)^∧ = q on Meas(X, [0, 1])

これが、述語マルコフ核と述語関数を同一視するメカニズムです。

確率測度と、確率密度関数

確率測度と確率密度関数は、一般的には同一視できません。確率測度が確率密度関数を持つとは限らないからです。しかし、確率密度関数を持つ確率測度だけを考えるとか、有限離散可測空間だけを考えるとか、制限を付けると1：1対応します。

可測空間Xに、確率測度とは限らない基準となる測度Λ（例えば、ユークリッド空間の標準ルベーグ測度）が載っていて、Λに対して絶対連続な確率測度だけを考えるとしましょう。

τがΛに対して絶対連続な確率測度だとして、そのラドン／ニコディム導関数を τ^・とします。被積分形式の等式として次が成立します。

τ(dx) = τ^・(x)Λ(dx)

逆に、Λ-積分可能な可測関数 t:X → R_≧0 in Meas で、積分値が1のものがあると、次のようにして測度 t・Λ が定義できます。

$\mbox{For }A\in \Sigma X,\,(s\cdot \Lambda)(A) := {\displaystyle \int_{x\in A} t(x)\Lambda(dx)}$

(t $\mapsto$ t・Λ) は、（Λに関する）ラドン／ニコディム微分の逆操作になります（いわば“ラドン／ニコディム積分”）。^・t := t・Λ と定義すると、次が成立します。

^・(τ^・) = τ on (X上のΛ-絶対連続な確率測度)
(^・t)^・ = t on (X上のΛ-積分値が1の可測関数)

確率測度／確率密度関数だけでなく、マルコフ核／確率密度核についても同様な1：1対応を考えましょう。確率密度核〈probability density kernel〉については「マルコフ核と確率密度関数」を参照してください。

F:X → Y in D が、確率的圏Dの射（マルコフ核）として、Y上には測度Λが載っているとします。Fを F:X → Giry(Y) in Meas と考えて、すべての x∈X で F(x) がΛ-絶対連続だとします。このときは、確率密度核 F^・を次のように定義できます。

$\mbox{For }x\in X, y\in Y,\, F^\bullet(x)(y) := (F(x)^\bullet)(y)$

逆に、f:X → Meas(Y, R_≧0) が確率密度核になっているとき、対応するマルコフ核を次のように定義できます。

$\mbox{For }x\in X, B\in \Sigma Y,\, ({}^\bullet f)(x)(B) := ({}^\bullet( f(x)))(B) = {\displaystyle \int_{y \in B}f(x)(y)\Lambda(dy)}$

これらも互いに逆な写像なので：

^・(F^・) = F on (絶対連続なマルコフ核の集合)
(^・f)^・ = f on (確率密度核の集合)

おわりに

今まで述べたような、1：1で対応する概念を同一視するのはかまわないし、区別して扱うのは煩雑過ぎるので同一視は必要だと言ってもいいでしょう。しかし、暗黙になんとなく同一視してしまうのはよろしくありません。同一視するときは、どのようなメカニズムで同一視する／されるのかを確認しましょう。

2021-02-24

統計的反転の圏論的セットアップ 2/?

雑記／備忘

「統計的反転の圏論的セットアップ 1/2」の続きっちゃ続きの話です。が、この話が「2/2」（全2回の2回目）になるかというと、そうはならない（まだ続く）ので、タイトルは「2/?」にしました。全部で何回になるかは不明になりました。

統計的反転を一般的に議論しようとすると、確率測度だけを相手にしていてはダメなような気がします。そこで、確率測度とは限らないより一般的な測度まで考えることにしましょう。ジリィ・モナドは、確率測度を集めて作りますが、任意の測度を集めて作る一般化ジリィ・モナド〈generalized Giry monad〉を定義して、一般化ジリィ・モナドのクライスリ圏として“核の圏”Kernを定義します。

測度に関する色々な性質（後で使う予定）を列挙して、ルベーグ錐〈Lebesgue cone〉を導入します -- 今回・第2回も淡々とセットアップ〈準備〉が続きます。 $\newcommand{\cat}[1]{\mathcal{#1}}\newcommand{\For}{\mbox{For }}\newcommand{\Iff}{\Leftrightarrow}\newcommand{\In}{\mbox{ in }}$

内容：

一般化ジリィ・モナド
核の圏
測度空間の圏
測度に関する色々な性質
ルベーグ空間とルベーグ錐

一般化ジリィ・モナド

非負実数の全体を P := {x∈R| x ≧ 0} とします。無限閉区間は、[0, ∞] := P∪{∞} として、順序や演算は無限大を含めた形に拡張します。Meas は可測空間と可測写像の圏です。

可測空間Xに対して、Ms(X) をX上の測度全体の集合とします。ここで、測度はシグマ集合代数 ΣX から [0, ∞] への写像で測度の性質〈公理〉を満たすものです。Ms(X) を可測空間とするには、A∈ΣX と r∈[0, ∞] に対して、

$\mathscr{M}$ (A, r) := {ω∈Ms(X) | ω(A) ≦ r} ⊆Ms(X)

として定義される集合を可測集合とする最小のシグマ集合集合代数を採用します。

Ms(X) = (Ms(X), Σ(Ms(X))) と記号の乱用をして、Ms:Meas → Meas in CAT という自己共変関手が定義できます。可測写像 f:X → Y in Meas に対する Ms(f):Ms(X) → Ms(Y) in Meas は、測度の前送りで定義します。

自己関手 Ms:Meas → Meas in CAT の定義の仕方は、ジリィ関手（ジリィ・モナドの台関手）のときとまったく同じです。モナド乗法とモナド単位もジリィ・モナドと同じく定義すると、Ms を台関手とするモナドが構成できます。このモナドを一般化ジリィ・モナド〈generalized Giry monad〉と呼び、GGiry = (GGiry, ν, δ)/Meas （記号の乱用）と書くことにします。'/Meas' は圏Meas上のモナドであることを示しています。台関手に関しては、GGiry = Ms です。

モナドのクライスリ圏を Kl(-) と書くことにして、

Stoc := Kl(Giry) = Kl((Giry, ν, δ)/Meas)
Kern := Kl(GGiry) = Kl((GGiry, ν, δ)/Meas)

と置きます。StocはTHE・確率的圏〈the stochastic category〉です。Kernについては次節でまた話題にします。

「統計的反転の圏論的セットアップ 1/2 // 確率的圏と準確率的圏」で述べた方法で、一般化ジリィ型モナド〈generalized Giry-{type | like} monad〉を定義できます。

前回と今回で定義したモナドやクライスリ圏は次のようになり、ちょっと煩雑ですね。

測度	モナド	クライスリ圏	☓☓型モナド
確率測度	ジリィ・モナド	Stoc	ジリィ型モナド
有限測度	準ジリィ・モナド	QStoc	準ジリィ型モナド
任意の測度	一般化ジリィ・モナド	Kern	一般化ジリィ型モナド

「一般化ジリィ型モナド」とか、なんだかぎごちない名前になってしまいました。再整理して、ネーミングをやり直したほうがいいかも知れません。が、今日のところはこのままいきます。

核の圏

一般化ジリィ・モナド GGiry = (GGiry, ν, δ)/Meas のクライスリ圏がKernでした。圏Kernの対象は可測空間です。圏Kernの射を核〈kernel〉と呼ぶことにします。圏Stocの射も「核」と呼ぶことがありますが、それはマルコフ核の「マルコフ」を省略しているわけで、形容詞〈修飾語〉「マルコフ」を省略しないルールにすれば紛れはないです。

核 f:X → Y in Kern はクライスリ射（クライスリ圏の射）なので、一般化ジリィ・モナドの基礎圏〈ground category〉Measで考えれば、f:X → GGiry(Y) in Meas です。GGiry(Y) ⊆ Set(ΣY, [0, ∞]) （忘却関手は省略）なので、f:X → Set(ΣY, [0, ∞]) in Set と考えることができます（Xは可測空間の台集合）。写像fを反カリー化〈uncurrying〉すると、f_∪:X×ΣY → [0, ∞] in Set が得られます。右下のカップ〈∪〉は反カリー化する演算子です。

改めて、反カリー化した核を定義しましょう。写像 F:X×ΣY → [0, ∞] in Set が（反カリー化）核であるとは次の性質を満たすことです。

任意の x∈X に対して、F(x, -):ΣY → [0, ∞] は Y = (Y, ΣY) 上の測度になる。
任意の B∈ΣY に対して、F(-, B):X → [0, ∞] は X = (X, ΣX) 上の[0, ∞]値可測関数になる。

反カリー化した核の定義と、もとの（反カリー化してない）核の定義は同値なことは証明できるので、反カリー化／カリー化で行き来できる2つの“核”はしばしば同一視されます。同一視の結果、次の等式（記号の乱用）を許します。

For x∈X, B∈ΣY, f(x)(B) = f(x, B) = f(B | x)

可測空間Xと台集合Xの区別も、必要なとき以外はやめます。

今述べたような記号の乱用は許すとして、圏Kernの結合は次のように書けます。

$\For f:X \to Y, g:Y \to Z \In {\bf Kern}\\ f;g = g\circ f := \lambda\, (x, C)\in X\times \Sigma Z.(\\ \:\:\:\: {\displaystyle \int_{y\in Y}g(C \mid y) f(dy \mid x)}\\ )$

恒等射は、ディラック測度を割り当てる $X \ni x \mapsto \delta_X(x) \in Ms(X)$ で与えられます。

以上の構成は、「測度は確率測度に限る」という制限を外しているだけで、一連の議論はジリィ・モナドとマルコフ核のときと同様です。制限を外すことにより、可測空間とマルコフ核の圏Stocの代わりに、可測空間と（一般化）核の圏Kernが得られます。Stoc ⊆ Kern です。

測度空間の圏

可測空間Xに測度Λを載せた構造 (X, Λ) を測度空間〈measure space〉と呼びます。測度空間を X と書いたときは、台可測空間を X 、載っている測度を Λ_X と書くことにします。

X = (X, Λ_X)

測度空間の圏を考えたいのですが、射をどうするかに選択肢があります。ここでは、任意の可測写像を射とした測度空間の圏をMSとします。

MS(X, Y) = Meas(X, Y)

この定義から、圏MSから圏Measへの充満忠実な忘却関手 U:MS → Meas in CAT があることになります。

測度を保存する可測写像を射とした場合は、MS^mp と書くことにします。mp は measure preserving の略です。MS^mp ⊆ MS は同じ対象類（測度空間達）を共有します。

測度空間を対象として、核（一般化核）を射とする圏をKernMSとします。測度を保存する核を射とする圏は KernMS^mp です。

測度に関する色々な性質

Xが可測空間のとき Ms(X)∈|Meas| は任意の測度からなる可測空間ですが、測度に次の性質を仮定することがあります。

有限測度
絶対連続測度
有限台離散測度

このなかで絶対連続測度は、基準になる測度がないと定義できません。測度空間を X = (X, Λ_X) と書き、次の記法を使います。

Ms(X, Λ_X) ：任意の測度からなる可測空間。基準となる測度 Λ_X は関係ない。
Ms^F(X, Λ_X) ： 有限測度〈finite measure〉からなる可測空間。ω∈Ms^F(X, Λ_X) ⇔ ω(X) < ∞ （Xは可測空間ではなくて集合の意味）。これも、基準となる測度 Λ_X は関係ない。
Ms^AC(X, Λ_X) ：基準となる測度 Λ_X に対して絶対連続〈absolutely continuous〉な測度からなる可測空間。ω∈Ms^AC(X, Λ_X) ⇔ ω $\ll$ Λ_X 。
Ms^FD(X, Λ_X) ： 有限台離散測度〈finitely-supported discrete measure〉からなる可測空間。有限台離散測度は、一点を台〈support〉とするディラック測度の有限個の和として書ける測度。基準となる測度 Λ_X は関係ない。
Ms^P(X, Λ_X) ：確率測度からなる可測空間。ω∈Ms^P(X, Λ_X) ⇔ ω(X) = 1 。基準となる測度 Λ_X は関係ない。

測度に関する性質を'Ms'の右肩に付けて表します。複数の性質をコンマで並べるとアンドの意味だとします。例えば、Ms^{P, AC}(X, Λ_X) は、Λ_Xに関して絶対連続な確率測度からなる可測空間です。

絶対連続測度と有限台離散測度の和で書ける、という性質を AC+FD と表すことにします。ω∈Ms^AC+FD(X, Λ_X) であるとは、絶対連続測度αと有限台離散測度βがあって、ω = α + β と書けることです。和としての表示の一意性は要求しません。

Λ_X によるラドン／ニコディム微分を RN_{Λ_X} として、a := RN_{Λ_X}(α) とします。a は測度αの密度関数です。βも次の形で表示します。

$\beta = r_1[x_1] + \cdots + r_n[x_n] \mbox{ where }x_i\in \underline{X},\, r_i\in {\bf R}_{\gt 0}$

ωのより具体的な表示は：

$\For A \in \Sigma \underline{X}\\ \omega(A) = {\displaystyle \int_A a(x)\Lambda(dx) + \sum_{A}\beta}$

右辺第二項の総和は次の意味です。

${\displaystyle\sum_{A}\beta = \sum_A(r_1[x_1] + \cdots + r_n[x_n]) = \sum_{x_i \in A} r_i }$

ω∈Ms^{F, AC+FD}(X, Λ_X) のときは、ωの絶対連続部分の密度関数は可積分関数になります。

もうひとつ、UBは一様有界〈uniform bounded〉な測度を意味します。それは次の意味です。

ω∈Ms^UB(X, Λ_X) ⇔ 定数 c∈P があって、A∈ΣX に対して ω(A) ≦ c(Λ_X(A)) が成立する

今まで出てきた略号をまとめておきます。

F ：有限測度
AC ： Λ_X に関する絶対連続測度
FD ：有限台離散測度
P ：確率測度
AC+FD ： Λ_X に関する絶対連続測度と有限台離散測度の和である測度
UB ： Λ_X に関する一様有界測度

ルベーグ空間とルベーグ錐

(X, Λ_X) を測度空間として、Fn(X, Λ_X) := Meas(X, R) とします。これは、実数値可測関数の集合です。必要に応じて、Rベクトル空間の構造も考えます。Fn(X, Λ_X) の定義に、測度 Λ_X は関与してません。

測度 Λ_X に関するASE〈Almost Surely Equal〉関係を～_X と書くことにします。商集合 Fn(X, Λ_X)/～_X を L(X, Λ_X) とします。L(X, Λ_X) にもベクトル空間の構造が入ります。L(X, Λ_X) の定義には測度 Λ_X が関係しています。L(X) = L(X, Λ_X) を、測度空間X上のルベーグ空間〈Lebesgue space〉と呼びます。

何も条件を付けない L(X) は扱いにくいので、p乗可積分な関数（の同値類）からなる部分空間 L^p(X) をpごとに考えるのが普通で、これはp-ルベーグ空間〈p-Lebesgue space〉と呼びましょう。p = ∞ のときの L^∞(X) は（本質的に）有界な関数（の同値類）からなる空間です。測度空間 X = (X, Λ_X) 上のp-ルベーグ空間（p = 1, 2, ..., ∞）はバナッハ空間になります。

X上の非負実数値可測関数の空間を Fn_≧0(X) 、非負実数値可測関数で代表される～_X同値類の集合を L_≧0(X) と書くことにします。同様に、L^p_≧0(X) も定義します。L^p_≧0(X) はベクトル空間にはなりませんが、錐〈cone〉になります。バナッハ空間のノルムを受け継いでノルム錐〈normed cone〉にもなります。バナッハ空間の距離完備性からノルム錐がω完備であることも分かります。

L^p_≧0(X) を、測度空間 X = (X, Λ_X) 上のp-ルベーグ錐〈p-Lebesgue cone〉と呼びます。p-ルベーグ空間はバナッハ空間となり、p-ルベーグ錐はωバナッハ錐となります。

抽象的なバナッハ空間／ωバナッハ錐とは違い、ルベーグ空間／ルベーグ錐の要素は、可測関数による表示（代表元）を持ちます。可測関数の積分値や（本質的）最大値などの値も具体的に計算できます。この事情から、統計的反転の道具としては主にp-ルベーグ錐が使われます。

2021-02-18

チャンネル理論の演算子記号が使いにくい理由

バート・ジェイコブス〈Bart Jacobs〉達のチャンネル理論（「ベイズ確率論、ジェイコブス達の新しい風」参照）では、チャンネルに対する演算に独自の記号を割り当てています。それがどうにも使いにくくて、結局僕は使うのをやめてしまったのですが、「使いにくい理由」は考えてみませんでした。

今日気付いたのですが；記号の形（見た目）に対称性があるのに語順（図式順か反図式順か）の統一性がないのがストレスになっていたようです。

ジェイコブス達がアフィンCD圏〈affine CD-category〉と呼んでいた圏はマルコフ圏（「マルコフ圏 A First Look -- 圏論的確率論の最良の定式化」参照）のことで、チャンネルはマルコフ射（マルコフ圏の射）のことです。よって、チャンネル理論は、ほぼマルコフ圏論です。

具体的に与えられたマルコフ圏、つまり確率的圏（「統計的反転の圏論的セットアップ 1/2 // 確率的圏と準確率的圏」参照）C で考えるとして、1を特定された単元集合、2を特定された二元集合とします。1はマルコフ圏の単位対象兼終対象です。2は二値真偽値の集合と考えましょう。いずれも、可測空間としては離散可測構造を与えます。

チャンネル理論における、射を表す記号の習慣は次のようです。

射の種類	使う記号
一般の射	f, g, c, d など
域が1である射	ω, σ など
余域が2である射	p, q など

チャンネル理論では、域が1である射を状態〈state〉、余域が2である射を述語〈predicate〉と呼びます。

チャンネルの結合〈composition | 合成〉の記号は $\odot$ で、反図式順の中置二項演算子記号として使います。その他に、中置演算子記号 $\gg,\, \ll,\, \models$ も使います -- これらはすべてチャンネルの結合の記号で、 $\odot$ と意味は変わりません。色々な結合記号を用意しているのは、結合される2つの射の種類ごとに使い分けるのです。

2つの射の種類	結合の表し方	結合記号の語順
一般の射と一般の射	$g\odot f$	反図式順
状態と一般の射	$f\gg \omega$	反図式順
一般の射と述語	$f\ll p$	図式順
状態と述語	$\omega \models p$	図式順

本質的には同じ意味の4つの中置演算子記号に、反図式順と図式順が混じっているのはキツイ。図式順派の僕なら次のように決めます、もちろんすべて図式順。

2つの射の種類	結合の表し方
一般の射と一般の射	$f ; g$
状態と一般の射	$\omega \gg f$
一般の射と述語	$f\ll p$
状態と述語	$\omega \models p$

実際にはちょっと日和っていて、ポスト結合前送り〈post-composition pushforward〉、プレ結合引き戻し〈pre-composition pullback〉、スカラー積の記号を使っています。

2つの射の種類	結合の表し方
一般の射と一般の射	$f ; g,\, g\circ f$
状態と一般の射	$f_\ast(\omega)$
一般の射と述語	$f^\ast(p)$
状態と述語	$\langle \omega\mid p\rangle$

この書き方は無難で、どこにも角を立てないかと思います。

ところで、チャンネル理論ではもうひとつ大事な演算があって、それは次のように表します。

2つの射の種類	更新の表し方
状態と述語	$\omega \mid_p$

更新〈update〉と書きましたが、ジェイコブス達はかつて条件付け〈conditioning〉と呼んでいました。「条件〈condition〉」や「条件付き〈conditional〉」の用法がとっ散らかってしまい、わけわからん状態なので「更新」に変更したのでしょう。実際、「条件付き確率〈conditional probability〉」の意味が拡散して困っていたので助かります。

状態による述語の更新は次のように定義されます。 $\newcommand{\cat}[1]{\mathcal{#1}}\newcommand{\For}{\mbox{For }}\newcommand{\Iff}{\Leftrightarrow}\newcommand{\In}{\mbox{ in }}$

$\For \omega:{\bf 1} \to X,\,p:X \to {\bf 2}\In \cat{C}\\ \:\:\:\: \omega |_p := \lambda\, A\in \Sigma X.(\, \frac{1}{\langle \omega\mid p\rangle}\int_{A} p(x)\omega(dx) \,)$

定義に使った記法は無難な書き方を採用しています。 $\Sigma X$ は可測空間のシグマ集合代数です。述語の期待値 ${\langle \omega\mid p\rangle}$ の逆数を使っているので、 ${\langle \omega\mid p\rangle}$ がゼロのときは定義されません。

先に出てきた記号 $\odot,\, \gg,\, \ll,\, \models$ はすべて圏の結合の意味でした。モノイド積の記号 $\otimes$ も使いますが、これはモノイド圏の基本演算です。となると、チャンネル理論に特有な演算は更新だけと言っていいかも知れません。

図式順派の偏見が入った意見かも知れませんが、せっかくシンプルな体系であるチャンネル理論の記号法が、バイダイレクショナルでゴチャゴチャしているのは残念です。少なくとも僕は、あのままで使う気にはなれません。

[追記]
自分で「残念だ」と言っておきながらナンですが、チャンネル理論の記法をちょっと擁護しておきますね。

ポスト結合前送りとプレ結合引き戻しを $f_\gg(\omega),\, f^\ll(p)$ と書いて、上付き／下付きを中置演算子の位置にズラしたと思えば、まーあの記法も納得できます。僕はそれでも、視認性の悪さが気になるのです。

' $\models$ ' を使うのは、論理の妥当〈validity〉記号とのアナロジーがあっていいと思います。僕がこれも使わないのは、やっぱり視認性です。イコールと一緒になったりすると見にくいですね。構文に対する僕の評価基準では、視認性がとても大きいんです。
[/追記]

2021-02-17

ローヴェア流セオリー論と統計モデル

雑記／備忘

次はイバン・パターソンの学位論文です。

Title: The algebra and machine representation of statistical models
Author: Evan Patterson
Submitted: 16 Jun 2020
Pages: 224p
URL: https://arxiv.org/abs/2006.08945

Youtube動画で、上記学位論文の主に3章 "The algebra of statistical theories and models" についてパターソン自身が語っています。

Evan Patterson: The algebra of statistical theories and models

サマリーだけ知りたい方は、48分30秒から5分ほどで総括されています。また、質問時間（53分30秒くらいから）にスピヴァック〈David Spivak〉やフリッツ〈Tobias Fritz〉も登場しています。

パターソンが主題としている"statistical theories"は、普通の意味（国語辞書的意味）の“理論”ではなくて、ローヴェア〈William Lawvere〉の意味の“セオリー”です。「セオリー」はどうにも紛らわしい言葉ですが、最近ますます重要性を増しているように感じるので、ローヴェア流のセオリー論〈theory of theories〉としての“パターソンの統計セオリー論”を紹介します。

内容：

セオリーの理論
統計セオリー論のアンビエント圏
マルコフ指標と統計セオリー
統計モデル
それから

セオリーの理論

「フォングの“因果セオリー”の理論」で、圏論の文脈で現れる"theory"が国語（または英語）辞書的意味ではなくてテクニカル・タームな事があると指摘しました。

“セオリー〈theory〉”の普通ではない使い方は、ローヴェア〈William Lawvere〉に由来します。ローヴェアは鋭い洞察力と豊富なアイディアを持った圏論の大家ですが、人を悩ます奇妙なネーミングをします。[...snip...]
ローヴェアの代数理論（現在は"Lawvere theory"と呼ばれることが多い）は、代数学の理論という意味ではありません。とある条件を満たす圏のことを代数理論と呼ぶのです。僕は、少しでも混乱を避けるために代数セオリー（またはローヴェア・セオリー）とカタカナの「セオリー」を使います。

フォング〈Brendan Fong〉が使っていた言葉「因果セオリー〈causal theory〉」の「セオリー」はローヴェアのセオリーのことだし、「因果」も「原因と結果」という意味はなくて単にグラフの辺（または圏の射）のことでした。因果セオリーの形式的定義は小さな厳密対称厳密マルコフ圏〈small strictly-symmetric strict Markov category〉です。

パターソンの統計セオリーもフォングの因果セオリーと同様で、小さな厳密マルコフ圏です。パターソンは、特定のひとつの射が指定された小さな厳密マルコフ圏を統計セオリー〈statistical theory〉と呼んでますが、生成系〈system of generators〉を備えた小さな厳密マルコフ圏と定義したほうがいいでしょう（後述）。生成系は、マルコフ圏の指標〈signature〉と言っても同じです。

例えば、次は一番単純で一番よく使われる指標です。パターソンは主にこの単純な指標を扱っています。

signature Simple {
  sort P // パラメータ空間
  sort D // データ空間〈標本空間〉
  operation f:P -> D // 確率法則（のパラメータ族）
}

ベイズ確率論でいう事前分布を持った指標は次のようです。

signature SimpleBayesian {
  sort P // パラメータ空間
  sort D // データ空間〈標本空間〉
  operation p:1 -> P // 事前分布
  operation f:P -> D // 確率法則（のパラメータ族）
}

(1)圏の生成系である指標、(2)指標から生成された圏であるセオリー、(3)セオリーからの関手であるモデルが、ローヴェア流セオリー論の三種の基本的構成素です。セオリー論とはいいながら、モデルを扱うモデル論〈model theory | theory of modeles〉も含んでいます。

パターソンは、ローヴェア流セオリー論を圏論的論理〈categorical logic〉として参照していますが、論理のなかでも特にモデル論を圏論的に再定義したものが圏論的セオリー論〈categorical theory of categorical theories〉です。

スピヴァックの関手データモデル（「衝撃的なデータベース理論・関手的データモデル入門」参照）もローヴェア流セオリー論の応用例で、そこでは、指標またはセオリーはスキーマと呼ばれ、モデルはデータインスタンスと呼ばれています。

（必ずしも圏論的ではない）論理では、論理式の集合をセオリーと呼ぶことがあります。これは、無関係ではありませんが、ローヴェア流セオリー論のセオリーとは少し違うので注意してください。

統計セオリー論のアンビエント圏

圏論的に確率統計の議論をするときの基本的なツール／フレームワークはマルコフ圏〈Markov category〉です。マルコフ圏については、「マルコフ圏 A First Look -- 圏論的確率論の最良の定式化」とそこから参照されている記事を参照してください。

また、「マルコフ圏の一族 // 様々な装備圏」で触れた装備〈supply〉概念*1は、もはやアノ界隈では常識のようです。アノ界隈とは、スピヴァック、フォング、フリッツ、そしてパターソンなどが参加している MIT Categories Seminar の周辺のことです。

装備（僕はモダリティと呼んでいた）概念を使えば、マルコフ圏とは余可換コモナド装備付き半デカルト・モノイド圏です。マルコフ圏のあいだのマルコフ関手は、モノイド関手（幾つかの種類がある）であって装備を保存する関手〈supply-preserving functor〉として定義できます。マルコフ自然変換も、装備と整合する*2モノイド自然変換として定義できるでしょう。

マルコフ圏を対象として、マルコフ構造（モノイド構造と余可換コモナド装備）と整合する関手と自然変換を1-射／2-射とする2-圏 MarkovCAT を構成できます。これはマルコフ圏の2-圏〈2-category of Markov Categories〉です。小さな厳密マルコフ圏（“厳密”はモノイド圏としての厳密性）からなる部分2-圏は StrMarkovCat ⊆ MarkovCAT とします。

2-圏 MarkovCAT は、統計セオリー論〈theory of statistical theorys〉を展開する環境となる圏なのでアンビエント圏〈ambient category〉と呼びましょう（実際は2-圏ですけど）。アンビエント圏の重要な性質は、A∈|StrMarkovCat| と C∈|MarkovCAT| に対して、関手圏 [A, C] が作れることです。関手圏は、モノイド構造やマルコフ構造を必ずしも持たなくてもいいので、[A, C]∈|CAT| と考えます（とりあえずは）。すると、[-. -] は次のような二項関手〈双関手〉です。

[-, -]:StrMarkovCat^op×MarkovCat → CAT

このテの二項関手については次の記事で説明しています。

指数関手と構文論・意味論

マルコフ指標と統計セオリー

統計セオリーを生成する指標は統計指標と呼ぶのが良さそうですが、「統計指標」って言葉で全然違った連想・印象を持つ人が多そうなのでマルコフ指標にします。それに、マルコフ指標と呼んだほうがネーミングの一貫性が保てます（次の段落）。

指標は、コンピュータッド〈computad〉とか多グラフ〈polygraph〉とも呼ばれ、圏を生成・定義する手段として用いられます。圏の種別（ドクトリン、メタ指標）ごとに指標の種別も決まります。今は、マルコフ圏という圏の種別を扱っているので、対応する指標はマルコフ指標〈Markov signature〉です。

マルコフ指標Σは、Σ₀, Σ₁, Σ₂ という3つの集合（空であるかも知れない）で構成されます。Σ₀ は圏の対象を表す記号の集合、Σ₁ は圏の射を表す記号の集合、Σ₂ は圏の等式的制約（可換図式と言っても同じ）を表す記号の集合です。

Σ₁ の記号の域・余域としては、Σ₀ の記号の連接が使え、連接は圏のモノイド積に対応します。Σ₂ の記号の域・余域（等式の左辺・右辺）としては、Σ₁ の記号とマルコフ圏の装備に対応する記号を使った項（射を表す複合記号）が使えます。

マルコフ指標Σから、小さい厳密マルコフ圏 Σ^◇ が一意的に生成されます。が、Σ と Σ^◇ をキチンと記述するのは煩雑な組み合わせ的議論があって大変です。詳細は割愛します。

マルコフ指標Σから生成された小さい厳密マルコフ圏 Σ^◇ が統計セオリー、あるいはマルコフ・セオリーです。この意味での統計セオリーは、その部分系（部分圏とは限らない）として生成系Σを持っているし、Σから Σ^◇ は決まってしまいます。したがって、マルコフ指標Σと統計セオリー〈マルコフ・セオリー〉Σ^◇ はしばしば同一視されます。セオリーの理論は指標の理論でもあるわけです。

上記の事情から、セオリー射〈theory morphism〉と指標射〈signature morphism〉、セオリーの圏〈category of theories | theory category〉と指標の圏〈category of signatures | signature category〉もしばしば同一視されます。が、ここでは区別したいので、マルコフ指標の圏をMarkovSign、統計セオリー〈マルコフ・セオリー〉の圏をMarkovTheoとします。MarkovTheo は、MarkovSign（マルコフ・ドクトリン配下の2-コンピュータッドの圏）と StrMarkovCat を両端とする随伴ペアが誘導するモナドのクライスリ圏です。つまり、MarkovTheo の対象はマルコフ指標で、2つのマルコフ指標 Σ, Σ' のあいだのセオリー射は、自由生成関手 (-)^◇ （の自由・忘却-随伴ペア）から得られるモナドのクライスリ射です。

指標とセオリーに関して色々な概念が登場しましたが、これらは指標／セオリーの一般論からのもので、マルコフ指標／マルコフ・セオリー〈統計セオリー〉に特有のものではありません。後で述べるように、プログラム意味論でも使われている道具・枠組みです。

統計モデル

マルコフ指標Σから生成された統計セオリー T := Σ^◇ を固定します。定義により、T は小さな厳密マルコフ圏でした。T は、構文領域（記号の世界）を提供する圏です。構文に意味を付与するには意味領域を提供する圏が必要です。

意味領域が具体的であることを保証するために、確率的圏（昨日の記事「統計的反転の圏論的セットアップ 1/2 // 確率的圏と準確率的圏」参照）Cを選んで固定します。Cが意味領域、あるいは意味論〈semantics〉のターゲット圏〈target category〉です。

統計セオリーTの確率的圏Cにおけるモデル〈model〉とは、マルコフ関手 M:T → C in MarkovCAT です。アンビエント圏MarkovCATの性質から、モデルの全体は関手圏 [T, C]∈|CAT| を構成します。

T-統計モデルの全体 [T, C] が圏の構造を持つことから、モデルが同型であることを圏論的に定義できます。同型に限らず、モデルのあいだの関係を射として明確に表現できます。その具体例は、パターソンの動画や論文で述べられています。

もうひとつのマルコフ指標Σ'と統計セオリー T' := (Σ')^◇ があったとしましょう。セオリー射 ψ:Σ → Σ' in MarkovTheo はマルコフ関手（セオリー射ψのクライスリ拡張） ψ^#:T → T' in StrMarkovCat を誘導します。さらに、ψ^# のプレ結合引き戻し〈pre-composition pullback〉(ψ^#)^*:[T', C] → [T, C] in CAT により、統計モデルの圏のあいだの関手を定義できます。

パターソンは、(ψ^#)^* をモデル移行関手〈model migration functor〉と呼んでいます。スピヴァックのデータ移行関手〈data migration functor〉に合わせた用語法ですね。セオリー射に沿ったモデル移行関手もスキーマ射に沿ったデータ移行関手も同じ概念です。プログラム意味論（のインスティチューション理論）ではリダクト関手〈reduct functor〉、インデックス付き圏の文脈では再インデキシング関手〈reindexing functor〉とも呼ばれます。

モデル移行関手を使えば、異なる統計セオリー上の統計モデルを比較することができます。パターソンは、モデル移行関手の実例も出しています。例えば、線形モデルが一般化線形モデルの特殊例であることは直感的には当たり前そうですが、厳密な記述と証明は出来るでしょうか？パターソンの動画でこの例が語られています。

それから

ローヴェア流セオリー論（ローヴェア流モデル論でもある）のいいところは、構文と意味の関係が圏論的に整理できて事情がクリアになることです。パターソンは、ローヴェアのレシピを統計セオリー／統計モデルに適用したわけです。その結果、統計に関わる構文と意味の関係は実際クリアになりました。

クリアになった景色を眺めると、幾つか気が付くことがあります。

スピヴァックは、データ移行関手に関して、カン拡張を利用したΣ-Δ-Π随伴トリオ（「Σ-Δ-Π随伴、もう一言」参照）を構成しています。統計モデルのモデル移行関手についても同様なΣ-Δ-Π随伴トリオは可能でしょうか？データベースの場合（単なる圏）と比べると統計モデルの場合（マルコフ圏）は事情が複雑なので、あまり期待は出来ない気がします。しかし、部分的にでもΣ-Δ-Π随伴トリオが構成できれば面白そう。

ジェイコブス〈Bart Jacobs〉達は、確率の計算にプログラム意味論の状態変換子／述語変換子の概念を移入しました（「ベイズ確率論、ジェイコブス達の新しい風」参照）。ドールクゥイスト〈Fredrik Dahlqvist〉達は、ベイズ反転の定式化のためにプログラム意味論のω完備性の概念を移入しました（「統計的反転の圏論的セットアップ 1/2」参照）。実は、スピヴァック／パターソンが利用したローヴェア流セオリー論も、プログラム意味論におけるインスティチューション理論〈institution theory〉としてかなり整備されています（「インスティチューション」のブログ内検索）。

どうも、プログラム意味論の各種手法は、確率統計に適用できる可能性が高いようです。いま例に挙げた、状態変換子／述語変換子、領域理論、インスティチューション理論以外にも、適用可能な手法があるかも知れません。それに、確率統計の計算を実際に行うときにコンピュータを使うことからも、確率統計と計算科学の相互浸透は歓迎できることですね。

*1:https://arxiv.org/abs/1908.02633 参照。

*2:「整合する」がどういう条件か僕はよく分かってません。ひょっとすると、特に条件は要らないのかも。

2021-02-16

統計的反転の圏論的セットアップ 1/2

雑記／備忘

ベイズ反転〈Bayesian {inversion | conversion}〉と尤度関数の構成はなんとなく似てますが、その関係がハッキリとは分かりません（僕には）。また、ベイズ反転や尤度関数の利用場面では、実際に観測されたデータを使いますが、観測データは測度なのか述語なのかもハッキリしません。

ベイズ反転も尤度関数の構成も、統計モデル〈確率モデル〉の向きを反転させて、反転した写像を観測データに適用する、という共通構造を持ちます。この共通構造を上手に定式化すれば、ハッキリしなかった点が明確になるかも知れません。試みてみます。

ベイズ反転と尤度関数の構成を総称して統計的反転〈{statistic | statistical} {inversion | conversion}〉と呼んで、統計的反転を議論するための圏論的枠組みをセットアップします。この記事の内容は、ドールクゥイスト達の以下の論文の後半（9ページから14ページ）に書いてあることに基いています。（用語と記法は、ドールクゥイスト達と同一ではありません。）

Title: Bayesian inversion by ω-complete cone duality
Authors: Fredrik Dahlqvist, Vincent Danos, Ilias Garnier, Ohad Kammar
Pages: 15p
URL: https://hal.archives-ouvertes.fr/hal-01429656/document

アイディアを一言でいえば、確率的圏／準確率的圏からωバナッハ錐の圏への幾つかの関手を構成して、それらの関手のあいだの双対構造を定義します。

今日は枠組みのセットアップ〈準備〉だけですが、この枠組みを利用して、ジェイコブス達のチャンネル理論における更新演算を定式化する目論見があります。

と、そんな感じで記事を書き始めたら思いのほか長くなって疲れたので、途中で切って残りは後日にします。タイトルに「1/2」とか入れると、「2/2」がなかなか出ない傾向があるのですが(苦笑)、なるべく早い時期に次のような話題を書くつもり； ωバナッハ錐のω双対性、p-ルベーグ錐のω双対性、ルベーグ錐と測度錐の等張同型、ω双対ペアに関する随伴。 $\newcommand{\cat}[1]{\mathcal{#1}}\newcommand{\For}{\mbox{For }}\newcommand{\Iff}{\Leftrightarrow}\newcommand{\Imp}{\Rightarrow}$

内容：

確率的圏と準確率的圏
標準ボレル空間上のジリィ型モナド
確率空間の2-圏と確率的関連の圏
ωバナッハ錐とωヒルベルト錐
続く

確率的圏と準確率的圏

確率的圏の合意された定義はありませんが、ここでは次のように考えます； 確率的圏〈stochastic category〉とは、ジリィ型モナド（すぐ後で定義します）のクライスリ圏の部分圏であり、マルコフ圏となっているもの。具体的に構成されたマルコフ圏と言ってもいいでしょう。

準確率的圏〈quasi-stochastic category〉は、準ジリィ型モナド（すぐ後で定義します）のクライスリ圏の部分圏であり準マルコフ圏となっているものです。準マルコフ圏については「マルコフ圏の一族」で説明しています。以下に、ジリィ型モナドと準ジリィ型モナドを説明します。

可測空間の圏Measの上で定義されたジリィ・モノイドを (Giry, ν, δ)/Meas とします。Giry:Meas → Meas in CAT はモナドの台関数です。圏Cは、Measへの忘却関手（忠実関手） U:C → Meas in CAT を持つします。C上のモナド (F, μ, η)/C がジリィ型〈Giry-style | Giry-like〉だとは、以下に述べる条件を満たすことです。

まず、自然変換 ι::F＊U ⇒ U＊Giry:C → Meas in CAT （下図、'＊'は関手の図式順結合記号）があり、その成分 ι_X:U(F(X)) → Giry(U(X)) in Meas が包含写像〈inclusion map〉であることです。

$\xymatrix { *{\cat{C}} \ar[r]^{U}\ar[d]_{F} & *{\bf Meas} \ar[d]^{Giry}\\ *{\cat{C}} \ar[r]^{U} \ar@{=>}[ur]^{\iota}& *{\bf Meas} }\\ \mbox{in }{\bf CAT}$

さらに、この ι::F＊U ⇒ U＊Giry が、2つのモナド (F, μ, η)/C と (Giry, ν, δ)/Meas のあいだのモナド準同型射になっているなら、(F, μ, η)/C はジリィ型です。モナド準同型射（モナドのあいだの準同型射）については、以下の記事を参照してください。

ジリィ型モナドを指定するには、単に (F, μ, η)/C だけではなくて、忘却関手 U:C → Meas in CAT と自然変換 ι::F＊U ⇒ U＊Giry:C → Meas in CAT も指定する必要があります。念の為に、モナド準同型射の条件を関手圏 [C, Meas] 内の可換図式として描いておきます。（ストリング図を図式順記法で写し取ったものです。）

$\require{AMScd} \begin{CD} F*F*U @>{\mu*U}>> F*U @>{\iota}>> U*Giry \\ @V{F*\iota}VV @. @| \\ F*U*Giry @>{\iota*Giry}>> U*Giry*Giry @>{U*\nu}>> U*Giy \end{CD}\\ \:\\ \begin{CD} U @>{U*\delta}>> U*Giry\\ @V{\eta*U}VV @| \\ F*U @>{\iota}>> U*Giry \end{CD}\\ \:\\ \mbox{commutative in }[\cat{C}, {\bf Meas}]$

ジリィ・モナドの Giry(X)∈|Meas| for X∈|Meas| は、可測空間X上のすべての確率測度の集合に可測構造を入れたものです。確率測度の代わりに有限測度にしたものを QGiry(X)∈|Meas| for X∈|Meas| とします。ジリィ・モナドと同様な構成法で、QGiry:Meas → Meas in CAT を台関手とするモナド (QGiry, ν, δ)/Meas が作れます（記号 'ν', 'δ' はオーバーロードしてます）。このモナドを準ジリィ・モナド〈quasi-Giry monad〉と呼ぶことにします。準ジリィ・モナドのクライスリ圏はマルコフ圏にはなりませんが、準マルコフ圏になります。

ジリィ・モナドに対するジリィ型モナドの定義と同様にして、準ジリィ・モナドの類似物である準ジリィ型モナド〈quasi-Giry-{style | like} monad〉を定義できます。準ジリィ型モナドのクライスリ圏である準マルコフ圏の部分準マルコフ圏を準確率的圏と呼ぶわけです。

確率的圏／準確率的圏は、それぞれマルコフ圏／準マルコフ圏の具体例ですが、具体的なモナドのクライスリ圏内に埋め込める、という意味で具体的な圏です。

標準ボレル空間上のジリィ型モナド

ジリィ・モナドはもちろん、自明にジリィ型モナドです。ジリィ〈Michèle Giry〉は、THE・ジリィ・モナド以外にジリィ型モナドを定義しています。標準ボレル空間の圏上のジリィ型モナドです。このジリィ型モナドが一番よく使われていると思うので、ここで簡単に触れておきます。

可測空間の圏Measは茫漠としていて扱いやすくありません。Measの部分圏で扱いやすいものに標準ボレル空間（と可測写像）の圏 SBS ⊆ Meas があります。圏SBSについて説明します。

SBSの対象（ポーランド空間から生成された可測空間）を標準ボレル空間〈standard Borel space〉と呼ぶので、圏SBSは標準ボレル空間の圏〈the category of standaard Borel spaces〉です。

標準ボレル空間X上の確率測度の集合は、「Xの可測集合による評価写像がすべて可測写像になるような最小のシグマ代数」により可測空間になります。それだけでなく、ワッサースタイン距離〈Wasserstein metric〉により可分な完備距離空間になります。距離から誘導される位相のボレル集合族は、最初に与えたシグマ代数と一致します。これにより、Measの部分圏SBSに制限したジリィ関手 Giry:SBS → Meas in CAT は、自己関手 Giry:SBS → SBS in CAT になります。Measの部分圏SBSはGiry作用で“閉じている”と言えます。

圏の包含を忘却関手 U:SBS → Meas in CAT と考えて、(Giry, ν, δ)/SBS がジリィ型モナドになるのは明らかでしょう。

SBSに制限した準ジリィ関手 QGiry:SBS → Meas in CAT を自己関手に出来るかどうか僕は知りません。Giry(X)∈|Meas| 上の距離の構成が、確率測度の集合であることを利用している場合が多いので、確率測度ではない測度の集合である QGiry(X)∈|Meas| に一般化するのは難しそうです。「出来ない」とも言い切れませんが（要するに分からない）。

(Giry, ν, δ)/SBS のクライスリ圏やその部分圏では、可測構造だけでなく完備な距離と距離位相が使えるので、具体的で細かい議論が可能になります。

確率空間の2-圏と確率的関連の圏

Cを確率的圏とします。つまり、Cはマルコフ圏であり、その対象は可測空間とみなせ、射はマルコフ核とみなせます。以下、Cの射はマルコフ核と呼びます。

Cはマルコフ圏なので単位対象兼終対象1があります。アンダー圏 ^1/C を PS(C) と書き、Cの確率空間の圏〈category of probability spaces〉と呼びます。実際、PS(C) の対象は、Cの対象Xと、Cの射 p:1 → X in C の組 (X, p) なので、可測空間に確率測度を載せた構造＝確率空間と考えることができます。PS(C) の射は、確率測度を保存するマルコフ核です。

PS(C) のホムセット PS(C)((X, p), (Y, q)) ⊆ C(X, Y) には、p-ASE（p almost surely equal）により同値関係が入ります。この同値関係は、圏の構造と整合するので、圏論的合同〈categorical congruence〉になります。

PS(C) のホムセットごとに定義された同値関係を、可逆な2-射とみなすと、PS(C) は2-圏になります。2-圏であることを強調したいときは、₂PS(C) と書きます。

合同を備えた圏とみなした PS(C) のホムセットを同値関係ASE〈almost surely equal〉で商を取ってできる圏を Relev(C) とします。

Relev(C) := PS(C)/ASE = (^1/C)/ASE

Relev(C) の射（マルコフ核のASE同値類）を確率的関連〈stochastic relevance〉と呼ぶことにします。単に関連ともいいます。なので、Relev(C) は{確率的}?関連の圏〈category of {stochastic}? relevances | {stochastic}? relevance category〉です。Relev(C) の構成は次の記事でも扱っています。

マルコフ圏から付点構成／合同商構成でダガー対称モノイド圏を作る

圏Relev(C)を、ホムセット内の等号〈同一性 | equality〉を2-射として2-圏とみなしたものを ₂Relev(C) と書きましょう。合同による商への標準射影が定義する関手を Q:PS(C) → Relev(C) とすると、この関手は2-圏のあいだの2-関手とみなすことができます； Q:₂PS(C) → ₂Relev(C) in 2-CAT 。

確率空間の圏 PS(C) を2-圏 ₂PS(C) と見る立場はけっこう重要で、対象の同型性だけでなくて、対象の同値性が定義できます。₂PS(C) 内の同値な対象は2-圏的には区別する必要がありません。例えば、ディラック測度が確率測度として載った任意の確率空間は、一点だけの確率空間と同値です。この話題は次の記事で扱っています。

合同を持つ圏と測度空間の圏

商を取って作った圏 Relev(C) を1-圏論的に扱うだけでなく、商を取る前の ₂PS(C) を2-圏論的に扱うことが重要です。

冒頭で紹介したドールクゥイスト達の論文では、Kl(-) をクライスリ圏として C := Kl((Giry, ν, δ)/SBS) と置いた場合の Relev(C) を Krn と名付けています。確率測度を保存するマルコフ核の同値類を再び「核」と呼ぶわけです（ちょっと分かりにくい）。

ωバナッハ錐とωヒルベルト錐

ドールクゥイスト達の論文の特色は、ベイズ反転の定式化に関数解析／領域理論〈domain theory〉的な手法を取り入れたことです。領域理論は、位相や順序を利用するプログラム意味論の一分野です。ジェイコブス達のチャンネル理論でも、プログラム意味論の状態変換子／述語変換子を使っていますが、ドールクゥイスト達は状態変換子／述語変換子をマルコフ作用素〈Markov operator〉と呼んでいます。マルコフ作用素が働く舞台がωバナッハ錐の圏です。マルコフ核から構成されたマルコフ作用素は、ωバナッハ錐の圏の射になります。

以下で、ωバナッハ錐とωヒルベルト錐を定義します。ωバナッハ錐は（実数体上の）バナッハ空間の類似物で、ωヒルベルト錐は（実数体上の）ヒルベルト空間の類似物です。完備性の定義にはコーシー列ではなくてωチェーンが使われます。これが'ω'が付いている理由です。

P = R_≧0 := {x∈R | x ≧ 0} とします。Pには半体〈semifield〉の構造を考えます。半体は、引き算が自由にできない以外は体と同じです。Pは positive〈正〉に由来しますが、positive〈正〉の用法には注意してください。

正しい用法	誤用だがよく使われる
非負	正
非負値	正値
正	真に正

(V, +, 0) が可換モノイドで、非負実数半体Pがスカラー倍として作用しているとき、可換モノイド構造とP-スカラー倍の構造を一緒にして（P上の）半ベクトル空間〈semivector space〉と呼びます。

半ベクトル空間 (V, +, 0, ・) が、さらに次の条件を満たすとき錐体〈cone〉または錐と呼びます。

u, v, w∈V として、u + w = v + w ならば u = v （消約律〈cancellation law〉）
u, v∈V として、u + v = 0 ならば u = v = 0 （厳密非負性〈strictly non-negative〉）

厳密非負性は、u に対する -u は存在しないと言っています。錐は、片方向にしか広がってません。

錐 (V, +, 0, ・) では、u ≦ v :⇔ ∃w∈V.(u + w = v) として順序を定義できます。この順序も一緒に考えることにします。つまり、錐は常に順序集合です。錐が順序集合であることを示すには、消約律と厳密非負性を使います（練習問題）。

錐のノルムは、ベクトル空間のノルムと同様に定義します。ひとつだけ追加する公理は、順序との関係で、次が成立するとします。（以下で、|u| は“uのノルム”。）

u ≦ v in V ならば |u| ≦ |v| in P

錐のノルムは順序と整合します。（順序と整合した）ノルムを持つ錐をノルム錐〈normed cone〉といいます。

ノルムに関して有界な可算増加列（正確には非減少列）*1 (u_i)_i∈N が常に（順序に関する）最小上界〈least upper bound〉を持ち、最小上界のノルムがノルムの最小上界になる（下の等式）とき、ノルム錐はω完備〈ω-complete〉といいます。

|lub_i∈N(u_i)| = lub_i∈N(|u_i|)

ω完備なノルム錐をωバナッハ錐〈ω-Banach cone〉と呼びます。

錐に対して内積を定義できます。これもベクトル空間の場合と同様です。内積を備えた錐を内積錐〈inner product cone〉と呼びます。内積からノルムが誘導されます； |u| := sqrt(u | u) 。したがって、内積錐はノルム錐とみなせます。ノルム錐としてω完備な内積錐をωヒルベルト錐〈ω-Hilbert cone〉と呼びます。

V = (V, +, 0, ・, |-|) と W = (W, +, 0, ・, |-|) （記号の乱用）を2つのωバナッハ錐として、台集合のあいだの写像 f:V → W が、足し算とスカラー倍、ωチェーンの極限（最小上界）を保つときω連続線形写像〈ω-continuous linear map〉と呼びます。すべてのωバナッハ錐とω連続線形写像は、圏 ω-BanC を構成します。これはωバナッハ錐の圏〈category of ω-Banach cones〉です。

同様に、すべてのωヒルベルト錐とω連続線形写像は、圏 ω-HilbC を構成します。これはωヒルベルト錐の圏〈category of ω-Hilbert cones〉です。忘却関手 U:ω-HilbC → ω-BanC in CAT は充満忠実な関手になります。

続く

統計的反転の定式化のためのセットアップはまだ途中です。冒頭にも挙げましたが、次のような話題が残っています。ωバナッハ錐のω双対性、p-ルベーグ錐のω双対性、ルベーグ錐と測度錐の等張同型、ω双対ペアに関する随伴。

*1:列が増加するという仮定はなくてもかまいませんが、実際に使うのはたいてい増加列です。

2021-02-10

なぜ向き付けの基準が決まらないのか？

雑記／備忘

ひとつ前の記事「n次元空間の境界の向き」で、n次元ベクトル空間 $V$ の向きが決まっていても、(n - 1)次元部分ベクトル空間 $W$ の向きは必然的には決まらないし、決める方法〈アルゴリズム〉の優劣も判断できない、という話をしました。

親のベクトル空間の向きから部分ベクトル空間の向きを誘導する手続きには、なんらかの不定性・任意性・恣意性が入り込むようです。では、その恣意性はどのタイミングでどのように入り込むのでしょうか？ちょっと考えてみましょう。 $\newcommand{\For}{\mbox{For }}\newcommand{\Iff}{\Leftrightarrow}\newcommand{\Imp}{\Rightarrow}$

内容：

部分ベクトル空間の向き決めの構造
向き決めの実際

部分ベクトル空間の向き決めの構造

話を一般化するために、部分ベクトル空間が半空間の境界になっているという前提は外します。n次元ベクトル $V$ と、その部分ベクトル空間（次元は何でもいい） $W \subseteq V$ があるとします。便宜上（議論の単純化のため） $V$ は内積ベクトル空間だとします。

$W$ の直交補空間は一意に決まるのでそれを $W^\perp$ とします。次の制約はあります。

$dim(W) + dim(W^\perp) = dim(V)$

正規直交フレームの集合や向きの集合は「n次元空間の境界の向き」で定義したとおりとして、 $ONFrame(V),\, Orien(V)$ などの書き方はそのまま使います。

さて、次の線形同型写像は、 $V, W$ から一意に決まります。

$liso_{V, W}:W\oplus W^\perp \to V$

ここで、liso の 'l' は left の意味で、部分ベクトル空間 $W$ が左（第一の）の直和成分〈direct summand〉として出現していることを示します。 $W$ が右の直和成分となる場合は：

$riso_{V, W}:W^\perp\oplus W \to V$

$liso_{V, W},\, riso_{V, W}$ のどちらも標準的〈canonical〉な同型で、 $W \subseteq V$ だけから任意性なく一意確実に決まる線形写像です。しかし、 $liso_{V, W},\, riso_{V, W}$ のどちらを選ぶかで任意性・恣意性が入り込みます。

今ここでは、 $liso_{V, W}:W\oplus W^\perp \to V$ を後で使用する線形同型写像として恣意的に選びます。

恣意的に選んだ $liso_{V, W}:W\oplus W^\perp \to V$ から、次の可換図式内の写像(1)、写像(2)が（これは一意的に）決まります。

$\require{AMScd} \begin{CD} ONFrame(W)\times ONFrame(W^\perp) @>{\mbox{(1)}}>> ONFrame(V) \\ @V{orien\times orien}VV @VV{orien}V \\ Orien(W)\times Orien(W^\perp) @>{\mbox{(2)}}>> Orien(V) \end{CD}$

写像(1)は次のように記述できます。 $dim(W) = m, l= n - m$ とします。

$(f_1, \cdots, f_m)\in ONFrame(W)$ と $(g_1, \cdots, g_l)\in ONFrame(W^\perp)$ を、ベクトルのリストの形で与えられた2つのフレームとして、リストの連接〈concatenation〉をして $(f_1, \cdots, f_m, g_1, \cdots, g_l)$ を作ることが写像(1)。

写像(2)は、写像(1)を商集合に落として定義されます。

上記の可換図式で表される構造が、部分ベクトル空間 $W$ の向きを決める行為の背後に潜在していると見ていいでしょう。

向き決めの実際

親のベクトル空間 $V$ に向きが決まっているということは、二元集合 $Orien(V)$ のどっちかの要素が特定されていることです。特定されている要素を $d\in Orien(V)$ とします。前節の可換図式の下側を再度書いてみると：

$\begin{CD} Orien(W)\times Orien(W^\perp) @>{\mbox{(2)}}>> Orien(V)\ni d \end{CD}$

ここで、 $Orien(W)\times Orien(W^\perp)$ は四元集合で、 $Orien(V)$ は二元集合です。特定された要素（ $V$ の向き）の逆像 $\mbox{(2)}^{-1}(d)\subseteq Orien(W)\times Orien(W^\perp)$ は二元集合になってしまいます。つまり、一意には決まりません。

$V$ の向きだけでなく、直交補空間 $W^\perp$ の向きも決めてしまえば、 $W$ の向きが一意に決まります。これは、境界部分ベクトル空間の場合の直交補空間に、外向きか内向きかを特定することに対応します。

$dim(W) = 0$ の場合でさえ、直交補空間 $W^\perp = 0^\perp = V$ にもとと同じ向きを入れる筋合いはない、と考えれば恣意性が入ります。

結局、親のベクトル空間 $V$ の向きが決まっても、直交補空間 $W^\perp$ の向きの情報の不定性がある限り、向き決めに恣意性が入り込むことは避けられないことになります。

2021-02-10

n次元空間の境界の向き

雑記／備忘

向き付きn次元多様体の境界である(n - 1)次元多様体に向きを誘導する、って話がありまして、思っていた以上にややこしいです。何が恣意的選択で何が必然的法則なのか？僕は混乱してしまいました。

多様体をベクトル空間にしても向きの議論は同じ（少なくとも局所的には）なので、有限次元ベクトル空間のセッティングで、分かる範囲で整理してみます。 $\newcommand{\For}{\mbox{For }}\newcommand{\Iff}{\Leftrightarrow}\newcommand{\Imp}{\Rightarrow}$

内容：

半空間が指定された有限次元ベクトル空間
基底とフレーム
ベクトル空間の向き
フレームへの置換群の作用
半空間と整合した正規直交フレーム
向きを誘導する方法
アルゴリズムの妥当性
最良のアルゴリズムはあるのか？

半空間が指定された有限次元ベクトル空間

nを1以上の自然数として、 $V$ を実数体上のn次元ベクトル空間とします。有限次元Rベクトル空間には、標準的〈canonical〉な位相が入るので、その位相も考えます。

$W \subset V$ を、(n - 1)次元部分ベクトル空間とします。差集合 $V\setminus W$ は（位相空間として）2つの連結成分を持つので、どちらか一方を選択して固定します。 $H \subset V$ を次のように定義します。

$H := W\cup (\mbox{選ばれた連結成分})$

位相の意味での開核 $\stackrel{\circ}{H}$ は、最初に選ばれた連結成分です。補集合 $H^c$ は、選ばれなかったほうの連結成分です。

以下、三つ組 $(V, W, H)$ は与えられたもの〈given〉として固定します。

言葉を定義しておきましょう。ベクトル $v\in V$ が：

$v\in \stackrel{\circ}{H}$ のとき、内向きベクトルと呼ぶ。
$v\in H^c$ のとき、外向きベクトルと呼ぶ。
$v\in W$ のとき、境界方向ベクトルと呼ぶ。

基底とフレーム

ベクトル空間の基底とフレームは区別します。基底はベクトル空間の部分集合で、線形独立かつ生成的なものです。フレームは、基底の要素に全順序を入れた順序集合です。全順序構造は、「真に小さい」を表す関係 $\lt$ で表すことにします。

$B\subset V$ を基底として、 $F = (B, \lt)$ を集合 $B$ 上に全順序を載せた順序集合、つまりフレームとします。 $\bar{n} := \{1, \cdots, n\}\mbox{ with total order}$ とすると、n要素の全順序集合は $\bar{n}$ と順序同型になります。つまり、全順序を保存した同型写像が一意に存在します。

$\psi : \bar{n} \to B$ 全順序 $\lt$ を保存する同型

この同型写像の余域をベクトル空間 $V$ にまで広げて、さらに線形に拡張すると、線形写像 $f:{\bf R}^{\bar{n}} \to V$ が定義できます。ここで、 ${\bf R}^{\bar{n}} = Map(\bar{n}, {\bf R})$ は写像の空間ですが、 ${\bf R}^{\bar{n}} \cong {\bf R}^n \mbox{ as vecor spaces}$ なので、 ${\bf R}^{\bar{n}}$ を単なる数空間〈標準ユークリッドベクトル空間〉と考えてもかまいません。

以上から、次の三者は1：1に対応します。

$V$ のフレーム $F = (B, \lt)$
集合のあいだの同型 $\psi : \bar{n} \to B$
線形同型写像 $f:{\bf R}^n \to V$

ベクトル空間の向き

n次元ベクトル空間 $V$ のすべてのフレームの集合を $Frame(V)$ とします。 $F = (B, \lt), F' = (B', \lt') \in Frame(V)$ を2つのフレームとすると、次の図式を可換にする写像（疑問符のやつ）として、フレームのあいだの変換 $\tau_{F/F'}$ を定義します。ここで、 $f, f'$ はそれぞれ、 $F, F'\in Frame(V)$ から誘導される線形同型写像です。

$\require{AMScd} \begin{CD} {\bf R}^n @>{f}>> V \\ @V{?}VV @| \\ {\bf R}^n @>{f'}>> V \\ \end{CD}\\ \mbox{commutative}$

もちろん、

$\tau_{F/F'} := f'^{-1}\circ f: {\bf R}^n \to {\bf R}^n$
$f'\circ \tau_{F/F'} = f$

$\tau_{F/ F'}$ は数空間〈標準ユークリッドベクトル空間〉のあいだの線形同型写像なので、行列表示して非ゼロな行列式が得られます。この行列式を $\det(\tau_{F/F'})$ と書くことにします。

$Frame(V)$ 上の同値関係 $\sim$ を次のように定めます。

$F \sim F' :\Iff \det(\tau_{F/F'}) \gt 0$

この同値関係による商集合を、ベクトル空間 $V$ の向き〈orientation〉の集合とします。

$Orien(V) := Frame(V)/\sim$

行列式の性質などから、 $Orien(V)$ が二元集合であることがわかります。

フレームへの置換群の作用

n次置換群〈n次対称群〉は、集合としての（順序は忘れた） $\bar{n}$ の自己同型写像〈automorphism〉の群です。n次置換群を $Perm(n)$ とします。

$Perm(n) := Aut(\bar{n})$

$B \subset V$ を基底とすると、さきほど述べた1：1対応があります。

$\psi:\bar{n} \to B \mbox{ bijection}$
$F = (B, \lt) \mbox{ frame (totally ordered set)}$
$f: {\bf R}^n \to V \mbox{ linear isomorphism}$

置換 $\sigma \in Perm(n) = Aut(\bar{n})$ があると、 $\sigma$ を $\psi$ にプレ結合〈pre-compose〉できます。 $\psi' := \psi\circ \sigma$ とすると、それに応じてフレーム、線形同型写像も変化します。

$\psi' = \psi\circ \sigma :\bar{n} \to B \mbox{ bijection}$
$F' = (B, \lt') \mbox{ frame (totally ordered set)}$
$f': {\bf R}^n \to V \mbox{ linear isomorphism}$

$\psi^\sigma := \psi',\, F^\sigma := F',\, f^\sigma := f'$ と置けば、置換 $\sigma$ は集合 $Bijection(\bar{n}, B),\, Frame(V), LinearIso({\bf R}^n, V)$ のそれぞれに作用します。作用〈action〉を、右肩に置換を書いて示したわけです。

特に、 $Frame(V)$ への作用に注目すると、次の可換図式が存在します。

$\begin{CD} Frame(V)\times Aut(\bar{n}) @>{action}>> Frame(V) \\ @V{orien\times sign}VV @VV{orien}V \\ Orien(V)\times Aut(\bar{2}) @>{action}>> Orien(V) \end{CD}\\ \mbox{commutative}$

ここで、 $orien:Frame(V) \to Orien(V)$ は商集合への標準射影、 $sign:Aut(\bar{n}) \to Aut(\bar{2})$ は、置換の符号〈パリティ〉を、二元群 $Aut(\bar{2}) = \{identity, flip\}$ への写像とみなしたものです。符号1が $identity$ 、符号-1が $flip$ です。

これは次のことを言っています。

フレームへの置換の作用に対して：
- 偶置換は向きを変えない（恒等として作用する）
- 奇置換は向きを変える（入れ替えとして作用する）

半空間と整合した正規直交フレーム

$(V, W, H)$ は、最初の節で述べた、ベクトル空間 $V$ に、（閉じた）半空間 $H$ とその境界である部分ベクトル空間 $W$ が指定された構造です。

$W$ の補空間が欲しいのですが、補空間は一意に決まりません。 $V$ に内積が入っていれば補空間を一意に取れるので、 $V$ は内積ベクトル空間としましょう（内積が必須ではないが、便利だから）。 $W^\perp$ は $W$ の直交補空間とします。 $W^\perp$ の次元は1です。

$V = W^\perp\oplus W \mbox{ where }dim(W^\perp) = 1$

ベクトル空間 $V$ の基底（注意：フレームではない） $B$ が、次の条件を満たすとき半空間（ $H \subset V$ のこと）と整合していると言うことにします。

$B = B' \cup \{b\}$ と書ける。
$B'$ は部分ベクトル空間 $W$ の基底になっている。
$\{b\}$ は部分ベクトル空間 $W^\perp$ の基底になっている。

$V$ に内積があるので、以下、正規直交基底だけを考えることにします。 $B = B'\cup\{b\}$ が半空間と整合する正規直交基底のとき、次の二つのケースがあります。

$b\in W^\perp$ が内向きベクトルのとき
$b\in W^\perp$ が外向きベクトルのとき

半空間と整合した正規直交基底 $B = B'\cup\{b\}$ に対して、全順序を入れたフレーム $F = ( B'\cup\{b\}, \lt)$ を半空間と整合した正規直交フレームと呼びましょう。

向きを誘導する方法

$V$ は内積ベクトル空間と仮定したので、フレームは正規直交フレームだけを考えます -- そのほうが色々と話が簡単になります。 $V$ の正規直交フレームの集合を $ONFrame(V)$ とします。正規直交フレームに、その向きを対応させる写像と、置換群の作用は次のように定義されます。

$orien:ONFrame(V) \to Orien(V)$
$action:ONFrame(V)\times Perm(n) \to ONFrame(V)$

$V$ に向きが決まっているとは、二元集合 $ONFrame(V)$ のどちらかの要素が指定されていることです。「向き＝正規直交フレームの同値類」だったので、正規直交フレームを指定しても向きを指定したことになります。ただし、同じ向きを指定する正規直交フレームはたくさんあります。

$V$ に向きが決まっているとき、半空間の境界である部分空間 $W$ の向きを決める手順を向きを誘導する方法、あるいは短く向き誘導法と呼びます。向き誘導法はアルゴリズムとして記述されるべきものです。

$V$ に向きを指定する正規直交フレームは、向きを変えない範囲で自由に選べるので、次の仮定を置いてもいいでしょう。

$V$ に向きを指定する正規直交フレームは、半空間と整合した正規直交フレームだとする。

$V$ の（必ずしも正規直交とは限らない）任意のフレームから、 $W^\perp \oplus W$ による直交分解とグラム／シュミット法を組み合わせれば、半空間と整合した正規直交フレームを構成できます。

向き誘導アルゴリズムは、“ $V$ の向きを与える半空間と整合した正規直交フレーム”をもとに、“ $W$ の向きを与える $W$ の正規直交フレーム”を出力する手順です。

我々が興味を持つことは、向き誘導アルゴリズムのなかに、標準的と呼べるアルゴリズムがあるかどうか？（もしあるならば）その標準的なアルゴリズムと他のアルゴリズムとの相互関係です。

アルゴリズムの妥当性

前節までで準備は終わりです。この準備のもとに向き誘導アルゴリズムを考えることは出来るのですが、何が標準的なアルゴリズムかはちょっと（僕には）分かりません。とりあえず、アルゴリズムが妥当である（悪くはない）条件を考えます。

$F$ が $V$ の半空間と整合した正規直交フレームだとして、それをベクトルのリストとして表現します。次のようです。

$F = (f_1, \cdots, f_n)$

フレームと基底の違いは：

$F = (f_1, \cdots, f_n) \mbox{ ordered}$
$B = \{f_1, \cdots, f_n\} \mbox{ unordered}$

リストとしてのフレーム $F$ のどこかに $W^\perp$ の要素がひとつだけ出現します。出現位置を $k \mbox{ where } 1\le k \le n$ とします。 $F$ から $f_k$ を取り除いたリストを $G$ とします。例えば、 $k = 2$ ならば、 $g_1 = f_1, g_2 = f_3, g_3 = f_4, \cdots$ となります。

素朴に考えて、与えられた長さnのリスト $F$ から、上記の手順で得られた長さ(n - 1)のリスト $G$ を使って $W$ の向きを定めてはどうでしょうか？

この素朴な発想は、以下に説明する2つの点でウマクないようです。

$F = (f_1, f_2, f_3, f_4)$ だとして、 $k = 4$ の場合を考えてます。このとき、 $G = (f_1, f_2, f_3)$ で、このフレームが向きを定めます。 $F' = (f_2, f_1, f_4, f_3)$ とすると、 $F'$ は遇置換の作用で得られるので、向きの観点からは同値なフレームです。 $f_4$ を取り除いて得られるフレームは $G' = (f_2, f_1, f_3)$ で、 $G = (f_1, f_2, f_3)$ とは逆の向きになってしまいます。これはダメです。

前段落と同じセッティングで、 $F'' = (f_1, f_2, f_3, -f_4)$ とします。 $F''$ は $F$ とは逆の向きを定めます。が、4番目を除いて得られる $W$ のフレームは同じものになってしまいます。ダメですね。

以上のことから次が分かります。

遇置換の作用により影響を受ける（結果の向きが変わる）アルゴリズムはダメである。
フレームに含まれる $W^\perp$ のベクトルが内向きか外向きかにより影響を受ける（結果の向きが変わる）アルゴリズムはダメである。

逆に言えば、ダメじゃないアルゴリズムの条件が得られます。

遇置換の作用により結果の向きが変わらない。奇置換の作用によって結果は逆になる。
フレームに含まれる $W^\perp$ のベクトルが内向きか外向きかにより結果の向きが変わらない。

最良のアルゴリズムはあるのか？

悪くないアルゴリズムの条件はわかったのですが、The best とか The standard なアルゴリズムってあるでしょうか？僕には、The best / The standard を決める基準がサッパリ思い付きません。幾何的あるいは物理的に意味がある基準があるのでしょうか？ひょっとしてあるのかも知れませんが、僕の印象は、悪くないアルゴリズムならどれを採用しても同じじゃん、です。

悪くないアルゴリズムのひとつを提示しておきます。これが、The best / The standard と思っているわけじゃないです。

前節と同様に、与えられた $V$ のフレーム $F = (f_1, \cdots, ..., f_n)$ のk番目に $W^\perp$ の要素が出現しているとします。1 または -1 の値を記録する変数 p, q を準備して、次の手順を実行します。

k が奇数なら p = 1 、偶数なら p = -1 とセットする。
$f_k$ が内向きベクトルなら q = 1 、外向きベクトルなら q = -1 とセットする。
リストとしての $F$ から $f_k$ を取り除いたリストを $G$ とする。
p×q = 1 なら、 $G$ の向きをそのまま採用する。p×q = -1 なら、 $G$ の向きと逆の向きを採用する。

もう一度繰り返すと、悪くないアルゴリズムはあっても、最良のアルゴリズムなんてない気がします。より正確に言えば、悪くないアルゴリズムのなかから最良のアルゴリズムを選ぶ基準がないような気がします。基準があったら教えて下さい。