条件付き確率

検定をすることもあるけど、基本的に確率論は苦手です。

個人的な興味で、条件付き確率が関係する課題に取り組んでいたときのこと。
条件付き確率が演算に対応していないとどうしようもないという結論に達した。
さっそくググってみるが見つからなかったので、自分でやってみることにした。

端的に言えば、演算 / を導入して、任意の確率測度 Pに対して
P \left( A \right) P \left( B/A \right) = P \left( A \cap B \right)
を成り立つようにするのが、今回の目的である。

まず有限加法族を拡張しよう。 \sigma加法族じゃないの？と思う人もいるだろうが、冒頭の課題には有限加法族の拡張で十分だからである。

【定義】
空でない集合 \Omega と \mathcal{F} \subseteq \mathcal{P} \left( \Omega \right)なる空でない \mathcal{F} が以下の \left( 1 \right)\left( 2 \right)を満たすとき、 \mathcal{F} は \Omega上の有限条件付加法族であるという。
\left( 1 \right) \Omega \in \mathcal{F}
\left( 2 \right) \mathcal{F} は、演算 c, \cap, \cup, / について閉じている。
ここで、 c は補演算、 \cap は交叉、 \cup は結合で、 / は以下の \left( P1 \right) ～ \left( P6 \right) を満たす \mathcal{F}上の２項演算である。
\begin{equation} \begin{aligned} \begin{array}{ll} \left( P1 \right) & a/ \left( b/a \right)= a \\ \left( P2 \right) & b^{c}/a = \left( b/a \right)^{c} \\ \left( P3 \right) & \left( b \cap c \right) /a = \left( b/a \right) \cap \left( c/a \right) \\ \left( P4 \right) & \left( \bigcup_{i=1}^{n} b_{i} \right) / a = \bigcup_{i=1}^{n} \left( b_{i} / a \right) \qquad \left( n \in \mathbb{N} \right) \\ \left( P5 \right) & a \cap b \neq \varnothing \quad \Rightarrow \quad c/ \left( a \cap b \right) = \left( c/a \right) / \left( b/a \right) \\ \left( P6 \right) & \bigcup_{i=1}^{n} a_{i} \neq \varnothing \quad \Rightarrow \quad b / \left( \bigcup_{i=1}^{n} a_{i} \right) = \bigcup_{j=1}^{n} \left( \left( b/a_{j} \right) \cap \left( a_{j} / \left( \bigcup_{i=1}^{n} a_{i} \right) \right) \right) \qquad \left( n \in \mathbb{N} \right) \end{array} \end{aligned} \end{equation}

新たな演算 /について、性質をしらべておく。
以下では、 a, b \in \mathcal{F}とする。
また、イコールの上の文字は変形に使用した公理ないし定理を表している。

【 Th1】 \begin{equation} \begin{aligned} \varnothing / a = \varnothing \end{aligned} \end{equation}
証明：
\begin{equation} \begin{aligned} \varnothing / a = \left( b \cap b^{c} \right) /a \overset{\text{P3}}{=} \left( b/a \right) \cap \left( b^{c} /a \right) \overset{\text{P2}}{=} \left( b/a \right) \cap \left( b/a \right)^{c} = \varnothing \end{aligned} \end{equation}

【 Th2】 \begin{equation} \begin{aligned} \Omega / a = \Omega \end{aligned} \end{equation}
証明：
\begin{equation} \begin{aligned} \Omega / a = \varnothing ^{c}/a \overset{\text{P2}}{=} \left( \varnothing /a \right)^{c} \overset{\text{Th1}}{=} \varnothing ^{c} = \Omega \end{aligned} \end{equation}

【 Th3】 \begin{equation} \begin{aligned} a/ \varnothing = a \end{aligned} \end{equation}
証明：
\begin{equation} \begin{aligned} a/ \varnothing \overset{\text{Th1}}{=} a/ \left( \varnothing /a \right) \overset{\text{P1}}{=} a \end{aligned} \end{equation}

【 Th4】 \begin{equation} \begin{aligned} a/ \Omega = a \end{aligned} \end{equation}
証明：
\begin{equation} \begin{aligned} a/ \Omega \overset{\text{Th2}}{=} a/ \left( \Omega /a \right) \overset{\text{P1}}{=} a \end{aligned} \end{equation}

【 Th5】 \begin{equation} \begin{aligned} a/ a^{c} = \Omega \left( a=\Omega \right); \varnothing \left( a \neq \Omega \right) \end{aligned} \end{equation}
証明：
a= \Omega のとき
\begin{equation} \begin{aligned} a/ a^{c} = \Omega / \Omega ^{c} \end{aligned} \overset{\text{Th2}}{=} \Omega \end{equation}
a \neq \Omega のとき、 a^{c} \neq \varnothing であるから P6で n=1, a_{1}=a^{c},b=aとおけば
\begin{equation} \begin{aligned} a/a^{c} \overset{\text{P6}}{=} \left( a/a^{c} \right) \cap \left( a^{c}/a^{c} \right) \overset{\text{P2}}{=} \left( a/a^{c} \right) \cap \left( a/a^{c} \right)^{c} = \varnothing \end{aligned} \end{equation}

【 Th6】 \begin{equation} \begin{aligned} a/ a = \Omega \left( a \neq \varnothing \right); \varnothing \left( a=\varnothing \right) \end{aligned} \end{equation}
証明：
a\neq \varnothing のとき、 a^{c} \neq \Omegaであるから
\begin{equation} \begin{aligned} a/ a = a^{cc}/a^{cc} \overset{\text{P2}}{=} \left( a^{c}/a^{cc} \right)^{c} \overset{\text{Th5}}{=} \varnothing ^{c} = \Omega \end{aligned} \end{equation}
a= \varnothing のとき
\begin{equation} \begin{aligned} a/ a = \varnothing / \varnothing \overset{\text{Th1}}{=} \varnothing \end{aligned} \end{equation}

【 Th7】 \begin{equation} \begin{aligned} \left( b/ a \right) /a = b/a\end{aligned} \end{equation}
証明：
\begin{equation} \begin{aligned} \left( b/ a \right) /a \overset{\text{P1}}{=} \left( b/ a \right) /\left( a/ \left(b/a \right) \right) \overset{\text{P1}}{=} b/ a \end{aligned} \end{equation}

【 Th8】 \begin{equation} \begin{aligned} \left( b/ a \right) /a^{c} = b/a\end{aligned} \end{equation}
証明：
\begin{equation} \begin{aligned} \left( b/ a \right) /a^{c} \overset{\text{P1}}{=} \left( b/ a \right) /\left( a/ \left(b/a \right) \right)^{c} \overset{\text{P2}}{=} \left( b/ a \right) /\left( a^{c}/ \left(b/a \right) \right) \overset{\text{P1}}{=} b/ a \end{aligned} \end{equation}

【 Th9】 \begin{equation} \begin{aligned} b = \left( a \cap \left( b/ a \right) \right) \cup \left( a^{c} \cap \left( b/ a^{c} \right) \right) \end{aligned} \end{equation}
証明：
\begin{equation} \begin{aligned} b \overset{\text{Th4}}{=} b/ \Omega = b/ \left( a \cup a^{c} \right) \end{aligned} \end{equation}
ここで a \cup a^{c} = \Omega \neq \varnothing だから、 P6で n=2, a_{1}=a,a_{2}=a^{c}とおけば
\begin{equation} \begin{aligned} \begin{array}{ll} b/ \left( a \cup a^{c} \right) & \overset{\text{P6}}{=} \left( \left( b/a\right) \cap \left( a/\left( a \cup a^{c} \right) \right)\right) \cup \left( \left( b/a^{c} \right) \cap \left( a^{c}/\left( a \cup a^{c} \right) \right)\right) \\ &= \left( \left( b/a \right) \cap \left( a/ \Omega \right)\right) \cup \left( \left( b/a^{c} \right) \cap \left( a^{c}/ \Omega \right)\right) \\ & \overset{\text{Th4}}{=} \left( \left( b/a \right) \cap a \right) \cup \left( \left( b/a^{c} \right) \cap a^{c} \right) \\ &= \left( a \cap \left( b/ a \right) \right) \cup \left( a^{c} \cap \left( b/ a^{c} \right) \right) \end{array} \end{aligned} \end{equation}

【 Th10】 \begin{equation} \begin{aligned} a \cap \left( b/a \right) = a \cap b \end{aligned} \end{equation}
証明：
\begin{equation} \begin{aligned} \begin{array}{ll} a \cap b &\overset{\text{Th9}}{=} a \cap \left( \left( a \cap \left( b/ a \right) \right) \cup \left( a^{c} \cap \left( b/ a^{c} \right) \right) \right) \\ &= \left( a \cap \left( a \cap \left( b/ a \right) \right) \right) \cup \left( a \cap \left( a^{c} \cap \left( b/ a^{c} \right) \right) \right) \\ &= \left( \left( a \cap a \right) \cap \left( b/ a \right) \right) \cup \left( \left( a \cap a^{c} \right) \cap \left( b/ a^{c} \right) \right) \\ &= \left( a \cap \left( b/ a \right) \right) \cup \left( \varnothing \cap \left( b/ a^{c} \right) \right) \\ &= \left( a \cap \left( b/ a \right) \right) \cup \varnothing \\ &= a \cap \left( b/ a \right) \end{array} \end{aligned} \end{equation}

【 Th11】 \begin{equation} \begin{aligned} \left( b/b^{c} \right) /a = b/b^{c} \end{aligned} \end{equation}
証明：
b= \Omega のとき
\begin{equation} \begin{aligned} \left( b/b^{c} \right) /a \overset{\text{Th5}}{=} \Omega /a \overset{\text{Th2}}{=} \Omega \overset{\text{Th5}}{=} b/b^{c} \end{aligned} \end{equation}
b \neq \Omega のとき
\begin{equation} \begin{aligned} \left( b/b^{c} \right) /a \overset{\text{Th5}}{=} \varnothing /a \overset{\text{Th1}}{=} \varnothing \overset{\text{Th5}}{=} b/b^{c} \end{aligned} \end{equation}

【 Th12】 \begin{equation} \begin{aligned} \left( b/b \right) /a = b/b \end{aligned} \end{equation}
証明：
b \neq \varnothing のとき
\begin{equation} \begin{aligned} \left( b/b \right) /a \overset{\text{Th6}}{=} \Omega /a \overset{\text{Th2}}{=} \Omega \overset{\text{Th6}}{=} b/b \end{aligned} \end{equation}
b=\varnothing のとき
\begin{equation} \begin{aligned} \left( b/b \right) /a \overset{\text{Th6}}{=} \varnothing /a \overset{\text{Th1}}{=} \varnothing \overset{\text{Th6}}{=} b/b \end{aligned} \end{equation}


性質はだいたい分かったので、次へ行こう。
まず必要最低限の定義だけしておく。

【定義】
空でない集合 \Omegaと \Omega上の有限条件付加法族 \mathcal{F} の順序対 \left( \Omega, \mathcal{F} \right) を可測空間という。
可測空間 S = \left( \Omega, \mathcal{F} \right) に対して、関数 P: \mathcal{F} \rightarrow [0,1] が以下の \left( 1 \right),\left( 2 \right)を満たすとき、 Pは S上の確率測度であるという。
\left( 1 \right) \begin{equation} \begin{aligned} P\left( \Omega \right) = 1 \end{aligned} \end{equation}
\left( 2 \right) a_{i} \in \mathcal{F} \left( 1 \le i \le n \right)且つ、 i \neq j \Rightarrow a_{i} \cap a_{j}= \varnothing ならば
\begin{equation} \begin{aligned} P \left( \bigcup_{i=1}^n a_{i} \right) = \Sigma_{i=1}^n P \left( a_{i} \right)\end{aligned} \end{equation}
また、可測空間 S = \left( \Omega, \mathcal{F} \right) 上の確率測度全体の集合を PM\left(S\right)とする。

ここで、後で使う補題を２つ証明しておく。

【補題1】 S = \left( \Omega, \mathcal{F} \right)を可測空間とする。
任意に a \in \mathcal{F}と P \in PM \left( S \right) をとり、 P^{\prime} = \lambda x \in \mathcal{F}. P \left( x/a \right)とおくと、 P^{\prime} \in PM \left( S \right) である。
証明：
\left( 1 \right) P^{\prime} \left( \Omega \right) = P\left( \Omega /a \right) \overset{\text{Th2}}{=} P\left( \Omega \right)=1
\left( 2 \right) a_{i} \in \mathcal{F} \left( 1 \le i \le n \right)且つ、 i \neq j \Rightarrow a_{i} \cap a_{j}= \varnothing とする。
このとき、 i \neq j \Rightarrow \left( a_{i}/a \right) \cap \left(a_{j} /a \right) \overset{\text{P3}}{=} \left( a_{i} \cap a_{j} \right) /a = \varnothing /a \overset{\text{Th1}}{=} \varnothing であるから
P^{\prime} \left( \bigcup_{i=1}^n a_{i} \right) = P \left( \left( \bigcup_{i=1}^n a_{i} \right) /a \right) \overset{\text{P4}}{=} P \left( \bigcup_{i=1}^n \left( a_{i} /a \right) \right) = \Sigma _{i=1}^n P \left( a_{i}/a \right) = \Sigma _{i=1}^n P^{\prime} \left( a_{i} \right)

【補題2】 S = \left( \Omega, \mathcal{F} \right)を可測空間とする。
任意に P_{i} \in PM \left( S \right) \left( 1 \le i \le m \right) と c_{i} \in [0,1] \left( 1 \le i \le m \right) をとる。但し、 \Sigma_{i=1}^m c_{i}=1 とする。
このとき、 P^{\prime} = \lambda x \in \mathcal{F}. \Sigma_{i=1}^m c_{i}P_{i} \left( x \right)とおくと、 P^{\prime} \in PM \left( S \right) である。
証明：
\left( 1 \right) P^{\prime} \left( \Omega \right) = \Sigma_{i=1}^m c_{i} P_{i}\left( \Omega \right) = \Sigma_{i=1}^m c_{i}=1
\left( 2 \right) a_{j} \in \mathcal{F} \left( 1 \le j \le n \right)且つ、 j \neq k \Rightarrow a_{j} \cap a_{k}= \varnothing とする。
\begin{equation} \begin{aligned} \begin{array}{ll} P^{\prime} \left( \bigcup_{j=1}^n a_{j} \right) &= \Sigma_{i=1}^m c_{i} P_{i} \left( \bigcup_{j=1}^n a_{j} \right) \\ &= \Sigma_{i=1}^m c_{i} \Sigma_{j=1}^n P_{i} \left( a_{j} \right) \\ &= \Sigma_{j=1}^n \Sigma_{i=1}^m c_{i} P_{i} \left( a_{j} \right) \\ &= \Sigma_{j=1}^n P^{\prime} \left( a_{j} \right) \end{array} \end{aligned} \end{equation}

これで、演算で条件付き確率を表せるのかといえば、どうも確率測度に関する条件が足りていないようだ。
そこで、通常の条件付き確率でも成り立つ次の ACPを公理として採用する。

【 ACP 】
S = \left( \Omega, \mathcal{F} \right)を可測空間とする。
このとき、任意の a, b \in \mathcal{F}と任意の P, P^{\prime} \in PM \left( S \right) に対して
P \left( a \right) = P^{\prime} \left( a \right) \left( \neq 0\right)且つ P \left( b/a \right) = P^{\prime} \left( b/a \right)ならば、P \left( a \cap b \right) = P^{\prime} \left( a \cap b \right)である。


これで、次の定理が証明できる。
【条件付き確率の定理】
S = \left( \Omega, \mathcal{F} \right)を可測空間とする。
このとき、任意の a, b \in \mathcal{F}および任意の P\in PM \left( S \right) に対して以下が成り立つ。
P \left( a \right) P \left( b/a \right) = P \left( a \cap b \right)
特に、 P \left( a \right) \neq 0 のとき
\begin{equation} \begin{aligned} P \left( b/a \right) = \frac{P \left( a \cap b \right)}{P \left( a \right)} \end{aligned} \end{equation}
である。
証明：
aで場合分けを行う。
\left( 1 \right) a = \varnothing の場合
\begin{equation} \begin{aligned} P \left( a \right) = P \left( \varnothing \right) = 0 \end{aligned} \end{equation}
\begin{equation} \begin{aligned} P \left( a \cap b \right) = P \left( \varnothing \cap b \right) = P \left( \varnothing \right) =0 \end{aligned} \end{equation}
よって成り立つ。
\left( 2 \right) a = \Omega の場合
\begin{equation} \begin{aligned} P \left( a \right) = P \left( \Omega \right) = 1 \end{aligned} \end{equation}
\begin{equation} \begin{aligned} P \left( b/a \right) = P \left( b/\Omega \right) \overset{\text{Th4}}{=} P \left( b \right) \end{aligned} \end{equation}
\begin{equation} \begin{aligned} P \left( a \cap b \right) = P \left( \Omega \cap b \right) = P \left( b \right)\end{aligned} \end{equation}
よって成り立つ。
\left( 3 \right) a \neq \varnothing 且つ a \neq \Omega の場合
さらに P \left(a \right)で場合分けを行う。
\left( 3.1 \right) P \left(a \right)=0 の場合
\begin{equation} \begin{aligned} P \left( a \right) = 0 \end{aligned} \end{equation}
\begin{equation} \begin{aligned} P \left( a \cap b \right) \le P \left( a \right) = 0 \end{aligned} \end{equation}より \begin{equation} \begin{aligned} P \left( a \cap b \right) = 0 \end{aligned} \end{equation}
よって成り立つ。
\left( 3.2 \right) P \left(a \right) \neq 0 の場合
\begin{equation} \begin{aligned} P^{\prime} = \lambda x \in \mathcal{F}. \left( P \left( a \right) P \left( x/a \right) + \left( 1-P \left( a \right) \right) P \left( x/a^{c} \right) \right) \end{aligned} \end{equation} とおくと、補題1,補題2から P^{\prime} \in PM \left( S \right)である。
ここで
\begin{equation} \begin{aligned} \begin{array}{ll} P^{\prime} \left( a \right) &= P \left( a \right) P \left( a/a \right) + \left( 1 - P \left( a \right) \right) P \left( a/a^{c} \right) \\ &\overset{\text{Th5,6}}{=} P \left( a \right) P \left( \Omega \right) + \left( 1 - P \left( a \right) \right) P \left( \varnothing \right) \\ &= P \left( a \right) \end{array} \end{aligned} \end{equation}
\begin{equation} \begin{aligned} \begin{array}{ll} P^{\prime} \left( b/a \right) &= P \left( a \right) P \left( \left( b/a \right)/a \right) + \left( 1 - P \left( a \right) \right) P \left( \left( b/a \right) /a^{c} \right) \\ &\overset{\text{Th7,8}}{=} P \left( a \right) P \left( b/a \right) + \left( 1 - P \left( a \right) \right) P \left(b/a \right) \\ &=P \left( b/a \right) \end{array} \end{aligned} \end{equation}
よって ACPより
\begin{equation} \begin{aligned} \begin{array}{ll} P\left( a \cap b \right) &= P^{\prime} \left( a \cap b \right) \\ &= P \left( a \right) P \left( \left( a \cap b \right)/a \right) + \left( 1 - P \left( a \right) \right) P \left( \left(a \cap b \right) /a^{c} \right) \\ &\overset{\text{P3}}{=} P \left( a \right) P \left( \left( a/a \right) \cap \left( b/a \right) \right) + \left( 1 - P \left( a \right) \right) P \left( \left( a/a^{c} \right) \cap \left( b/a^{c} \right) \right) \\ &\overset{\text{Th5,6}}{=} P \left( a \right) P \left( \Omega \cap \left( b/a \right) \right) + \left( 1 - P \left( a \right) \right) P \left( \varnothing \cap \left( b/a^{c} \right) \right) \\ &= P \left( a \right) P \left( b/a \right) + \left( 1 - P \left( a \right) \right) P \left( \varnothing \right) \\ &= P \left( a \right) P \left( b/a \right) \end{array} \end{aligned} \end{equation}


とりあえず目的は達成した。

ざっと見直してみたが、 \left( P4 \right) \left( P6 \right)の n を \infty にして
「 P6で n=1, a_{1}=a^{c},b=aとおけば」といったあたりを
「 P6で a_{1}=a^{c}, a_{i}=\varnothing \left( i \ge 2 \right), b=a とおけば」のように置き換えれば
\sigma加法族の拡張も同様にできそうだ。必要ないのでしないけど。

さて従来の条件付き確率との違いは
\left( 1 \right) / は演算である。
\left( 2 \right) P \left( a \right)=0 の場合でも、 b/aが事象である以上 P \left( b/a \right)は値を持つ。（但し、条件付き確率の定理からは値を決定できない。）
\left( 3 \right) ネスティングが可能である。（例： P\left( \left( c/b \right) / a \right) ）
くらいだろうか。

長かった。しかし冒頭の課題を思い出せば、スタート地点にたどり着いただけなんだよな。