機率與統計 par1.B — 機率公理、條件機率與貝氏定理

機率三公理 (Axioms)

$P (A) \geq 0$
$P (S) = 1$
若 $A_{1}, \dots, A_{n}$ 互斥，則 $P (⋃_{i = 1}^{n} A_{i}) = \sum_{i = 1}^{n} P (A_{i})$

事件機率 = 各 outcome 機率和：事件 $E = {O_{1}, O_{2}, \dots, O_{n}}$ ，由於 $O_{1} \sim O_{n}$ 互斥， $P (E) = \sum_{i = 1}^{n} P ({O_{i}})$

從公理推導的性質

空集合機率 $P (\emptyset) = 0$ ：因 $S \cup \emptyset = S$ ， $P (S \cup \emptyset) = P (S) + P (\emptyset) ⟹ P (S) = P (S) + P (\emptyset) ⟹ P (\emptyset) = 0$

差集分解：因 $A = (A - B) \cup (A \cap B)$ 且兩者互斥， $P (A) = P (A - B) + P (A \cap B)$

加法律： $P (A \cup B) = P (A) + P (B) - P (A \cap B)$ 例（52 張抽出梅花或黑色 ACE）： $\frac{13}{52} + \frac{2}{52} - \frac{1}{52} = \frac{14}{52}$

切麵包定理：若 $S = {C_{1}, \dots, C_{n}}$ 且 $C_{1} \sim C_{n}$ 互斥，則對任意事件 $A$ ， $P (A) = \sum_{i = 1}^{n} P (A \cap C_{i})$

機率不等式

單調性：若 $A \subset B$ ，則 $P (A) \leq P (B)$
Boole’s Inequality (union bound)： $P (⋃_{i = 1}^{n} A_{i}) \leq \sum_{i = 1}^{n} P (A_{i})$
Bonferroni’s Inequality： $P (⋂_{i = 1}^{n} A_{i}) \geq 1 - \sum_{i = 1}^{n} P (A_{i}^{c})$

條件機率 (Conditional Probability)

機率反映我們對事物的了解程度；當其他事件發生後，我們會更新對事情的理解 ⇒ 條件機率。

$X$ ：目標事件； $Y$ ：已觀察到發生的事件，寫作 $P (X ∣ Y)$
若 outcome $O_{i}$ 與條件 $Y$ 不相交，則 $P (O_{i} ∣ Y) = 0$
給定 $Y = {O_{1}, \dots, O_{n}}$ ： $P (O_{i} ∣ Y) = \frac{P ( O _{i} )}{P ( O _{1} ) + \dots + P ( O _{n} )} = \frac{P ( O _{i} )}{P ( Y )}$

推導：事件 $X = {O_{1}, O_{2}, Q_{1}, Q_{2}}$ ，條件 $Y = {O_{1}, O_{2}, O_{3}}$ 發生，

P (X ∣ Y) = P (O_{1} ∣ Y) + P (O_{2} ∣ Y) = \frac{P ( O _{1} )}{P ( Y )} + \frac{P ( O _{2} )}{P ( Y )} = \frac{P ({ O _{1} , O _{2} })}{P ( Y )} = \frac{P ( X \cap Y )}{P ( Y )}

得 $P (X ∣ Y) = \frac{P ( X \cap Y )}{P ( Y )}$

條件機率本身也是機率（滿足三公理）：

$P (X ∣ Y) = \frac{P ( X \cap Y )}{P ( Y )} \geq 0$
$P (Y ∣ Y) = \frac{P ( Y \cap Y )}{P ( Y )} = 1$
若 $X = A \cup B$ 且 $A \cap B = \emptyset$ ，則 $P (X ∣ Y) = P (A ∣ Y) + P (B ∣ Y)$

全機率定理 (Total Probability)

$C_{1} \sim C_{n}$ 互斥且 $C_{1} \cup C_{2} \cup \dots \cup C_{n} = S$ ，對任意事件 $A$ ： $P (A) = \sum_{i = 1}^{n} P (A ∣ C_{i}) P (C_{i})$ 推導：切麵包定理 $P (A) = \sum_{i = 1}^{n} P (A \cap C_{i})$ ，又 $P (A ∣ C_{i}) = \frac{P ( A \cap C _{i} )}{P ( C _{i} )} \Rightarrow P (A \cap C_{i}) = P (A ∣ C_{i}) P (C_{i})$ 。

貝氏定理 (Bayes’ Rule)

$C_{1} \sim C_{n}$ 互斥， $S = {C_{1}, \dots, C_{n}}$ ： $P (C_{j} ∣ A) = \frac{P ( C _{j} \cap A )}{P ( A )} = \frac{P ( A ∣ C _{j} ) P ( C _{j} )}{\sum _{i = 1}^{n} P ( A ∣ C _{i} ) P ( C _{i} )}$

知識冒險者

探索

機率與統計 par1.B