[확률통계] 1. 조건부 확률과 Bayes 정리

이 글은 이상화 교수님의 KOCW 확률 통계 강의를 들으면서 개인적으로 정리하는 글입니다.

더 자세한 내용과 강의를 듣고 싶으시다면 아래 주소로 들어가세요.

 

http://www.kocw.net/home/cview.do?cid=a2881d53f7ea3252 

확률 및 통계

 

---

Sample Space

S(set), 어떤 랜덤한 사건들이 있을 때, 나타날 수 있는 모든 사건들의 집합.

Event(A)

$A \subset S$

P(A)

prob(outcome \in A), 특정하게 어떤 outcome을 뽑았을 때 집합 A에 속할 확률.

P(B|A)

$\frac{P(B\cap A)}{P(A)}=\frac{P(B\cap A|S)}{P(A|S)}$: 조건부 확률. A가 발생했을 때, B가 일어날 확률.

• Sample Space는 항상 가정되어있고, 그 가정하에 확률들 인 것.
• 조건부 확률에서는 A가 새롭게 Sample Space로 정의됨.
• A라는 가정하의 B가 나올 확률.

Total Probability

• $P(A)=P(A_1 \cap A)+P(A_2 \cap A)+\dots+P(A_n\cap A)$
• 여러 개의 배반(exclusive)사건들이 합쳐진 확률.
• $\{A_1, A_2, \dots, A_n\}: \ Partition \ of \ S$

  

• P(A_1 \cap A) = P(A |A_1)P(A_1)$
• 즉, $P(A) = \sum^n_{i=1} P(A|A_i)P(A_i)$

Bayesian Theorem

• $P(B|A) = \frac{P(B\cap A)}{P(A)} = \frac{P(A|B)P(B)}{P(A)}$
• Partition에 적용해보면...
  • $P(A_i|A): A$라는 어떤 사건이 발생하였는데, 그 전체 사건 내에서 발생한 특별한 사건 $A_i$는 전체 중에서 얼마인가?
  • $P(A_i|A)=\frac{P(A|A_i)P(A_i)}{P(A)}$
  • A는 이미 관측된 데이터. $A_i$는 input에 해당하는, 무엇인지 모르는 데이터

Independent Events

• If A and B are (mutually) independent
  • $P(A|B) = P(A), P(B|A)=P(B)$
  • A사건과 B사건이 서로 영향을 주지 않음.
  • $P(A\cap B)=P(A)P(B)$를 보여주면, A와 B가 독립이라는 것을 증명.
  • ex). 주사위 던지기
• $independent \neq exclusive$
• if A and B are independent, 

Combined Experiments

• for two experiments with $S_1, S_2, \ S=S_1 \ \times \ S_2$
• X는 Cartesian Product, 서로 간의 조합들을 전부 만들어내는 것.
• ex) 3 coins tossing -> 동전을 1번 던지는 실험을 3번 한다고 보는 것.
  • $S_1=\{H,T\}, S_2=\{H,T\}, S_3=\{H,T\} \ => \ S=S_1 \times S_2 \times S_3$