베이지안 통계, 우도 함수(Likelihood Function), 확률의 추정

빈도주의 통계와 베이즈 통계

통계의 관점에 따른 확률의 의미

- 빈도주의 통계(Frequentist) : 실험을 시행했을 때, 전체 횟수에 확률값을 곱한 숫자만큼 해당 사건이 발생한다고 보는 관점입니다.

- 베이지안 통계(Bayesian) : 임의의 표본을 하나 선택했을 때, 해당 표본이 해당 사건이라는 주장의 신뢰도를 확률 값으로 보는 관점입니다.

 

베이즈 정리(Bayes' Rule)

베이즈 확률(Bayesian Probability)을 구하는 방법으로, 종속적인 관계에 있는 사건을 기반으로 확률을 계산합니다. A라는 사건이 발생했을 때, 이 정보를 반영(사전 확률)하여 더 정확한 확률을 계산하는 방법입니다.

예시) A= 감기, B= 기침 --> 베이즈 통계에서는 기침을 한 사람이 감기에 걸린 사람일 확률(사후 확률)을 구하게 됩니다.

 

 

우도 함수(Likelihood Function)

샘플의 확률 분포를 잘 묘사하는 모델의 매개변수(모수)를 찾기 위해 사용합니다. 확률 분포를 더 잘 묘사할수록 우도 함수의 값이 더 큽니다. 또한, 모든 샘플에 대한 확률이 동시에 반영되어야 하므로 각 샘플의 확률의 곱으로 계산합니다. 

 

 

최대 우도 추정(Maximum Likelihood Estimation ; MLE)

우도 함수가 최대가 되는 모수를 택하는 확률 분포 추정 방법입니다. 특정한 모수를 선택한다는 뜻에서 점 추정(Point Estimation)이라고도 합니다. 우도 함수를 최대로 하는 모수를 택하면, 샘플의 분포를 가장 잘 표현하는 확률 분포 함수를 표현할 수 있습니다.

 

최대 사후 확률(Maximum a Posteriori ; MAP)

사후 확률(a posteriori)을 최대로 하는 모수를 찾는 확률 분포 추정 방법입니다. 베이즈 정리를 이용하여, MLE와 비교하면, 우도 함수를 사전 확률(a priori)로 보정하는 것과 같습니다.