Maximum Likelihood Estimate (MLE), 최대가능도추정량 예제와 답안

Maximum Likelihood Estimate (MLE) 

Parameter(모수, 모집단의 특정한 수인데요. 정확한 값을 모르지만 궁극적으로 알고 싶은 수를 말합니다.)를 예측하는 방법중에 하나가 MLE 인데요. 우선 Likelihood부터 설명해보자면-

 

What's the likelihood? 

If $X_{1}, X_{2},...,X_{n}$ are random variable with joint density(결합밀도) $f(X_{1}, X_{2},...,X_{n};\theta)$, then given observed values $X_{1}, X_{2},...,X_{n}$ = likelihood ($\theta$) = $L(\theta)$ = $L(\theta)=\prod_{i}^{n}f(X_{i}|\theta)$ 

* $\prod_{i}^{n}$ is a product notation form i to n. 

제가 여기에 설명하기까지 정확하기 이해한건 아니여서 수업노트로 대체합니다.

 
What's the MLE? 

We want to find the parameter that MAXIMIZE our probability of getting the data we obtained. That means what parameter of $\theta$ give us the most probable chance of getting the data we obtained?!! $MLE \hat{\theta }=L(\hat{\theta })= max L(\theta )$ 

So how can we find the MLE? 

By using log likelihood, as we can take a log transformation without changing the maximum value. So, $l(\theta)=log(L(\theta))=log(\prod_{i}^{n}f(X_{i}|\theta))= \sum_{i}^{n}(f(X_{i}(\theta )))$

And then take a derivative, then set the equation to equal to 0! 

MLE구할때 log를 씌워주는데요. 아무래도 독립변수끼리 곱하기때문에 숫자가 커질수밖에 없는데요, log를 씌우면 식을 다루는데 쉬울 뿐더러 구하고 싶은 최댓값에 영향을 주는게 아니라서 log를 씌워줍니다. 미분해서 0으로 문제푸는건 수학내용이라 아실꺼라 생각해요 :)

 
Example) Parameter Estimate Example: MoM, MLE

Let Y1, Y2, …, Yn denotes random sample. f(y|$\theta$)= $(\theta+1)y^\theta$, 0<y<1, -1<$\theta$, and f(y|$\theta$)=0 otherwise. 

a) $\hat{\theta}_{MoM}$ 

b) $\hat{\theta}_{MLE}$?

 

답안은 여기 클릭하면 보실 수 있어요. Solution??!!

 

 

* Method of Moment Estimate에 대한 글: http://statnmath.tistory.com/29

 

 수학기호가 안보인다면 새로고침(F5)을 해보세요. 

저도 아직 배우는 학생이다보니 수정해야할 부분이 있다면 댓글 부탁드릴게요 :D