最大可能度方法 (最大可能度方法, 英語 : maximum likelihood method ) 또는 최대우圖法 (最大尤度法)은 어떤 確率變數에서 標集 한 값들을 土臺로 그 確率變數의 母樹 를 求하는 方法이다. 어떤 母數가 주어졌을 때, 願하는 값들이 나올 可能度 를 最大로 만드는 母數를 選擇하는 方法이다. 點推定 方式에 屬한다.

方法 [ 編輯 ]

어떤 母樹 ${\displaystyle \theta }$로 決定되는 確率變數들의 모임 ${\displaystyle D_{\theta }=(X_{1},X_{2},\cdots ,X_{n})}$이 있고, ${\displaystyle D_{\theta }}$의 確率 密度 函數 나 確率 質量 函數 가 ${\displaystyle f}$이고, 그 確率變數들에서 各各 값 ${\displaystyle x_{1},x_{2},\cdots ,x_{n}}$을 얻었을 境遇, 可能度 ${\displaystyle {\mathcal {L}}(\theta )}$는 다음과 같다.

${\displaystyle {\mathcal {L}}(\theta )=f_{\theta }(x_{1},x_{2},\cdots ,x_{n})}$

여기에서 可能度를 最大로 만드는 ${\displaystyle \theta }$는

${\displaystyle {\widehat {\theta }}={\underset {\theta }{\operatorname {argmax} }}\ {\mathcal {L}}(\theta )}$

가 된다.

이때 ${\displaystyle X_{1},X_{2},\cdots ,X_{n}}$이 모두 獨立的이고 같은 確率分布를 가지고 있다면, ${\displaystyle {\mathcal {L}}}$은 다음과 같이 表現이 可能하다.

${\displaystyle {\mathcal {L}}(\theta )=\prod _{i}f_{\theta }(x_{i})}$

또한, 로그函數 는 單調 增加 하므로, ${\displaystyle {\mathcal {L}}}$에 로그를 씌운 값의 最大값은 元來 값 ${\displaystyle {\widehat {\theta }}}$과 같고, 이 境遇 計算이 比較的 簡單해진다.

${\displaystyle {\mathcal {L}}^{*}(\theta )=\log {\mathcal {L}}(\theta )=\sum _{i}\log f_{\theta }(x_{i})}$

예제: 가우스 分布 [ 編輯 ]

平均 ${\displaystyle \mu }$와 分散 ${\displaystyle \sigma ^{2}}$의 값을 모르는 正規分布 에서 ${\displaystyle x_{1},x_{2},\cdots ,x_{n}}$의 값을 標集하였을 때, 이 값들을 利用하여 元來 分布의 平均과 分散을 推測한다. 이 境遇 求해야 하는 母數는 ${\displaystyle \theta =(\mu ,\sigma )}$이다. 正規分布 의 確率 密度 函數 가

${\displaystyle f_{\mu ,\sigma }(x_{i})={\frac {1}{{\sqrt {2\pi }}\sigma }}\exp({\frac {-(x_{i}-\mu )^{2}}{2\sigma ^{2}}})}$

이고, ${\displaystyle x_{1},x_{2},\cdots ,x_{n}}$가 모두 獨立이므로

${\displaystyle {\mathcal {L}}(\theta )=\prod _{i}f_{\mu ,\sigma }(x_{i})=\prod _{i}{\frac {1}{{\sqrt {2\pi }}\sigma }}\exp({\frac {-(x_{i}-\mu )^{2}}{2\sigma ^{2}}})}$

兩邊에 로그를 씌우면

${\displaystyle {\mathcal {L}}^{*}(\theta )=-{\frac {n}{2}}\log {2\pi }-n\log \sigma -{\frac {1}{2\sigma ^{2}}}\sum _{i}{(x_{i}-\mu )^{2}}}$

가 된다. 式의 값을 最大化하는 母數를 찾기 爲해, 兩邊을 ${\displaystyle \mu }$로 各各 偏微分하여 0이 되는 값을 찾는다.

${\displaystyle {\frac {\partial }{\partial \mu }}{\mathcal {L}}^{*}(\theta )={\frac {1}{\sigma ^{2}}}\sum _{i}(x_{i}-\mu )}$

${\displaystyle ={\frac {1}{\sigma ^{2}}}(\sum _{i}x_{i}-n\mu )}$

따라서 이 式을 0으로 만드는 값은 ${\displaystyle {\widehat {\mu }}=(\sum _{i}x_{i})/n}$으로, 卽 標集한 값들의 平均이 된다. 마찬가지 方法으로 兩邊을 ${\displaystyle \sigma }$로 偏微分하면

${\displaystyle {\frac {\partial }{\partial \sigma }}{\mathcal {L}}^{*}(\theta )=-{\frac {n}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i}(x_{i}-\mu )^{2}}$

따라서 이 式을 0으로 만드는 값은 다음과 같다.

${\displaystyle \sigma ^{2}=\sum _{i}(x_{i}-\mu )^{2}/n}$

參考 文獻 [ 編輯 ]

• Lehmann, E. L.; Casella, G. (1998). 《Theory of Point Estimation》 (英語) 2板. Springer. ISBN   0-387-98502-6 .   더 以上 支援되지 않는 變數를 使用함 ( 도움말 ) CS1 管理 - 追加 文句 ( 링크 )
• Shao, Jun (1998). 《Mathematical Statistics》 (英語). New York: Springer. ISBN   0-387-98674-X .  

같이 보기 [ 編輯 ]

• 可能度
• 推定量
• 期待값 最大化 알고리즘

外部 링크 [ 編輯 ]

• “Maximum-likelihood method” . 《Encyclopedia of Mathematics》 (英語). Springer-Verlag. 2001. ISBN   978-1-55608-010-4 .  
• “Likelihood equation” . 《Encyclopedia of Mathematics》 (英語). Springer-Verlag. 2001. ISBN   978-1-55608-010-4 .  
• Weisstein, Eric Wolfgang. “Maximum likelihood” . 《 Wolfram MathWorld 》 (英語). Wolfram Research.  
• Weisstein, Eric Wolfgang. “Maximum likelihood estimator” . 《 Wolfram MathWorld 》 (英語). Wolfram Research.