統計學 에서 可能度 (可能度, 英語 : likelihood ) 또는 右島 (尤度)는 確率 分布의 母數가, 어떤 確率變數 의 票집값과 一貫되는 程度를 나타내는 값이다. 具體的으로, 주어진 表집값에 對한 母數의 可能度는 이 母數를 따르는 分布가 주어진 觀測값에 對하여 附與하는 確率이다. 可能度 函數는 確率 分布가 아니며, 合하여 1이 되지 않을 수 있다.

正義 [ 編輯 ]

確率變數 ${\displaystyle X}$가 母樹 ${\displaystyle \theta }$에 對한 確率分布 ${\displaystyle P_{\theta }(X)}$를 가지며, ${\displaystyle X}$가 특정한 값 ${\displaystyle x}$으로 표집되었을 境遇, ${\displaystyle \theta }$의 可能度 函數 ${\displaystyle {\mathcal {L}}(\theta |x)}$는 다음과 같이 定義된다.

${\displaystyle {\mathcal {L}}(\theta |x)=\Pr(X=x|\theta )}$

로그 可能度 ( 英語 : log likelihood )는 可能度 函數의 로그 이며, 確率 變數가 獨立 確率 變數 로 나누어지는 境遇와 같이 確率 分布 函數가 곱셈 꼴로 나올 때 微分 計算의 便宜性을 위해 使用한다. 로그 函數는 單調 增加 하기 때문에, 可能度 函數에서 極값을 가지는 位置와 로그 可能度에서 極값을 가지는 位置는 같다. 따라서 可能度 函數를 微分하여 極값을 求하는 代身, 로그 可能度를 微分하여도 같은 結果를 얻을 수 있다.

萬若 確率 變數 ${\displaystyle X}$가 ${\displaystyle X=(X_{1},X_{2},\cdots ,X_{n})}$의 꼴로 주어져 있으며, ${\displaystyle X_{i}}$이 確率 分布로 ${\displaystyle P_{i,\theta }(X_{i})}$를 가진다면 可能度 函數와 로그 可能度 函數는 다음과 같다.

${\displaystyle {\mathcal {L}}(\theta |x)=P_{\theta }(X=x)=P_{1,\theta }(X_{1}=x_{1})P_{2,\theta }(X_{2}=x_{2})\cdots P_{n,\theta }(X_{n}=x_{n})}$

${\displaystyle \log {\mathcal {L}}(\theta |x)=\log P_{1,\theta }(X_{1}=x_{1})+\log P_{2,\theta }(X_{2}=x_{2})+\cdots +\log P_{n,\theta }(X_{n}=x_{n})=\sum _{i}\log P_{i,\theta }(X_{i}=x_{i})}$

例 1 [ 編輯 ]

例를 들어, 어떤 銅錢을 던져서 나오는 結果를 確率 變數 ${\displaystyle X}$라고 한다면, 이 變數는 앞( ${\displaystyle \uparrow }$)과 뒤( ${\displaystyle \downarrow }$)의 두 값을 가질 수 있다. 銅錢을 던져 앞이 나올 確率이

${\displaystyle \Pr _{\theta }(X=\uparrow )=\theta }$

로 주어지는 境遇, 銅錢을 세 番 던져 앞, 뒤, 앞이 나왔을 때의 ${\displaystyle \theta }$의 可能度는

${\displaystyle {\mathcal {L}}(\theta |\uparrow \downarrow \uparrow )=\theta \cdot (1-\theta )\cdot \theta =\theta ^{2}(1-\theta )}$

가 된다. 可能度 函數를 積分하면

${\displaystyle \int _{0}^{1}{\mathcal {L}}(\theta |\uparrow \downarrow \uparrow )\,d\theta =\int _{0}^{1}\theta ^{2}(1-\theta )\,d\theta =1/12}$

이므로, 可能度는 確率 分布가 아님을 알 수 있다.

例 2 [ 編輯 ]

銅錢을 던져서, 앞面(H)李 나오는 確率을 ${\displaystyle p_{\text{H}}}$ 라고 하자. 이때, 앞面이 두番 나오는 確率은 ${\displaystyle p_{\text{H}}^{2}}$이다. 萬若 ${\displaystyle p_{\text{H}}=0.5}$ 일 境遇, 두番 모두 앞面이 나올 確率은 0.25이다:

${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.5)=0.25.}$

이를 通해, 觀測結果가 HH 라면, ${\displaystyle p_{\text{H}}=0.5}$ 의 可能度 는 0.25라고 말할 수 있다.

${\displaystyle {\mathcal {L}}(p_{\text{H}}=0.5\mid {\text{HH}})=P({\text{HH}}\mid p_{\text{H}}=0.5)=0.25.}$

그러나 이것은 觀測結果가 HH라면, ${\displaystyle p_{\text{H}}=0.5}$ 의 確率 은 0.25 이라고 말하는 것과 같지 않다.

이를 위해서는 베이지안 推論의 槪念이 必要하다. 特히, 베이 즈 整理 (Bayes 's theorem)는 事後 確率 (密度)李 可能度 (likelihood)과 事前 確率에 比例함을 말한다.

物理的인 銅錢이 던져지면, 어떤 物理的 裝置에 缺陷이 있기 때문에 ${\displaystyle p_{\text{H}}}$가 正確히 0.5 日 確率은 0이다. 銅錢의 가장자리는 若干 경사지고 質量 分布는 決코 完璧하지 않다.

이렇게 하면 ${\displaystyle p_{\text{H}}}$에 對한 分布가 生成된다. 더욱이, 銅錢의 特徵은 若干의 不均衡을 일으키며, 이 分布의 平均조차도 正確하게 0.5街 아닐 可能性이 높다. 그러나, 公正하게 不公平한 銅錢, 卽 ${\displaystyle p_{\text{H}}}$가 分明히 0.5보다 크거나 (0.5 未滿인) 銅錢을 찾는 것은 어려울 수 있다.

같이 보기 [ 編輯 ]

• 條件附 確率
• 最大 엔트로피 原理