베이즈 整理(Bayes’ theorem)는 18세기 英國의 牧師이며 哲學者인 토마스 베이즈(Thomas Bayes)가 提案한 條件附 確率에 對한 整理이다. 베이즈 整理는 本來 逆確率(inverse probability) 問題를 解決하기 위해 提起된 것이다. 逆確率 問題는 正確率 問題와 反對되는 것인데, 觀測된 結果로부터 그 結果의 原因이 무엇일까 逆方向으로 推定하는 것이다. 베이즈 整理는 假令 事件 B의 發生을 觀測할 때 事件 A의 條件附 確率을 求하는 것이다. 이는 다음과 같은 式으로 表現된다. 베이즈 整理 위의 式에서 各 項은 一般的으로 쓰이는 名稱이 있다. P(A)는 事前確率(prior probability)이라고 불리는데, 여기서 事前(事前)이라고 함은 確率 實驗 施行 前의 狀態를 의미한다. P(A|B)는 事後確率(posterior probability)이라고 불리고 B가 주어진 狀況에서 A의 條件附 確率이다. P(B|A)는 右島(likelihood)라고 불리고 事後確率 P(A|B)의 驛 條件附...

警査下降法(Gradient Descent)이란, 단계적으로 誤差函數를 조금씩 줄여가며 反復的으로 加重値를 改善해 가며 最適의 加重値를 찾아가는 方法을 말한다. | 外國語 表記 | Gradient Descent(英語) | 警査下降法은 steepest descent 方法이라고도 부른다. 안개가 자욱하게 낀 山 속에 있을 때 下山하기 위해서는 山의 높이가 가장 낮아지는 方向으로 한 발씩 내딛는 方式을 反復할 것이다. 警査下降法은 바로 이러한 아이디어를 取하고 있는 것이다. 警査下降法의 흐름을 單純하게 表現하자면, ①먼저 任意의 始作點을 設定한다. ②기울기 步幅(學習率)을 定한다. ③步幅에 따라 다음 地點으로 移動한다. ④反復하여 移動해 最低點에 接近한다. 여기서 注意해야 할 點은 步幅의 크기를 잘 調整해야 한다는 것이다. 例를 들어 步幅이 너무 클 境遇 最低點에 닿지 못하는 科適合이 發生할 수 있다. 그러나 步幅이 너무 작을 境遇 時間이 오래 걸리고 最低點을 찾지...

時그모이드 함수는 그래프의 모양이 S자 모양의 곡선으로 나타나는 함수이다. | 外國語 表記 | sigmoid function(英語) | 實數 全體를 定義域으로 가지는 데에 비해 函數값으로 有限한 區間 사이의 限定된 값만을 返還하며, 主로 0과 1 사이의 값을 返還하도록 設定한다. 時그모이드 函數는 一般的으로 入力값人 x의 값이 增加할 때 函數값人 y의 값도 增加하는 樣相을 보인다. 代表的인 詩그모이드 函數에는 로지스틱 函數가 있으며 이는 다음과 같은 數式으로 나타낼 수 있다. 時그모이드 函數는 代表的인 活性化 函數로 使用되었다. 回歸分析에 있어서 線形 函數는 새로운 데이터의 追加가 旣存의 分類 모델에 크게 影響을 미치는 反面, 時그모이드 函數에서는 該當 問題가 크지 않았다. 警査下降法을 施行할 때 기울기의 急激한 變化가 나타나지 않는다는 點도 時그모이드 函數의 長點이었다. 또한 詩그모이드 函數의 中間 部分은 急激한 기울기를 가지는 反面, 出力값이 0과 1에...

하이퍼볼릭탄젠트 函數(tanh) 또는 쌍곡탄젠트 函數는 市그모이드 函數와 매우 類似한 模樣의 函數로, 정의역은 實數 全體 集合이며 値域은 -1과 1 사이의 失手 集合이다. 일반적으로 x값이 增加할수록 y값이 增加하는 樣相을 보이는데, x가 -2보다 작을 때 y값은 -1에 收斂하고 x가 2보다 클 때 y값은 1에 收斂한다. | 外國語 表記 | tanh(英語) | tanh은 人工 神經網에서 使用될 수 있는 代表的인 活性化 函數이다. 人工 神經網에서 活性化 函數는 人工 神經網에서 非線型性(non-linearity)을 附與해주는 部分으로 뉴런에서 演算된 값을 定해진 範圍의 값으로 變換하는 役割을 하여 人工 神經網이 複雜한 情報를 理解할 수 있도록 돕는다. 活性化 函數는 出力값이 羊水 範圍에서만 나타나는 單極性 活性化 函數와 陰數·羊水를 모두 出力하는 兩極性 活性化 函數로 나뉘는데, tanh은 -1에서 1 사이의 값을 出力하므로 兩極性 活性化 函數에 該當한다. tanh은 마찬가지로 活性化...

線型回歸(Linear Regression)는 y=f(x)+ε의 形態로 入力 變數 x와 出力 變數 y 사이의 線形 相關 關係를 모델링하는 分析 技法이다. 入力 變數를 통해 出力 變數를 豫測하거나, 두 變數 사이의 關係를 糾明할 때 使用된다. 아래 <그림 1>에서 푸른色 點은 實際 데이터에 該當하며, 붉은色 線은 入力값에 對한 適切한 出力값을 豫測하는 線型回歸 모델에 該當한다. <그림 1> wikipedia "Linear Regression" 線型回歸는 出力값을 正答에 가장 가깝게 豫測해줄 수 있는 回歸 計數(Regresssion Coefficient)를 찾는 것을 目的으로 한다. 豫測값과 實際 正答 사이의 誤差를 損失(Loss)이라고 부르는데, 이러한 損失을 計算하는 다양한 技法들이 있다. 가장 基本的인 것으로는 最小제곱 (Least Square) 誤差函數를 言及할 수 있다. 이는 實際 正答에서 豫測값을 뺀 값들의 제곱을 모두 더하는 것이라 할 수 있다. 아래와 같이 表現할 수 있다. LSE는 2次 函數에 該當하므로, 損失의...

LSTM(Long short-term memory)은 循環 神經網(RNN) 技法의 하나로, Cell state와 Forget gate, Input gate, Output gate를 追加하여 旣存 循環 神經網에서 發生하는 기울기 消滅 問題(Vanishing Gradient Problem)를 解決하였다. LSTM을 理解하기 위해서는 먼저 循環 神經網과 그 問題點에 對해 理解할 必要가 있다. 循環 神經網은 自然語 處理와 같은 順次的 데이터를 處理하는 데 主로 使用되는 것으로 以前 時點의 情報를 隱匿層에 貯藏하는 方式을 取한다. 그러나, 入力값과 出力값 사이의 時點이 멀어질수록 移轉 데이터가 漸漸 사라지는 기울기 消滅 問題가 發生하게 되었다. LSTM은 移轉 情報를 記憶하는 程度를 適切히 調節해 이러한 問題를 解決한다. LSTM은 여러 LSTM Cell 모듈의 反復으로 이루어진다. 具體的인 LSTM Cell의 모습은 아래<그림 1>과 같다. <그림 1> wikipedia "Long short-term memory" 旣存의 循環 神經網은 入力값과 出力값...

活性化 함수란 入力 노드에 對해 出力 노드를 定義하는 函數이다. | 外國語 表記 | Activation Function(英語) | 여러 個의 層으로 構成된 多層 救助의 神經網에서 主로 使用되며 移轉 레이어에서의 加重合에 따라 活性化 與否가 決定된다. 이때 活性化 函數로는 다양한 種類의 函數가 使用될 수 있으며 神經網 全體 或은 該當 레이어가 擔當하는 役割에 따라 使用하는 活性化 函數의 種類가 달라진다. 人工 神經網이 처음 나타났을 때에는 線形 分類에서는 뛰어난 性能을 보였지만 非線型 分類를 解決하는 데에는 어려움을 겪었다. 이때 非線型 活性化 函數를 使用하면 出力값이 線形的으로 나타나지 않기 때문에 非線形 分類에 活用할 수 있다는 長點이 浮刻되었다. 이를 通해 旣存의 非線型 分類의 問題는 解決하였으나 技術이 發達하면서 파라미터의 個數가 漸次 많아지게 되자 學習에 蹉跌을 겪게 된다. 이 問題는 追後에 역전파 알고리즘(backpropagation algorithm)을 利用해...

媒介變數(parameter)란 모델 內部에서 決定되는 變數로 그 값이 주어진 데이터를 통해 決定되는 것을 말한다. | 外國語 表記 | parameter(英語) | 주어진 데이터를 통해 값이 定해진다는 말은 使用者가 그 값을 任意로 附與하거나 修正하지 않고 모델이 데이터를 學習하는 過程에서 導出되는 값이라는 것으로 理解하면 좋다. 卽, 주어진 데이터를 處理하는 過程에서 適切한 數値가 決定되는 것이다. 이렇게 導出된 媒介變數의 값은 모델이 問題를 얼마나 잘 解決할 수 있는지를 決定하게 된다. 媒介變數는 使用者가 그 값을 直接 設定하지 않는다는 點에서 超媒介變數(hyperparameter)와는 相反된다. 超媒介變數는 普通 모델이 本格的인 學習을 始作하기 前에 設定된다면 媒介變數는 모델이 學習을 進行하는 過程에서 自動的으로 産出하게 된다. 아래의 그림을 통해 살펴보면 理解하기 쉽다. 모델을 통한 學習을 進行하기에 앞서서 使用者는 學習率이나 配置의 크기, 反復 回數 等을 直接...

形態素 分析器는 自然語 處理(NLP) 分野에서 活用되는 프로그램의 한 種類로, 텍스트를 品詞에 따라 分析해주는 機能을 遂行한다. 形態素 分析器는 어떤 處理도 되어 있지 않은 原文 그대로의 텍스트나 若干의 前處理만 遂行한 텍스트를 投入 데이터로 받아서, 名詞, 動詞, 形容詞, 副詞, 調査, 語尾 等의 品詞 및 形態素 情報가 붙어 있는 算出 데이터를 낸다. 韓國語에서 形態素 分析器가 지니는 役割과 機能은 英語에서보다 더 重要하다. 英語의 POS(part-of-speech) tagger는 形態素 分析器와 비슷한 機能을 遂行하지만, 그 活用 分野가 理論的인 分野에 조금 더 置重되어 있다. 英語에서는 이미 單語 單位로 띄어쓰기가 되어 있고, 띄어쓰기로 區分된 單語 單位에서는 形態의 變化가 아주 다양하지는 않다. ‘apple-apples’처럼 複數型이 될 때 名詞에 ‘-s’를 붙이거나, ‘play-played-plays’처럼 時祭나 人稱에 따라 動詞에 若干의 變化를 줄 수 있다. 그렇기에 띄어쓰기로...

챗봇(chatbot or chatterbot)은 실제 인간과 온라인에서 대화를 할 수 있게끔 고안된 소프트웨어이다. | 外國語 表記 | chatbot, chatterbot(英語) | 一般的으로는 文字 言語에 基盤한 것을 主로 챗봇으로 부르지만 最近에는 對話 內容을 音聲 信號로 傳達할 수 있는 TTS 챗봇度 活潑히 硏究되고 있다. 챗봇은 窮極的으로는 實際 사람과의 對話 狀況에서 사람들로 하여금 自身이 只今 實際 人間과 對話하고 있다고 믿게끔 하는 것을 目標로 한다. 다만 理想的인 水準에 다다르지 못했다 하더라도 多樣한 分野에서 널리 應用될 수 있어 周邊에서 쉽게 챗봇을 發見할 수 있다. 特히 企業이 消費者를 相對하는 B2C 分野에서 챗봇이 效率的으로 使用된다. 簡單하게는 事前에 入力된 對話 데이터를 알고리즘에 맞게 出力함으로써 基本的인 CS 業務를 擔當하기도 한다. 쇼핑몰 等에서는 購買者가 特定한 옵션을 入力하면 이에 맞추어 自動으로 적합한 商品을 紹介하는 챗봇을 活用하기도...

체인 룰(chain rule)은 合成函數의 微分法이 가지는 性質 中 하나이다. | 外國語 表記 | chain rule(英語) | y=f(x)의 計算 그래프. 草綠色은 純傳播, 빨간色은 역전파를 나타냄 合成函數의 微分은 合成函數를 構成하는 各 函數의 微分의 곱과 같다는 性質이다. 各 函數의 微分이 連續的으로 곱해지는 모습을 ‘체인’으로 表現하여 ‘체인 룰’이라는 이름으로 불린다. 人工知能 分野에서 체인 룰은 多層 퍼셉트론 學習의 誤差 역전파 過程에서 活用된다. [그림 1]에서 볼 수 있듯이 計算을 왼쪽에서 오른쪽으로 進行하는 純全派에서는 x가 函數 f를 지나 y로 출력되고, 計算을 오른쪽에서 왼쪽으로 進行하는 역전파에서는 δL/δy이 f를 거쳐 (δy/δx)×(δL/δy)으로 出力된다. 이때 δL/δy는 y에 對한 L(loss)의 變化量, 卽 기울기를 뜻한다. 誤差 역전파의 目的은 神經網의 誤差를 줄이는 데에 있으므로, 各 變數別로 Loss에 對한 기울기(偏微分)를 求한 後 역전파의 方向으로 이...

딥러닝에서의 損失 函數(loss function) 또는 費用 函數(cost function)는 주어진 函數에 對한 最少化가 實際 結果값(正答) y와 모델의 推定値 ?의 差異를 最少化하도록 定義된 특수한 函數이다. 一般的으로 結果값이나 推定値는 失手 벡터 範圍에서 나타나므로 損失 函數 亦是 失手 範圍에서 定義될 수 있는 距離 函數의 形態를 띠는 境遇가 많다. 分類兄 課題를 解決하는 境遇에도 函數의 形態나 性格은 크게 달라지지 않는다. 損失 函數의 代表的이고 가장 直觀的인 例로는 平均제곱誤差(MSE, Mean Squared Error)가 있다. MSE는 回歸式에서 豫測한 값과 實際 값의 差異를 제곱한 값의 平均을 計算하여 얻을 수 있다. 이 값은 實際 값에 가깝게 豫測할수록 작아질 것이므로 損失 函數라고 할 수 있는 것이다(회귀분석은 가장 單純한 形態의 딥러닝 모델이라고 할 수 있다). 이러한 統計的 槪念으로서의 損失 函數는 오래 前부터 存在하였으나 本格的으로 導入된 것은 20世紀...

頻度注意 統計學과 베이지안 統計學은 統計學을 크게 兩分하는 두 學派이다. 統計學에는 크게 두 가지 學派가 있는데, 하나는 頻度注意 統計學이고 하나는 베이지안 統計學이다. 두 學派는 가장 基本的 槪念인 確率을 定義하는 方式에서 差異를 보인다. 쉽게 말하자면 頻度注意 統計學은 確率을 "頻度"로 보고, 베이지안 統計學은 確率을 "믿음의 程度"로 본다. 頻度注意 統計學은 確率을 特定 事件이 일어난 回數의 長期的인 比率로 본다. 銅錢 던지기를 例로 들어보자. 앞面이 나올 確率이 0.5라고 하는 말은 無限히 反復되는 銅錢 던지기를 觀測할 때 이 中 半은 앞面이라는 이야기다. 이렇게 定義된 確率은 獨立的이고 反復的인 事件에 對해 잘 說明할 수 있지만, "다음 大選에서 ○○○가 當選될 確率"과 같은 反復 施行이 不可能한 問題에 適用할 때 限界가 있다. 베이지안 統計學의 觀點에서 確率은 本人의 經驗과 直觀에 依存하여 決定되는 것으로 한다. 같은 銅錢 던지기 事件의 確率을 解釋할...

역전파(backpropagation)란, 다층 퍼셉트론 神經網 學習에서 主로 使用되는 알고리즘으로 目的 函數(objective function, loss function)를 最少로 하기 위해 遂行된다. | 外國語 表記 | backpropagation(英語) | 多層 神經網 學習에서는 順序에 따라 入力層에서부터 隱匿層을 거치며 計算한 結果를 出力層에서 出力하게 된다. 이렇게 入力層-隱匿層-出力層의 順序로 計算하는 것을 純傳播(forward propagation)라고 하는데, 層을 移動할 때마다 미리 設定되어 있는 加重値가 곱해지고 이를 바탕으로 導出된 값이 다음 層의 入力값이 된다. 따라서 주어진 加重値에 따라 出力값이 달라지게 되므로 出力값에 따라 달라지는 目的函數 값을 最少化하기 위해서는 加重値를 修正해야 한다. 역전파는 加重値의 修正을 위해 出力값에 따른 目的 函數 값을 確認하고 目的 函數 값을 바탕으로 出力層부터 逆順으로 誤差를 더욱 작게 만드는 加重値를 計算한다. 따라서 純傳播와는 反對...

베이지안 推論(Bayesian inference)은 統計的 推論의 한 方法으로, 추론 對象의 事前 確率과 실험을 통하여 얻은 追加的인 情報를 土臺로 事後 確率을 推論하는 方法이다. 베이지안 推論은 베이즈 整理를 基盤으로 하며, 推論하는 對象을 確率變數로 보아 그 母數의 確率分布를 推定한다. 베이지안 推論은 새로운 證據를 觀察한 바탕으로 事前 믿음을 更新하는 것이다. 이러한 更新하는 過程은 또한 베이지안 更新(Bayesian updating)이라고 한다. 베이지안 推論을 說明하기 위해 베이즈 定理에서 言及된 두 事件을, 特定 事件에 對한 假說 H와 이 假說을 支持하는 證據 E로 代替하여 說明해 보겠다. 事後確率 P(H|E)는 베이즈 整理를 통해 다음과 같은 數式으로 計算할 수 있다. 이 數式은 다음과 같은 말로 說明할 수 있다. 데이터를 觀察하기 前에 우리는 事前 知識을 바탕으로 假說 H에 對한 믿음을 갖고 있다. 그런데 이 믿음은 固定된 것이 아니고, 事件과 關聯된 證據 E가 增加함에 따라...