回歸分析 이 連續型 變數들에 對해 獨立 變數 와 從屬 變數 사이의 相關關係를 나타내는 것이라면, 單純 回歸 分析 은 獨立 變數가 端一介日 때의 分析을 意味한다. 基本的인 回歸模型은, y i = β 0 + β 1 X i + e i {\displaystyle y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}} 이다. 여기서 推定 回歸式을 求하면, y i ∗ = β 0 ∗ + β 1 ∗ X i {\displaystyle y_{i}^{*}=\beta _{0}^{*}+\beta _{1}^{*}X_{i}} 이다.
回歸 係數를 推定하는 方法은 크게 最小제곱法(最小自乘法)과 最大右島推定法 두 가지가 있다. 最小 제곱法은 ∑ i = 1 N ( e i ) 2 = ∑ i = 1 N ( y i − ( β 0 + β 1 X i ) ) 2 {\displaystyle \sum _{i=1}^{N}(e_{i})^{2}=\sum _{i=1}^{N}(y_{i}-(\beta _{0}+\beta _{1}X_{i}))^{2}} 式을 各各 β 1 {\displaystyle \beta _{1}} 과 β 0 {\displaystyle \beta _{0}} 로 各各 偏微分하여 0과 같다고 놓는다. 그러면 ∑ y i = n β 0 ∗ + β 1 ∗ ∑ x i {\displaystyle \sum y_{i}=n\beta _{0}^{*}+\beta _{1}^{*}\sum x_{i}} ∑ x i y i = β 0 ∗ ∑ x i + β 1 ∗ ∑ x i 2 {\displaystyle \sum x_{i}y_{i}=\beta _{0}^{*}\sum x_{i}+\beta _{1}^{*}\sum x_{i}^{2}} 衣 式이 나타난다. 이를 整理하면 β 0 ∗ = E ( y ) − β 1 ∗ E ( x ) {\displaystyle \beta _{0}^{*}=E(y)-\beta _{1}^{*}E(x)} β 1 ∗ = ∑ i = 1 n ( x i − E ( x ) ) ( y i − ( E ( y ) ) ∑ i = 1 n ( x i − E ( x ) ) 2 {\displaystyle \beta _{1}^{*}={\sum _{i=1}^{n}(x_{i}-E(x))(y_{i}-(E(y)) \over \sum _{i=1}^{n}(x_{i}-E(x))^{2}}} 로 나타난다.
이 回歸係數들은 Best linear unbiased estimators로 1. 線型性을 갖는다. 2. 不便推定量이다. 3. 最小 分散性을 갖는다.
回歸 模型이 적합한지 아닌지를 判斷하는 方法에는 여러 가지 方法이 있다. 먼저 回歸 係數들의 t검정 값을 통해 回歸 係數들이 有意味한 값을 갖는지 살펴보는 方法이 있다. 그리고 決定係數 r 2 {\displaystyle r^{2}} 와 ESS(error sum of square)를 살펴보는 方法이 있다.