Aritalab:Lecture/Math/LR - Revision history

Adm: /* 最小二乗法 */

2016-09-08T02:45:09Z

‎最小二乗法

Adm: /* 行列のランク落ち */

2013-06-04T07:59:40Z

‎行列のランク落ち

Adm: /* 主成分分析 */

2013-06-04T01:36:39Z

‎主成分分析

Adm at 16:11, 3 June 2013

2013-06-03T16:11:56Z

Adm at 14:09, 3 June 2013

2013-06-03T14:09:39Z

Adm: Created page with "==回帰分析== 回帰分析には 1 変量の単回帰 (univariate linear regression) と多変量の重回帰 (multivariate linear regression) があります。モデル..."

2013-06-03T09:15:00Z

Created page with "==回帰分析== 回帰分析には 1 変量の単回帰 (univariate linear regression) と多変量の重回帰 (multivariate linear regression) があります。モデル..."

New page

==回帰分析==

回帰分析には 1 変量の単回帰 (univariate linear regression) と多変量の重回帰 (multivariate linear regression) があります。モデルしたい変量を y (目的変量）、説明に使う変量を x 、係数を b で表します。

;(重)回帰モデル : y = b0 + x1 b1 + x2 b2 + ... + xn bn　（つまり y を複数の変量 x1～xn の線形結合でモデルするやり方）

y を目的変量、x を説明変量、b を回帰係数といいます。 b0 は定数項です。特に 1 変数の場合を単回帰モデルといいます。ここでは最適パラメータを求める最小二乗法の説明のために単回帰を使います。

: y1 = b0 + x1 b1 + r1
: y2 = b0 + x2 b1 + r1
: y3 = b0 + x3 b1 + r1
: :

というデータがあると仮定しましょう。

@@ Line 10: / Line 10: @@
 ここでは最適パラメータを求める最小二乗法を単回帰を使って説明します。
 : y<sub>1</sub> = b<sub>0</sub> + x<sub>1</sub> b<sub>1</sub> + r<sub>1</sub>
 : y<sub>2</sub> = b<sub>0</sub> + x<sub>2</sub> b<sub>1</sub> + r<sub>2</sub>
 :   :          :
 : y<sub>n</sub> = b<sub>0</sub> + x<sub>n</sub> b<sub>1</sub> + r<sub>n</sub>
 最小二乗法とは残差の二乗和 S を最小化するアプローチです。
-: S = <big>Σ</big><sub>i</sub> f<sub>i</sub><sup>2</sup>
+<big>
-S の最小値を満たす b<sub>0</sub> と b<sub>1</sub> を求めるには、S を b<sub>0</sub> と b<sub>1</sub> のそれぞれで偏微分して 0 とおいた連立方程式を解けばOKです。つまり
+: S = <big>Σ</big><sub>i</sub> r<sub>i</sub><sup>2</sup> = <big>Σ</big> (b<sub>0</sub> + x<sub>i</sub>b<sub>1</sub> - y<sub>i</sub>)<sup>2</sup>
 : y<sub>1</sub> = b<sub>0</sub> + x<sub>1</sub> b<sub>1</sub>
@@ Line 26: / Line 45: @@
 を満たすことになります。これを行列の形に書くと
-:<math>\mathbf{y = Xb} \quad \mathbf{y} = \begin{bmatrix} y_1\\ y_2\\ \vdots&\vdots\\ y_n \end{bmatrix}, \mathbf{X} = \begin{bmatrix} 1&x_1\\ 1&x_2\\ \vdots&\vdots\\ 1&x_n \end{bmatrix}, \mathbf{b} = \begin{bmatrix} b_0\\ b_1 \end{bmatrix}</math>
+:<math>\mathbf{y = Xb} \quad \mathbf{y} = \begin{bmatrix} y_1\\ y_2\\ \vdots \\ y_n \end{bmatrix}, \mathbf{X} = \begin{bmatrix} 1&x_1\\ 1&x_2\\ \vdots&\vdots\\ 1&x_n \end{bmatrix}, \mathbf{b} = \begin{bmatrix} b_0\\ b_1 \end{bmatrix}</math>
 これから逆行列を用いて <b>b</b> を表せば
 :<b>b = (X<sup>T</sup>X)<sup>-1</sup>X<sup>T</sup>y</b>
-となります。重回帰の場合も同じ式になります（行列 <b>X</b> の列数が増えるだけ）。
+</big>
 与えられた y, x からこの式を計算するだけで自動的に b の値が求まるのです。
 ;[[Aritalab:Lecture/Math/LR/R_LM| R による実習ページ]]
 ===行列のランク落ち===
 線形代数における行列のランク落ちとは、線形独立な変数の数が次数より少ない状態を指します。
 回帰分析でいうと、説明変数間に非常に相関が高いものがある場合です（共線性といいます）。
 このとき、逆行列の計算も上手くいかず、 <b>b</b> の値がおかしくなります。

@@ Line 36: / Line 36: @@
 線形代数における行列のランク落ちとは、線形独立な変数の数が次数より少ない状態を指します。
 回帰分析でいうと、説明変数間に非常に相関が高いものがある場合です（共線性といいます）。
-このとき、逆行列の計算も上手くいかず、 <b>b</b> の値がおかしい場合があります。
+このとき、逆行列の計算も上手くいかず、 <b>b</b> の値がおかしくなります。

← Older revision		Revision as of 01:36, 4 June 2013
Line 37:		Line 37:
	回帰分析でいうと、説明変数間に非常に相関が高いものがある場合です（共線性といいます）。		回帰分析でいうと、説明変数間に非常に相関が高いものがある場合です（共線性といいます）。
	このとき、逆行列の計算も上手くいかず、 <b>b</b> の値がおかしい場合があります。		このとき、逆行列の計算も上手くいかず、 <b>b</b> の値がおかしい場合があります。
−
−	~~==主成分分析==~~
−
−	~~主成分分析は行列の特異値分解を利用した手法です。~~
−	~~:<b> X = U Δ V<sup>T</sup> = (U Δ) V<sup>T</sup></b>~~
−	~~Δは対角成分に特異値が並んだ行列です。~~
−	~~ここで、行列 <b>(U Δ)</b> をスコア、<b>V<sup>T</sup></b> をローディング（固有ベクトルに対応）と呼びます。~~
−	最も大きな固有値に対応する固有ベクトルを第一主成分といいます。第一主成分はスコア行列の第一列とローディング行列の第一行、第二主成分はスコア行列の第二列とローディング行列の第二行にあたります。
−	~~各主成分軸は元々の説明変数を線形結合して得られますが、各軸が直交するように設定されるため共線性の問題を回避できます。~~

@@ Line 32: / Line 32: @@
 与えられた y, x からこの式を計算するだけで自動的に b の値が求まるのです。
-==ランク落ち==
+==主成分分析==
-線形代数における行列のランク落ちとは、線形独立な変数の数が次数より少ない状態を指します。
+主成分分析は行列の特異値分解を利用した手法です。
-回帰分析でいうと、説明変数間に非常に相関が高いものがある場合です。
+:<b> X = U Δ V<sup>T</sup> = (U Δ) V<sup>T</sup></b>
-このとき、逆行列の計算が上手くいかないため、ソフトウェア等で自動的に求めると <b>b</b> の値がおかしくなります。
+Δは対角成分に特異値が並んだ行列です。

@@ Line 1: / Line 1: @@
 ==回帰分析==
-回帰分析には 1 変量の単回帰 (univariate linear regression) と多変量の重回帰 (multivariate linear regression) があります。モデルしたい変量を y (目的変量）、説明に使う変量を x 、係数を b で表します。
+回帰分析には 1 変量の単回帰 (univariate linear regression) と多変量の重回帰 (multivariate linear regression) があります。モデルしたい変量を y (目的変量）、説明に使う変量を x 、係数を b で表します（ b<sub>0</sub> は定数項）。
 ;(重)回帰モデル : y = b<sub>0</sub> + x<sub>1</sub> b<sub>1</sub> + x<sub>2</sub> b<sub>2</sub> + ... + x<sub>n</sub> b<sub>n</sub>　（つまり y を複数の変量 x<sub>1</sub>～x<sub>n</sub> の線形結合でモデルするやり方）
-y を目的変量、x を説明変量、b を回帰係数といいます。 b<sub>0</sub> は定数項です。特に 1 変数の場合を単回帰モデルといいます。ここでは最適パラメータを求める最小二乗法の説明のために単回帰を使います。
+特に 1 変数の場合を単回帰モデルといいます。
 : y<sub>1</sub> = b<sub>0</sub> + x<sub>1</sub> b<sub>1</sub> + r<sub>1</sub>
-: y<sub>2</sub> = b<sub>0</sub> + x<sub>2</sub> b<sub>1</sub> + r<sub>1</sub>
+: y<sub>2</sub> = b<sub>0</sub> + x<sub>2</sub> b<sub>1</sub> + r<sub>2</sub>
-: y<sub>3</sub> = b<sub>0</sub> + x<sub>3</sub> b<sub>1</sub> + r<sub>1</sub>
+:   :          :
-:  :
+: y<sub>n</sub> = b<sub>0</sub> + x<sub>n</sub> b<sub>1</sub> + r<sub>n</sub>
-というデータがあると仮定しましょう。
+線形代数における行列のランク落ちとは、線形独立な変数の数が次数より少ない状態を指します。