備忘的にメモ。

平方和の分解

回帰直線 ${y=\hat\alpha+\hat\beta x}$ を用いるとき、応答変数(目的変数)の変動の大きさを表す平方和 ${S_y}$ は、回帰による平方和 ${S_e}$ と残差平方和 ${S_e}$ の和 ${S_y=S_R + S_e}$ の形に分解できる。
観測値 ${y_i}$ の平方和の式を変形すると

となる。
ここで、右辺第３項は予測値と残差の偏差積和を表すが、予測値と残差の相関係数が０であるため、この項は０。

また、第１項と第２項を入れ替え、

と観測値 ${y_i}$ の平方和 ${S_y}$ は２つの平方和の和の形に分解できる。
ここで、右辺の第１項は回帰による平方和 ${S_R}$ (RはRegressionを指す)、第２項は残差平方和 ${S_e}$ と呼ぶ。

決定係数

上記、平方和の分解のうち、 ${y}$ の平方和の中の回帰による平方和の割合
${ R ^2 = S_R / S_y}$
を決定係数、又は寄与率と呼ぶ。
理解しやすいように以下にまとめると、
- ${S_y}$ ：応答変数yの変動の大きさを表す
- ${S_R}$ ：回帰直線によって説明される部分
- ${S_e}$ ：回帰直線によって説明されない部分となる。