多元线性回归问题

Hey

Machine Learning notes

多元线性回归问题

1. 代价函数(整体数据集)，损失函数(对于每个数据的误差)

2. learning_rate(从小的尝试比如0.0006)

scaling the features(特征缩放)—适用与梯度下降改进 -Mean normalization(均值归一化)

1.min-max标准化

X(每个数据) - U(特征值均值))/(Max-Min)

2.Z-score标准化方法

X(每个数据) - U(特征值均值))/(std)

3.归一化

把数据变成(0,1)或者(1,1)之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速 

normal equation(正规方程) or Gradient Descent

1. normal equation is suitable for samll features(计算量比较大)

2. Gradient descent is suitable for a large number for features(
   )
   但是受数据的影响较大，所以对与Gradient descent来说需要进行feature scaling)

3. normalize equation(正规方程)的公式推导 代价函数

   $$J(\theta)=J(\theta_0,\ldots,\theta_n)=\frac {1} {2m} \sum_{i=1}^{m} {(h_\theta(x^{(i)})-y^{(i)})^2}$$ $$J(\theta)=\frac {1}{2m}(X\theta-y)^T(X\theta-y)$$ $$J(\theta)=\theta^TX^TX\theta-(X\theta)^Ty-y^TX\theta+y^Ty$$ $$J(\theta)=\theta^TX^TX\theta-2(X\theta)^Ty+y^Ty$$ $$\frac {\partial}{\partial\theta}J(\theta)=2X^TX\theta-2X^Ty=0$$

   ​ $\theta=(X^TX)^{-1}X^Ty$

4. 矩阵不可逆：

   1.矩阵存在线性相关的特征之值

   2.矩阵所对应的行列式为0