多元线性回归问题

Hey

Machine Learning notes

多元线性回归问题

1. 代价函数 (整体数据集)，损失函数 (对于每个数据的误差)

2. learning_rate (从小的尝试比如 0.0006)

scaling the features (特征缩放)— 适用与梯度下降改进 -Mean normalization (均值归一化)

1.min-max标准化

X(每个数据) - U(特征值均值))/(Max-Min)

2.Z-score标准化方法

X(每个数据) - U(特征值均值))/(std)

3.归一化

把数据变成(0,1)或者(1,1)之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速 

normal equation (正规方程) or Gradient Descent

1. normal equation is suitable for samll features (计算量比较大)

2. Gradient descent is suitable for a large number for features(
   )
   但是受数据的影响较大，所以对与 Gradient descent 来说需要进行 feature scaling)

3. normalize equation (正规方程) 的公式推导 代价函数

   $$J(\theta )=J({\theta }_0,\dots ,{\theta }_n)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$$$J(\theta )=\frac{1}{2m}(X\theta -y{)}^T(X\theta -y)$$$$J(\theta )={\theta }^T{X}^{T}X\theta -(X\theta {)}^{T}y-y^{T}X\theta +y^{T}y$$$$J(\theta )={\theta }^T{X}^{T}X\theta -2(X\theta {)}^{T}y+y^{T}y$$$$\frac{\partial }{\partial \theta }J(\theta )=2X^{T}X\theta -2X^{T}y=0$$

   ​ $\theta =(X^{T}X{)}^{-1}{X}^{T}y$

4. 矩阵不可逆：

   1. 矩阵存在线性相关的特征之值

   2. 矩阵所对应的行列式为 0