chapter5-逻辑斯谛回归-LogisticRegression
statistics learning
1.浅谈线性回归
由于前面最小二乘法和梯度下降算法，已经大力讨论了回归模型，因此，本章只进行简单的回顾回归模型。分析线性回归原理和与最小二乘法之间的区别。
线性回归与最小二乘法的最大区别，就在于损失函数的迭代。也就是如何优化损失函数。最小二乘法顾名思义，就是采用最小二乘法进行迭代，损失函数如下：
$$
J(\theta_0,\theta_1,\cdots,\theta_j) =\sum_{i=1}^m(h_θ(x_0^{(i)},x_1^{(i)},\cdots,x_j^{(i)}) - y^{(j)})^2=\sum_{i=1}^n(\sum_{j=1}^m\theta_jx_j^{(i)}-y^{(i)})^2
$$
对损失函数求导为，更新参数$\theta$：
$$
\theta = (X^TX)^-1X^TY
$$
对于线性回归算法来说，就是利用梯度下降算法，损失函数如下：
$$
J(\theta_0,\theta_1,\cdots,\theta_j) =\frac{1}{2m}\sum_{i=1}^m(h_θ(x_0^{(i)},x_1^{(i)},\cdots,x_j^{(i)}) - y^{(j)})^2=\frac{1}{2m}\sum_{i=1}^n(\sum_{j=1}^m\theta_jx_j^{(i)}-y^{(i)})^2
$$
对损失函数求偏导，更新参数$\theta$：
$$
\theta = \theta-\alpha X^T(\theta X-Y)
$$
