机器学习: 逻辑回归

机器学习的笔记, 主要参考吴恩达的机器学习线上课, 以及"AI引论"课程.

2021.5.31, 2024.3.25

1 Hypothesis

虽然叫做逻辑回归(logistic regression), 但是是用于分类的模型.

对于一个二分类问题, 数据集 $D={\{({\mathit{x}}^{(i)},y^{(i)})\}}_{i=1}^N$, 其中 $y^{(i)}\in \{0,1\}$. Logistic回归假设可以用超平面 $${\mathit{\theta }}^{\mathsf{T}}\mathit{x}=0$$ 分开两类, 即当 ${\mathit{\theta }}^{\mathsf{T}}\mathit{x}<0$ 时(负类), 标签 $y=0$; ${\mathit{\theta }}^{\mathsf{T}}\mathit{x}\ge 0$ 时(正类), 标签 $y=1$. 我们进一步假设样本服从sigmoid函数的分布, 即标签 $y=1$ 的概率为 $$p(y=1|\mathit{x};\mathit{\theta })=\mathrm{sigmoid}({\mathit{\theta }}^{\mathsf{T}}\mathit{x})={(1+\exp (-{\mathit{\theta }}^{\mathsf{T}}\mathit{x}))}^{-1}.$$

这个累积分布函数 $$\mathrm{sigmoid}(x):=\frac{1}{1+\exp (-x)}$$ 满足一些性质, 例如严格单调增加, 图像关于点$(0,\frac{1}{2})$对称, 光滑性等.

自然, 标签 $y=0$​ 的概率 $$p(y=0|\mathit{x};\mathit{\theta })=1-\mathrm{sigmoid}({\mathit{\theta }}^{\mathsf{T}}\mathit{x})=\mathrm{sigmoid}(-{\mathit{\theta }}^{\mathsf{T}}\mathit{x}).$$

• 上面第二个等号用到了sigmoid函数的对称性.
• 注意到 $p(y=1|\mathit{x};\mathit{\theta })\ge \frac{1}{2}$ 当且仅当 ${\mathit{\theta }}^{\mathsf{T}}\mathit{x}\ge 0$​.

假设函数: 相较于线性回归, Logistic回归的假设函数是线性函数 $g(\mathit{x})={\mathit{\theta }}^{\mathsf{T}}\mathit{x}$ 和sigmoid函数的复合, $$h_{\theta }(\mathit{x})=\frac{1}{1+\exp (-{\mathit{\theta }}^{\mathsf{T}}\mathit{x})}.$$

决策边界(decision boundary): 两类边界上的数据点构成的图形, 即超平面 ${\mathit{\theta }}^{\mathsf{T}}\mathit{x}=0$.

实际上, 可以在 $\mathit{x}$ 中引入非线性项, 使得决策边界为曲面.

例如, $h_{\theta }(\mathit{x})=-1+0x_1+0x_2+1x_1^2+1x_2^2$的决策边界 $$\begin{array}{rl}C:-1+0x_1+0x_2+1x_1^2+1x_2^2& =0,\\ x_1^2+x_2^2& =1\end{array}$$ 是平面直角坐标系$x_{1}O{x}_2$中的单位圆.

2 Maximum Likelihood Estimation

如果我们使用线性回归的方差损失函数 $$J(\theta )=\frac{1}{N}\sum _{i=1}^N\frac{1}{2}(h_{\theta }({\mathit{x}}^{(i)})-y^{(i)}{)}^2,$$ 由于假设函数非线性, 所以损失函数是非凸函数, 梯度下降不能保证收敛到全局最小值, 在这里我们采用另一种思路, 即最大似然估计(MLE).

对于模型 $h_{\theta }(\mathit{x})$, 把数据集 $D$ 由这个模型生成的概率 $$p(y|\mathit{x};\mathit{\theta })=\prod _{i=1}^N{h}_{\theta }({\mathit{x}}^{(i)}{)}^{y^{(i)}}[1-h_{\theta }({\mathit{x}}^{(i)}){]}^{1-y^{(i)}}$$ 称为似然函数, 记作 $L(h_{\theta })$. 我们假设似然函数取最大值, 也就是说, 最终找到的模型 $h_{\theta }$ 应当是最有可能生成出数据集 $D$ 的那个模型.

为了方便计算机计算, 取对数得到对数似然, $$\ell (h_{\theta })=\log (L(h_{\theta }))=\sum _{i=1}^N[y^{(i)}\log h_{\theta }({\mathit{x}}^{(i)})+(1-y^{(i)})\log [1-h_{\theta }({\mathit{x}}^{(i)})]].$$

• 当预测值与真实值非常接近时, 损失接近 $0$; 当预测值与真实值的相反类接近时, 损失趋于 $+\mathrm{\infty }$​.

最终得到代价函数为 $$J(h_{\theta })=-\frac{1}{N}\ell (h_{\theta }).$$ 最大似然即最小化损失函数.

Note. 线性回归的MLE方法. 对于线性回归, 一般认为确定平方差函数作为代价函数(经验风险最小化, ERM), 实际上可以用MLE解释.

模型 $h_{\theta }(\mathit{x})={\mathit{\theta }}^{\mathsf{T}}\mathit{x}$; 假设数据 ${\mathit{x}}^{(i)},y^{(i)}$ 服从带有(正态分布)误差的线性关系, 即 $$y^{(i)}=h_{\theta }({\mathit{x}}^{(i)})+{ϵ}^{(i)},ϵ\sim N(0,{\sigma }^2).$$ 于是, 似然函数 $$L(h_{\theta })=p(y|\mathit{x};\mathit{\theta })=\prod _{i=1}^N\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left[\frac{-1}{2{\sigma }^2}{(y^{(i)}-h_{\theta }({\mathit{x}}^{(i)}))}^2\right],$$ 损失函数 $$J(h_{\theta })=-\frac{1}{N}\log L(h_{\theta })=\frac{1}{N}\sum _{i=1}^N[\frac{1}{2}\log \left(2\pi {\sigma }^2\right)+\frac{1}{2{\sigma }^2}{(y^{(i)}-h_{\theta }({\mathit{x}}^{(i)}))}^2].$$ 可以发现, 损失函数与平方差函数具有相同的梯度(相差一个正常数), 两者会得出相同的最优解.

3 Gradient Descent

3.1 Derivation

我们可以用梯度下降算法求得最佳参数, 首先对代价函数求导得到 $$\frac{\partial J}{\partial \mathit{\theta }}=\frac{1}{N}\sum _{i=1}^N(h_{\theta }({\mathit{x}}^{(i)})-y^{(i)}){\mathit{x}}^{(i)}.$$

具体推导过程: 先计算

$$\begin{array}{r}\frac{\partial h_{\theta }}{\partial \mathit{\theta }}=\frac{\mathrm{d}\mathrm{sigmoid}(g)}{\mathrm{d}g}\cdot \frac{\partial g}{\partial \mathit{\theta }}=h_{\theta }(1-h_{\theta })\mathit{x}.\end{array}$$ (其中 $g(\mathit{x})={\mathit{\theta }}^{\mathsf{T}}\mathit{x}$) 对代价函数求偏导, 有 $$\begin{array}{rl}\frac{\partial J}{\partial \mathit{\theta }}& =-\frac{1}{N}\sum _{i=1}^N[y^{(i)}\frac{1}{h_{\theta }({\mathit{x}}^{(i)})}\frac{\partial h_{\theta }}{\partial \mathit{\theta }}-(1-y^{(i)})\frac{1}{1-h_{\theta }({\mathit{x}}^{(i)})}\frac{\partial h_{\theta }}{\partial \mathit{\theta }}]\\ & =-\frac{1}{N}\sum _{i=1}^N[y^{(i)}\frac{1}{h_{\theta }({\mathit{x}}^{(i)})}-(1-y^{(i)})\frac{1}{1-h_{\theta }({\mathit{x}}^{(i)})}]\frac{\partial h_{\theta }}{\partial \mathit{\theta }}\\ & =-\frac{1}{N}\sum _{i=1}^N[y^{(i)}\frac{1}{h_{\theta }({\mathit{x}}^{(i)})}-(1-y^{(i)})\frac{1}{1-h_{\theta }({\mathit{x}}^{(i)})}]h_{\theta }({\mathit{x}}^{(i)})(1-h_{\theta }({\mathit{x}}^{(i)})){\mathit{x}}^{(i)}\\ & =-\frac{1}{N}\sum _{i=1}^N[y^{(i)}(1-h_{\theta }({\mathit{x}}^{(i)}))-(1-y^{(i)})h_{\theta }({\mathit{x}}^{(i)})]{\mathit{x}}^{(i)}\\ & =-\frac{1}{N}\sum _{i=1}^N(y^{(i)}-h_{\theta }({\mathit{x}}^{(i)})){\mathit{x}}^{(i)}\\ & =\frac{1}{N}\sum _{i=1}^N(h_{\theta }({\mathit{x}}^{(i)})-y^{(i)}){\mathit{x}}^{(i)}.\end{array}$$

这样我们就可以用下面的方法来更新参数 $\mathit{\theta }$: $$\begin{array}{rl}& \mathsf{\text{Repeat until convergence {}}\\ & \mathit{\theta }:=\mathit{\theta }-\frac{\alpha }{N}\sum _{i=1}^N(\frac{1}{1+\exp (-{\mathit{\theta }}^{\mathsf{T}}{\mathit{x}}^{(i)})}-y^{(i)}){\mathit{x}}^{(i)}\\ & \text{}}\end{array}$$ 可以发现, 似然代价函数的偏导和线性回归中的方差代价函数的偏导看起来一样, 唯一的差异是假设函数 $h_{\theta }(\mathit{x})$ 不同.

3.2 Optimization

算法优化:

• Conjugate gradient
• BFGS
• L-BFGS

它们的优点:

• 不需要手动选择学习率 $\alpha$.
• 通常比梯度下降快.

缺点: 复杂.

4 Multi-Class Classification

一对多(one-vs-all)或一对余(one-vs-rest): 将多元分类问题转化为多个二元分类问题.

• 对于每个类 $k\in \{1,2,\dots ,K\}$, 将其当作正类, 其余当作负类, 训练得到一个分类器 $h_{\theta }^{(k)}(\mathit{x})$.

  那么对于每个新的测试数据 ${\mathit{x}}^{(i)}$, $$h_{\theta }^{(k)}({\mathit{x}}^{(i)})=P(y^{(i)}=k),$$ 我们只需要取概率最大的那个类, $$\mathsf{\text{Predict: }}{y}^{(i)}=\underset{k}{\mathrm{argmax}}{h}_{\theta }^{(k)}({\mathit{x}}^{(i)}).$$

• 此种方法存在一个问题, 即各个分类器是独立的, 无法统一成一个模型. 进而当类别数 $K$​ 较大时, 分别训练各个分类器的代价太高.

可以利用Softmax回归方法解决多分类问题. 共同训练 $K$ 个模型 $f_k(\mathit{x})={\mathit{\theta }}_k^{\mathsf{T}}\mathit{x}$, 标签 $y=k$ 概率 $$p(y=k|\mathit{x},\mathit{\theta })=\frac{\exp f_k(\mathit{x})}{\sum _{j=1}^K\exp f_j(\mathit{x})},$$

• 这里的指数函数可以保证, 当 $f_k(\mathit{x})$ 比其他 $f_j(\mathit{x})$ 大一些时, 概率 $p(y=k)$ 能够比 $p(y=j)$ 大很多.

进而得到似然函数 $$L(\mathit{\theta })=\prod _{i=1}^N\frac{\exp f_{y^{(i)}}({\mathit{x}}^{(i)})}{\sum _{j=1}^K\exp f_j({\mathit{x}}^{(i)})}.$$

5 Overfit & Regularization

一个模型对于测试数据需要有一定的假设, 即偏见(bias). 偏见的存在使得我们具有归纳的能力, 即对于相似的事物, 抓住主要相似点, 忽略其次要差异, 将它们归为同一类群; 如果没有偏见, 我们就缺乏归纳的能力. 模型亦如此. 由于模型的偏见不同, 造成的拟合结果也不同:

• 欠拟合(underfit): 高偏见(在训练集上代价过高).
• 合适的拟合.
• 过拟合(overfit): 高方差. 对于$N$个数据的回归问题, 总存在$N-1$次多项式函数能够穿过这些数据点, 但这通常对新的数据预测能力差(在测试集上代价明显高于训练集).

过拟合的原因一般有

1. 某几个特征维度支配了预测, 即 $\mathit{\theta }$ 的某些分量过大.
2. 存在大量无用特征, 但仍赋予了非零权重.

要解决第1个, 可以利用L2正则化(regularization)方法, 即将 $\mathit{\theta }$​ 的L2范数添加到代价函数中(以线性回归为例), $$J(h_{\theta })=\frac{1}{2N}\left[\sum _{i=1}^N{(h_{\theta }({\mathit{x}}^{(i)})-y^{(i)})}^2\right]+\frac{\lambda }{2N}\sum _{j=1}^M{\theta }_j^2$$

• 其中的 ${\theta }_j^2$ 会对较大的权重给出很大的惩罚, 使得权重分配更平均.
• 注意最后的求和是从 $j=1$ 开始的, 即不考虑 ${\theta }_0$ 的大小.
• L2正则化的线性回归也称为岭回归(rindge regression).
• 式中 $\lambda >0$, 称为正则化参数(regularization parameter). 它和学习率 $\alpha$ 一样是在学习前预先设定的, 成为超参数 (hyperparameter). 选择哪种模型, 哪种代价函数, 哪种正则化也可看作超参数. 对于超参数的选择, 一般先找出所有可能的超参数组合, (分别训练完毕后)在验证集(validation set)上找出误差最小的超参数集.

要解决第2个, 可以手动选择要保留的特征, 或使用模型选择算法; 也可以利用L1正则化方法, 即将 $\mathit{\theta }$ 的L1范数添加到代价函数中(以线性回归为例), $$J(h_{\theta })=\frac{1}{2N}\left[\sum _{i=1}^N{(h_{\theta }({\mathit{x}}^{(i)})-y^{(i)})}^2\right]+\frac{\lambda }{N}\sum _{j=1}^M|{\theta }_j|$$

• 鼓励稀疏的 $\mathit{\theta }$​, 即大部分维度的权重为零.
• L1正则化的线性回归也称为Lasso回归.

以线性回归+L2正则化为例, 新的代价函数的导数是 $$\frac{\partial J}{\partial \mathit{\theta }}=\frac{1}{N}\sum _{i=1}^N(h_{\theta }({\mathit{x}}^{(i)})-y^{(i)}){\mathit{x}}^{(i)}+\frac{\lambda }{N}\mathit{\theta }$$ 迭代中更新的步骤(注意 ${\theta }_0$ 要单独更新): $$\begin{array}{rl}\mathit{\theta }& :=\mathit{\theta }-\alpha [\frac{1}{N}\sum _{i=1}^N(h_{\theta }({\mathit{x}}^{(i)})-y^{(i)}){\mathit{x}}^{(i)}+\frac{\lambda }{N}\mathit{\theta }]\\ & =(1-\alpha \frac{\lambda }{N})\mathit{\theta }-\alpha \frac{1}{N}\sum _{i=1}^N(h_{\theta }({\mathit{x}}^{(i)})-y^{(i)}){\mathit{x}}^{(i)}\end{array}$$ 可以关注到蓝色的部分是略小于 $1$ 的数, 它在每次迭代的时候都把 $\mathit{\theta }$ 变小一点点.