人工智能实验感知机PLA

目录

人工智能实验感知机PLA

一、 感知机PLA

1. 算法原理

2. 流程图和伪代码

3. 代码展示

4. 创新点

5. 实验结果及分析

二、 逻辑回归

1. 算法原理

2. 流程图和伪代码

3. 代码展示

4. 实验结果及分析

四、 思考题

一、 感知机PLA

1. 算法原理

感知机针对二分类问题进行学习。输入为样本的特征向量$\bold x\in R^n$，输出为类别$y\in{+1,-1}$。

感知机的预测结果为$f(x)=sign(w\cdot x+b)$，其中$sign$为符号函数，在自变量大于0时为1，自变量小于0时为-1。$w$为权值向量，和x的维度相同。b是偏置，为标量。线性方程$w\cdot x+b$对应着特征空间的一个分离超平面，将特征空间分成两个部分，位于两部分的点分别对应正样本和负样本。

感知机利用损失函数对模型参量w和b进行更新学习。将误分类点$(x_i,y_i)$到分离超平面的距离定义为：

假设误分类点的集合为M，且不考虑$-\frac{1}{||w||}$则损失函数为：

可以采用随机梯度下降的方式来优化损失函数。w和b的损失函数梯度分别为：