本节主要介绍 支撑向量机SVM, 以及使用 scikit-learn 对一个 线性问题 进行分类。

理论部分

一、为什么叫”支撑\Support”?

正是由这些 “支撑的向量”, 才把中间的分割线给定出来。

机器学习的问题也变成 最优值求解问题 ,SVM 就是要 最大化margin。

二、如何计算d间距?

推出的一个结论就是:SVM的最优化问题是在限定条件下的最优化问题:

三、Soft Margin 和 SVM 的正则化?

Hard Margin || Soft Margin

对 s.t. 条件进行宽松

C 越大,越倾向于 hard Margin。

实战部分

一、数据处理 - 标准化处理

和KNN一样,要做数据标准化处理!

二、线性 SVM

SVC : Support Vector Classify