本节主要介绍 支撑向量机SVM, 以及使用 scikit-learn 对一个 线性问题 进行分类。
理论部分
一、为什么叫”支撑\Support”?
正是由这些 “支撑的向量”, 才把中间的分割线给定出来。
机器学习的问题也变成 最优值求解问题 ,SVM 就是要 最大化margin。
二、如何计算d间距?
推出的一个结论就是:SVM的最优化问题是在限定条件下的最优化问题:
三、Soft Margin 和 SVM 的正则化?
Hard Margin || Soft Margin
对 s.t. 条件进行宽松
C 越大,越倾向于 hard Margin。
实战部分
一、数据处理 - 标准化处理
和KNN一样,要做数据标准化处理!
二、线性 SVM
SVC : Support Vector Classify