这两天学了下SVM，SVM我觉得其实比起很多其他的机器学习算法更“数学”一些。前几天和房哥羊哥也聊到了这个，于是简单小结一下。
首先，我们要知道SVM是在解决什么问题，他其实要做的是在给定范围下的最优化问题。本来这个问题是需要用到拉普拉斯算子等处理，通过这样一些“高深”的数学方法，这个问题最后可以简化成一个另一个相对简单的优化问题。但这个问题可能会带来很大的计算开销。在下面的例子中，我将高斯核函数的一个简化版的应用呈现，来展示一下其作用。1
2
3
4
5
6
7
8
9import numpy as np
import matplotlib.pyplot as plt
x = np.arange(-4, 5, 1) #array([-4, -3, -2, -1, 0, 1, 2, 3, 4])
y = np.array((x >= -2) & (x <= 2), dtype='int') #array([0, 0, 1, 1, 1, 1, 1, 0, 0])
plt.scatter(x[y==0], [0]*len(x[y==0]))
plt.scatter(x[y==1], [0]*len(x[y==1]))
plt.show()
上面的点是排在一个直线上，用SVM很显然是线性不可分的。能想办法使之线性可分吗？和多项式回归一样，我们可以依靠升维来使之线性可分。为了方便可视化，这里通过采用两个landmark简单升成2维。也就是我们把一个数据点小x，通过landmark映射成了(K(x,landmark1),K(x,landmark2)),这里的K函数就是高斯核函数，因为他和高斯分布的公式结构一致，因此得名。1
2
3
4
5
6
7
8
9
10
11
12
13
14def gaussian(x, l):
gamma = 1.0
return np.exp(-gamma * (x-l)**2)
l1, l2 = -1, 1
X_new = np.empty((len(x), 2))
for i, data in enumerate(x):
X_new[i, 0] = gaussian(data, l1)
X_new[i, 1] = gaussian(data, l2)
plt.scatter(X_new[y==0,0], X_new[y==0,1])
plt.scatter(X_new[y==1,0], X_new[y==1,1])
plt.show()
现在，我们就可以看到原本线性不可分的数据点，变得线性可分了。但对真正的高斯核来说，每一个数据点都是一个landmark。假设原本的数据是m*n的数据，因为每一个数据点都是landmark，我们相当于把这个m*n的数据映射成了m*m，也是“升维”的一种体现。这种方法一般计算开销会大一些，但如果在数据量m小而单数据点特征n多的情况下，反而采用这种方案会好一些。正式采用高斯核函数时，里面会有一个调节范数的超参数gamma，这里也举出一个例子，具体的代码可以在我的Github里面PythonAdvanced里面的Fenkit-learn文件夹(一个使用python实现的sklearn-style的ML轮子库)里面看到，gamma一般来说也需要训练取得一个较好的值。而多项式核函数其实和它原理上也差不太多，也是一定程度上简化了我们表示的难度，有机会再说吧。
