weka下的参数优化和搜索算法

xmubingo

1. classify - meta  -  CVParameterSelection

可以自定义参数个数和搜索范围。搜索全部可能的点。

优点：参数个数可以自定义
缺点：时间很长。比如SVM的C和G参数，每个参数搜索10个可能的点，那么一共需要跑10*10次的交叉验证。

2. classify - meta - GridSearch

只能进行二维搜索，也就是参数只能两个。

先用2-fold交叉验证快速找到全局最优解，然后对全局最优解周边的点进行10-fold交叉验证得到局部最优解，依次用爬山法寻找隔壁的更好的解。直到陷入。

缺点：只能进行二维空间搜索
优点：时间略短，空间太大，步长小的时候还是耗时

这里GridSearch的参数设置很需要技巧。感谢邱诚的帮助，我顺便写下注意的东西。



其他参数都好理解。关键是Xproperty和Yproperty需要自己设定，和LibSVM里的参数名字一一对应。在过滤器中的设置选择AllFilter，也就是不需要过滤。否则会报出各种class和attribute错误。

3. select attributes - search method - PSOSearch

还有个PSO搜索算法是辅助应用在特征选择上，这个大家比较熟悉。


总结：搜索算法急需并行化，不然大数据的CV很耗时、