半监督学习入门

xmubingo · 发表于 2013-5-30 19:11:35

本帖最后由 xmubingo 于 2013-5-30 19:44 编辑

当我们发现，标记的样本很少，而未标记的样本很多的时候，怎么办？

采用半监督方法，例如self-training(又叫做self-teaching或bootstrapping)：

QQ截图20130530191011.png

初始化： L是有少量有类标数据，U是大量无类标数据，重复如下步骤
1. 基于训练集L构建分类器h
2. 利用分类器h对U进行分类预测
3. 将预测结果里置信度高的样本记作U'（置信度可以用熵来衡量，熵越小，置信度越大。例如0.7-0.3置信度比0.5-0.5大）
4. L = U' + L
5. U = U - U'

这样训练集不断加大，理论上半监督的方法会比直接用少量L训练的有监督方法好。另外还有co-training，tri-training等等训练方法。

self-training.ppt (424 KB, 下载次数: 5)

xmubingo · 发表于 2013-5-30 19:22:43

本帖最后由 xmubingo 于 2013-5-30 20:25 编辑

2008年ACL的tutorial就是关于半监督。http://ssl-acl08.wikidot.com/start
其中，Xiaojin (Jerry) Zhu在半监督方面很有建树，经常在论文中见到这作者。貌似他出书后就改做图模型了。汗。也可以关注Olivier Chapelle。
Jerry Zhu的个人主页：http://pages.cs.wisc.edu/~jerryzhu/
Olivier Chapelle的个人主页：http://olivier.chapelle.cc/index.html

Jerry Zhu在2009写的一本书《Introduction of Semi-supervised learning》
感谢爱问，哈哈，这pdf被某个鸟人看过了，里面有些注释，不过不影响阅读

Introduction of Semi-supervised learning.pdf (1.22 MB, 下载次数: 4)

Jerry Zhu2009年暑期学校的tutorial

sslchicago09.pdf (4.38 MB, 下载次数: 3)

Jerry Zhu和John Blitzer在ACL2008年上做的tutorial

ssl_tutorial.pdf (2.63 MB, 下载次数: 6)

Jerry Zhu在ICML2007年上做的tutorial

sslicml07.pdf (2.48 MB, 下载次数: 3)

tutorial都差不多，选一个仔细看完。

xmubingo · 发表于 2013-5-30 19:33:45

相关软件专用帖：

Semi-Supervised Learning Software http://pages.cs.wisc.edu/~jerryzhu/ssl/software.html

liuchu · 发表于 2013-5-30 19:35:33

orz,学习了

hsc · 发表于 2013-5-31 09:57:11

向高手学习~

半监督学习入门

相关帖子

浏览过的版块