半监督学习

第13章 半监督学习

• Page293: 半监督学习(294)(semi-supervised learning)

  使用未标记样本进行学习

• Page293: 查询(query)

  向专家寻求标记的过程。

• Page293: 未标记样本(unlabeled sample)

  类别标记未知的样本

• Page293: 有标记样本(labeled sample)

  类别标记已知的样本

• Page293: 主动学习(active learning)

  先用已标记样本训练一个模型，拿这个模型进行预测，与专家交互进行标记，然后把这个新获得的有标记样本加入已标记样本集中重新训练一个模型，再去预测和标记，若每次都挑出对改善模型性能帮助大的样本，则只需进行较少的标记就能构建出比较强的模型，从而大幅降低标记成本，这样的学习方式成为“主动学习”，其目标是使用尽量少的“查询”来获得尽量好的性能。

  主动学习引入了额外的专家知识，通过与外界的交互来将部分未标记样本转变为有标记样本。

• Page294: 聚类假设（cluster assumption）

  假设数据存在簇结构，同一个簇的样本属于同一个类别，这是一种将未标记样本所揭示的数据分布信息与类别标记相联系的假设。

• Page295: 直推学习(transductive learning)

  假定学习估计差中所考虑的未标记样本恰是带预测数据，学习的目的就是在这些未标记样本上获得最优泛化性能。不同于纯半监督学习的基于开放世界假设，希望学得模型能适用于训练过程中未观察到的数据，直推学习是基于封闭世界假设，仅试图对学习过程中观察到的未标记数据进行预测。

• Page298: S3VM(Semi-Supervised Support Vector Machine)

  支持向量机在半监督学习上的推广，在不考虑未标记样本时，支持向量机试图找到最大间隔划分超平面，在考虑未标记样本后，S3VM试图找到能将两类有标记样本分开，且穿过数据低密度区域的划分超平面，，这里的基本假设是“低密度分割”，显然，这是聚类假设在考虑了线性超平面划分后的推广。

• Page298: 半监督SVM

  同S3VM

• Page300: 图半监督学习

  给定一个数据集，我们可将其映射为一个图，数据集中每个样本对应于图中一个节点，若两个样本之间的相似度很高（或相关性很强），则对应的结点之间存在一条边，边的“强度”正比于样本之间的相似度（或相关性），将有标记样本所对应的节点想象为染过色，而未标记样本所对应的节点尚未染色，于是半监督学习就对应于“颜色”在图上扩散或传播的过程。由于一个图对应了一个矩阵，这就使得我们能基于矩阵运算来进行半监督学习算法的推导与分析。

• Page301: 亲和矩阵（affinity matrix）

  表达数据集中样本间相关性的矩阵。

• Page302: 标记传播（label propagation）

  根据已有标记，对未标记样本进行标记。

• Page304: 基于分歧的方法

  使用多学习器，学习器之间的分歧对未标记数据的利用至关重要。

• Page304: 协同训练（co-training）

  利用多视图的相容互补性，假设数据拥有两个充分且条件独立视图，“充分”是指每个视图都包含足以产生最优学习器的信息，“条件独立”是指在给定类别标记条件下两个视图独立，在此情形下，首先在每个视图上基于有标记样本分别训练处一个分类器，然后让每个分类器分别去挑选自己“最有把握的”未标记样本赋予伪标记，并将 样本提供给另一个分类器作为新增的有标记样本用于训练更新，这个过程不断迭代进行，直到两个分类器都不再发生变化，或达到预先设定的迭代轮数为止。