梦里风林
  • Introduction
  • Android
    • activity
      • Activity四种启动模式
      • Intent Flag
      • 多task的应用
      • Task和回退栈
    • sqlite
      • 【源码】CursorWindow读DB
      • Sqlite在Android上的一个Bug
    • Chromium
    • ListView读取DB数据最佳实践
    • Android Project结构
    • 一个由Proguard与FastJson引起的血案
    • 琐碎的一些tips
  • Computer Vision
    • 特征提取
    • 三维视觉
    • 计算机视觉常用工具
    • 浅谈深度学习数据集设计
    • 随笔
  • Machine Learning
    • 技巧
      • FaceBook: 1 hour training ImageNet
      • L2 Norm与L2 normalize
    • 实践
      • Pytorch实验代码的亿些小细节
    • 工具
      • Tensorflow学习笔记
      • MXNet踩坑手记
      • PyTorch踩坑手记
      • PyTorch模型剪枝
      • Keras踩坑手记
      • mscnn
      • Matlab
        • Matlab Remote IPC自动化数据处理
    • Papers
      • Classification
      • Re-identification
        • CVPR2018:TFusion完全解读
        • ECCV2018:TAUDL
        • CVPR2018:Graph+reid
        • Person Re-identification
        • CVPR2016 Re-id
        • Camera topology and Person Re-id
        • Deep transfer learning Person Re-id
        • Evaluate
      • Object Detection
        • 读论文系列·干货满满的RCNN
        • 读论文系列·SPP-net
        • 读论文系列·Fast RCNN
        • 读论文系列·Faster RCNN
        • 读论文系列·YOLO
        • 读论文系列·SSD
        • 读论文系列·YOLOv2 & YOLOv3
        • 读论文系列·detection其他文章推荐
      • Depth
      • 3D vision
        • 数据集相关
        • 光流相关
      • Hashing
        • CVPR2018: SSAH
      • 大杂烩
        • CNCC2017 琐记
        • ECCV 2016 Hydra CCNN
        • CNCC2017深度学习与跨媒体智能
        • MLA2016笔记
    • 《机器学习》(周志华)读书笔记
      • 西瓜书概念整理
        • 绪论
        • 模型评估与选择
        • 线性模型
        • 决策树
        • 神经网络
        • 支持向量机
        • 贝叶斯分类器
        • 集成学习
        • 聚类
        • 降维与度量学习
        • 特征选择与稀疏学习
        • 计算学习理论
        • 半监督学习
        • 概率图模型
        • 规则学习
        • 强化学习
        • 附录
  • Java
    • java web
      • Servlet部署
      • 琐碎的tips
    • JNI
    • Note
    • Effective Java笔记
  • 后端开发
    • 架构设计
    • 数据库
    • java web
      • Servlet部署
      • 琐碎的tips
    • Spring boot
    • django
    • 分布式
  • Linux && Hardware
    • Ubuntu安装与初始配置
    • 树莓派相关
      • 树莓派3B+无线网卡监听模式
      • TP-LINK TL-WR703N v1.7 openwrt flashing
  • Python
    • django
    • 原生模块
    • 设计模式
    • 可视化
    • 常用库踩坑指南
  • web前端
    • header div固定,content div填充父容器
    • json接口资源
  • UI
  • kit
    • vim
    • git/github
      • 刷爆github小绿点
    • Markdown/gitbook
      • 琐碎知识点
      • gitbook添加disqus作为评论
      • 导出chrome书签为Markdown
      • Markdown here && 微信公众号
    • LaTex
      • LaTex琐记
    • 科学上网
    • 虚拟机
  • thinking-in-program
    • 怎样打日志
  • 我的收藏
  • 琐记
    • 论文心得
    • 深圳买房攻略
  • 赞赏支持
由 GitBook 提供支持
在本页

这有帮助吗?

  1. Machine Learning
  2. 《机器学习》(周志华)读书笔记
  3. 西瓜书概念整理

支持向量机

第6章 支持向量机

  • Page121: 划分超平面

    超平面是将N维空间分成两个闭半空间的N-1维的仿射空间。划分超平面则是把两类数据集样本划分开来的超平面。

  • Page122: 支持向量

    支持平面上把两类划分开来的超平面的向量点,即距离超平面最近的几个训练样本点。

  • Page122: 间隔

    两个异类支持向量到超平面的距离之和为间隔,γ=2∥ω∥\gamma = \frac{2}{\parallel \omega \parallel }γ=∥ω∥2​.

  • Page123: SVM

    min⁡ω,b12∥ω∥2\min_{\omega,b} \frac{1}{2}\parallel \omega \parallel ^{2}minω,b​21​∥ω∥2 s.t. yi(ωTxi+b)⩾1,i=1,2,...,my_i(\omega ^{T}x_i+b)\geqslant 1, i=1,2,...,myi​(ωTxi​+b)⩾1,i=1,2,...,m

  • Page123: 对偶问题(405)(dual problem)

    在求最小值的原问题里,其对偶问题提供了一个下界(lower bound)。

  • Page124: KKT条件(124,132,135)(Karush-Kuhn-Tucker)

    • αi⩾1\alpha _i\geqslant 1αi​⩾1

    • yif(xi)−1⩾0y_i f(x_i)-1\geqslant 0yi​f(xi​)−1⩾0

    • αi(yif(xi)−1)=0\alpha _i(y_if(x_i)-1)=0αi​(yi​f(xi​)−1)=0 - Page126: 核函数

      可以看成是一种映射,不仅可以是点对点的映射,还可以是一个分布对点的映射。

  • Page127: 核技巧(kernel trick)

    xix_ixi​与xjx_jxj​在特征空间的内积等于它们在原始样本空间中通过函数κ(·,·)计算的结果。

  • Page127: 支持向量展式

    模型最优解课通过训练样本的核函数展开。

  • Page128: 核矩阵(138,233)

    K=[κ(x1,y1)⋯ κ(x1,yj)⋯ κ(x1,ym)⋮⋱⋮⋱⋮κ(xi,y1)⋯ κ(xi,yj)⋯ κ(xi,ym)⋮⋱⋮⋱⋮κ(xm,y1)⋯ κ(xm,yj)⋯ κ(xm,ym)]K=\begin{bmatrix}\kappa(x_1,y_1) & \cdots\ & \kappa(x_1,y_j) & \cdots\ &\kappa(x_1,y_m)\\ \vdots & \ddots & \vdots & \ddots & \vdots \\ \kappa(x_i,y_1) & \cdots\ & \kappa(x_i,y_j) & \cdots\ & \kappa(x_i,y_m)\\ \vdots & \ddots & \vdots & \ddots & \vdots \\ \kappa(x_m,y_1) & \cdots\ & \kappa(x_m,y_j) & \cdots\ & \kappa(x_m,y_m)\\ \end{bmatrix}K=​κ(x1​,y1​)⋮κ(xi​,y1​)⋮κ(xm​,y1​)​⋯ ⋱⋯ ⋱⋯ ​κ(x1​,yj​)⋮κ(xi​,yj​)⋮κ(xm​,yj​)​⋯ ⋱⋯ ⋱⋯ ​κ(x1​,ym​)⋮κ(xi​,ym​)⋮κ(xm​,ym​)​​ 形为这样的核函数,可以将低维空间映射为高维空间,将原来线性不可分的分布转化为线性可分的分布。核函数可以表示高维空间的内积。 此外,核函数必须满足对称性和矩阵半正定。

  • Page128: RKHS

    非线性映射ϕ,它将原始特征空间中的数据点映射到另一个高维空间中,这个高维空间称为再生核希尔伯特空间(Reproducing Kernel Hilbert Space),简称RKHS。

  • Page128: 高斯核

    高斯核函数是最常用的径向基函数。

  • Page128: 线性核

    线性核函数是κ(xi,yi)=xiTxj\kappa(x_i,y_i)=x_i^Tx_jκ(xi​,yi​)=xiT​xj​;多项式核是κ(xi,yi)=(xiTxj)d\kappa(x_i,y_i)=(x_i^Tx_j)^dκ(xi​,yi​)=(xiT​xj​)d,即d为1时退化为线性核。

  • Page129: 软间隔

    允许支持向量机在一些样本上出错,即允许某些样本不满足约束。

  • Page129: 硬间隔

    要求所有样本均满足约束,即所有样本都划分正确。

  • Page130: 0/1损失函数(page147)

    $$ l_{0/1}(z) = \left{ \begin{array}{rl} 1, &\mbox{ if $z<0$} \ 0, &\mbox{ otherwise} \end{array} \right. $$

  • Page130: 替代损失

    0/1损失函数不易直接求解(非连续,不是convex),所以通常会用其他函数来替代求解,也叫替代损失。

  • Page130: hinge损失

    lhinge(z)=max⁡(0,1−z)l_{hinge}(z)=\max(0,1-z)lhinge​(z)=max(0,1−z),采用hinge损失函数,则优化目标变成min⁡w,b12∣∣w∣∣2+C∑i=1mmax(0,1−yi(wTxi+b))\min_{w,b}\frac{1}{2}||w||^2+C\sum_{i=1}^{m}max(0,1-y_i(w^Tx_i+b))minw,b​21​∣∣w∣∣2+C∑i=1m​max(0,1−yi​(wTxi​+b))

  • Page130: 指数损失(173)

    lexp(z)=exp⁡(−z)l_{exp}(z)=\exp(-z)lexp​(z)=exp(−z)

  • Page130: 对率损失

    llog(z)=log⁡(1+exp⁡(−z))l_{log}(z)=\log(1+\exp(-z))llog​(z)=log(1+exp(−z))

  • Page130: 松弛变量

    松弛变量,即slack variablesξi\xi_iξi​

  • Page131: 软间隔支持向量机

    引入了松弛变量ξi\xi_iξi​,式子可重写为:

    \begin{align*}& \min_{w,b}\frac{1}{2}||w||^2+C\sum_{i=1}^{m}max(0,1-y_i(w^Tx_i+b))\\& \begin{array}{r@{\quad}r@{}l@{\quad}l}s.t.&yi(w^Tx_i+b)\geq1-\xi_i\\ &\xi_i\geq0, i=1,2\ldots,m \\\end{array} .\end{align*}

  • Page133: 结构风险

    描述模型f的性质,Ω(f)\Omega(f)Ω(f).

  • Page133: 经验风险

    描述模型和训练数据的契合程度,可以理解为误差。

  • Page133: 罚函数法

    正则化。对不希望得到的结果施以惩罚,从而使得优化过程趋向于希望目标。

  • Page133: 支持向量回归

    Support Vector Regression(SVR)其实是对误差的计算加了一个误差容忍值epsilon(即ϵ\epsilonϵ),即落入这个ϵ\epsilonϵ误差范围内的不计入误差和中。

  • Page137: 核方法

    这一系列基于核函数的学习方法统称为核方法。最常见的是将线性学习器拓展为非线性学习器。如把线性不可分的低维分布通过方法转成线性可分的高维分布。

  • Page137: Mercer定理

    任何半正定的函数都可以作为核函数。

  • Page137: 表示定理

    优化问题的解总可用核函数表示。

  • Page137: 核化(232)

    引入核函数来解决问题。

  • Page137: 核线性判别分析

    Kernelized Linear Discriminant Analysis(KLDA)是指引入核函数进行线性判别分析。

  • Page139: 割平面法

    Cutting plane algorithm是求全整数规划的一种方法,先松弛求得最优解,再逐步把不符合整数可行解的那一部分可行域通过平面(不等式分割)划分掉。

  • Page140: 多核学习

    使用多个核函数,学习后获得最优凸组合。

  • Page140: 一致性

    相合性。即考虑通过求解替代损失函数得到的解释是否是原问题的解。

上一页神经网络下一页贝叶斯分类器

最后更新于6年前

这有帮助吗?