读论文系列·SSD

转载请注明作者：梦里茶

Single Shot MultiBox Detector

Introduction

一句话概括：SSD就是关于类别的多尺度RPN网络

基本思路：

基础网络后接多层feature map
多层feature map分别对应不同尺度的固定anchor
回归所有anchor对应的class和bounding box

Model

输入：300x300
经过VGG-16（只到conv4_3这一层）
经过几层卷积，得到多层尺寸逐渐减小的feature map
每层feature map分别做3x3卷积，每个feature map cell(又称slide window)对应k个类别和4个bounding box offset，同时对应原图中6（或4）个anchor(又称default box)
- 38x38, 最后3x3, 1x1三个feature map的每个feature map cell只对应4个anchor，分别为宽高比: 1:1两种，1:2, 2:1两种，因此总共有 38 x 38 x 4 + 19 x 19 x 6 + 10 x 10 x 6 + 5 x 5 x 6 + 3 x 3 x 4 + 1 x 1 x 4 = 8732 个anchor
- 其他feature map的feature map cell对应6个anchor，分别为宽高比: 1:1两种，1:2, 2:1两种，1:3， 3:1两种
- 每层的feature map cell对应的anchor计算方法如下
  - 位置：假设当前feature map cell是位于第i行，第j列，则anchor的中心为 $\frac{i+0.5}{|f_{k}|},\frac{j+0.5}{|f_{k}|}$ , $f_{k}$ 是第k层feature map的size（比如38）
  - 缩放因子:
  其中 $s_{min}$ 为0.2， $s_{max}$ 为0.9，m为添加的feature map的层数，缩放因子就是为不同feature map选择不同的大小的anchor，要求小的feature map对应的anchor尽量大，因为越小的feature map，其feature map cell的感受野就越大
- anchor宽高：
  其中， $a_{r}∈\{1,2,3,1/2,1/3\}$ ，可以理解为在缩放因子选择好anchor尺寸后，用 $a_{r}$ 来控制anchor形状，从而得到多尺度的各种anchor，当 $a_{r}=1$ 时，增加一种 $s_{k}=sqrt(s_{k-1}s_{k+1})$ ，于是每个feature map cell通常对应6种anchor。
网络的训练目标就是，回归各个anchor对应的类别和位置

Training

样本

正样本选择与bounding box jaccard overlap（两张图的交集/并集）大于0.5的anchor作为正样本
样本比例 Hard negative mining：由于负样本很多，需要去掉一部分负样本，先整图经过网络，根据每个anchor的最高类置信度进行排序，选择置信度靠前的样本，这样筛选出来的负样本也会更难识别，并且最终正负样本比例大概是1:3

Loss

还是一如既往的location loss + classification loss，并为location loss添加了系数α（然而实际上α=1）进行平衡，并在batch维度进行平均

$x$ 是 $x_{ij}^{p}$ 的集合 $x_{ij}^{p}={1,0}$ ，用于判断第i个anchor是否是第j个bounding box上的p类样本
$c$ 是 $c_{i}^{p}$ 的集合， $c_{i}^{p}$ 是第i个anchor预测为第p类的概率
l是预测的bounding box集合
g是ground true bounding box集合