Hashing

这篇论文提出了一个结合对抗学习的深度神经网络：

训练目标由这个Loss约束完成：

首先解释一下符号（以下数学符号用LaTeX格式显示，简书不支持公式编辑，更好的阅读体验请查看cweihang.io），

$H^l$ 是根据label生成的hash，

$B^l$是由hash执行sign操作得到的二进制码

$\hat{L}$ 是由特征还原回来的label

$L$ 是原本的label

$\Delta_{ij}^l=\frac{1}{2}(F_i^l)^\top(F_j^l)$ ，即样本i和样本j的label生成的特征的余弦相似度

$\Gamma_{ij}^l=\frac{1}{2}(H_i^l)^\top(H_j^l)$，即样本i和样本j的label生成的特征余弦相似度

$S_{ij}$ 表示样本i和j是否包含至少一个相同的label，

对于 $\mathcal{J}_1$ ,

$-\sum_{i,j=1}^{n}{S_{ij}\Delta_{ij}^{l}-log(1+e^{\Delta_{ij}^l})}$

$= -\sum_{i,j=1}^{n}{log(\frac{e^{S_{ij}\Delta_{ij}^{l}}}{1+e^{\Delta_{ij}^l}})}$

$= -\sum_{i,j=1}^{n}{log(\frac{e^{\Delta_{ij}^{l}}}{1+e^{\Delta_{ij}^l}})} if S_{ij}=1$

$= -\sum_{i,j=1}^{n}{log(\frac{1}{1+e^{\Delta_{ij}^l}})} if S_{ij}=0$

$= \sum_{i,j=1}^{n}-{S_{ij}log(\frac{e^{\Delta_{ij}^{l}}}{1+e^{\Delta_{ij}^l}})-(1-S_{ij})log(1-\frac{e^{\Delta_{ij}^{l}}}{1+e^{\Delta_{ij}^l}})}$

即$S_{ij}=1$时，

$min -\sum_{i,j=1}^{n}{log(\frac{e^{\Delta_{ij}^{l}}}{1+e^{\Delta_{ij}^l}})}=max\sum_{i,j=1}^{n}{log(\frac{1}{1+e^{-\Delta_{ij}^l}})}=max \Delta_{ij}^l$

$S_{ij}=0$ 时，

$min -\sum_{i,j=1}^{n}{log(\frac{1}{1+e^{\Delta_{ij}^l}})}=max\sum_{i,j=1}^{n}{log(\frac{1}{1+e^{\Delta_{ij}^l}})}=min\Delta_{ij}^l$

对于$\mathcal{J}_2$ 同理，从而约束了相似的label具有相似的hash

对于 $\mathcal{J}_3$, 使 $H^l$ 和 $B^l$ 尽可能接近，从而使得Hash向量中的元素尽量接近-1,1，减少了 H -> B 时的损失

对于 $\mathcal{J}_4$ , 使得还原的标签与原来的标签尽可能相同

但又与之前的模型不同，这里的监督信号有标签和标签生成的特征，而之前的监督信号就是输入本身。

$\Delta_{ij}^l=\frac{1}{2}(F_i^{l})^\top(F_j^{v,t})$，即样本i的标签label生成的特征和样本j的输入（图/文）提取的特征的余弦相似度，目标是使提取的特征和生成的特征尽量相近

$\Gamma_{ij}^l=\frac{1}{2}(H_i^l)^\top(H_j^{v,t})$，即样本i的标签label生成的hash和样本j的输入（图/文）提取的hash的余弦相似度，目标是使提取的hash和生成的hash尽量相近

每个样本(图+文+label)产生3个特征 $(𝑥_𝑖^𝑣,𝑥_𝑖^𝑡,𝑥_𝑖^𝑙)$

输入：图/文特征+生成特征 $(𝑥_𝑖^𝑣, 𝑥_𝑖^𝑙 )$ 或$(𝑥_𝑖^𝑡,𝑥_𝑖^𝑙)$

输出： $(𝑦_𝑖^𝑣, 𝑦_𝑖^𝑙 )$ 或 $(𝑦_𝑖^𝑡, 𝑦_𝑖^𝑙 )$ ，即输入向量是否来自生成特征

监督信号： $𝑦_𝑖^𝑣$ 或 $𝑦_𝑖^𝑡=0$，$𝑦_𝑖^𝑙=1$

即最小化判别器的预测误差

$\mathcal{L}_{gen}=\mathcal{L}^v+\mathcal{L}^t+\mathcal{L}^l$

以及对抗loss $\mathcal{L}_{adv}=\mathcal{L}^v_{adv}+\mathcal{L}^t_{adv}$

我们的优化目标是： $(B,\theta^{v,t,l})=argmin_{B,\theta^{v,t,l}}\mathcal{L}_{gen}(B,\theta^{v,t,l})-\mathcal{L}_{adv}(\hat{\theta}_{adv})$

在最优的判别器参数 $\hat{\theta}_{adv}$ 下，最小化特征的生成Loss

$\theta_{adv}=argmax_{\theta_{adv}} L_{gen}(\hat{B}, \hat{\theta}^{v,t,l})-L_{adv}(\theta_{adv})$

在最优生成器参数 $\hat{B}, \hat{\theta}^{v,t,l}$下，最小化判别器的识别误差 $L_{adv}$