光流相关

Flow基本套路

• multi scale feature pyramid

• warp and correlation，得到cost

• 对不同scale的feature pyramid计算residual flow，实现refine

RAFT

• 先把不同scale所有可能flow的cost算好，在计算出flow后look up得到cost

• 使用GRU实现不同scale coarse to fine的refine

FastFlowNet

ICRA 2021, 在TX2上用TensorRt可以跑到5Hz的模型

• 在feature提取层上先用卷积+stride降采样，再用pooling降采样，得到比较好的pyramid feature，

• 在correlation层，搜索半径为3的区域全部用来计算cost，在搜索半径大于3的部分，只采样计算其中一半的元素的cost，从而减少计算量

• cost到flow的过程用的是ShuffleNet中的SBD模块

• 从小scale开始做cost2flow，warp 大scale feature后再做一次cost2flow得到residual flow，总计六次，五次是refine