分割任务

• 语义分割（semantic segmentation）：为图像中的每个像素分配一个类别，但是同一类别之间的对象不会区分。
• 实例分割（Instance segmentation）：把一个类别里具体的一个个对象（具体的一个个实例）分割出来。

语义分割任务评价指标

Pixel Accuracy(Global Acc)

$$\frac{\sum_{i}n_{ii}}{\sum_{i}t_{i}}$$

Mean Accuracy

$$\frac{1}{n_{cls}}\times \sum_{i}\frac{n_{ii}}{t_{i}}$$

Mean IoU

$$\frac{1}{n_{cls}}\times\sum_{i}\frac{n_{ii}}{t_{i}+\sum_{j}n_{ji}-n_{ii}}$$

$n_{ij}$类别i被预测称类别j的像素个数

$n_{cls}$目标类别个数（包含背景）

$t_{i}=\sum_{j}n_{ij}$目标类别i的总像素个数（真实标签）

FCN

Fully Convolutional Networks for Semantic Segmentation

首个端到端的针对像素级预测的全卷积网络

DeepLab

deeplabv1 论文原文：Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs

deeplabv2 论文原文：DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs

deeplabv3 论文原文：Rethinking Atrous Convolution for semantic image segmentation

deeplabv3+ 论文原文：Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

##Deeplabv1

语义分割任务DCNNs应用中中存在的问题：

1. 下采样会导致图像分辨率降低
2. 空间不敏感

解决方案：

1. atrous algorithm （空洞卷积/膨胀卷积/扩张卷积）
2. fully-connected CRF(Conditional Random Field) [注：deeplabv3不使用]

Atrous convolution（空洞卷积/膨胀卷积/扩张卷积）

• 增加感受野
• 保持原输入特征图W、H

连续使用膨胀卷积时要注意gridding effect问题。经过多次膨胀卷积后,对于一个像素点来说，它获得对应在原始图像上被卷积的点可能是有间隔的，此时要注意膨胀率$r$的搭配问题。图(a)中出现的为间隔现象，更换膨胀率搭配后如图(b)。

Deeplabv3

文中给出两种模型结构

• cascaded model

• ASPP model（效果较好）

Block都为ResNet原有结构。

U-Net

U-net 论文原文：U-Net: Convolutional Networks for Biomedical Image Segmentation

U-net结构：

文中方法没有使用padding。拼接时进行中心裁剪，再进行拼接。最终输出与输入图片大小不一样，结果是输入图像中心部分。

U²-Net

U²-Net论文原文：U²-Net: Going deeper with nested U-structure for salient object detection

为了salient object detection（SOD）显著性目标检测任务，只有前景和背景两个类别。