论文阅读笔记-Pixel-Level Cycle Association: A New Perspective for Domain Adaptive Semantic Segmentation

Pixel-Level Cycle Association: A New Perspective for Domain Adaptive

概述

语义分割近年来获得非常大的进步和发展。但是当分割网络执行跨域(cross-domain)预测任务时,性能还远不能令人满意。例如,分割网络在易于获得标注的 synthetic data 上训练,在真实场景图片上进行分类,性能会发生大幅下跌。
这种性能下降是由于目标域(target domain)和源域(source domain)图片的分布(风格,布局,等)不同所造成的。领域自适应语义分割(Domain Adaptive Semantic Segmentation)就是利用带标注的源域数据和无标注的目标域数据来减小或者消除域漂移(domain shift)带来的性能损失。
domain adaptive semantic segmentation:我们有标记的source data S和未标记的target data T,tatget的种类和source一样。 我们需要训练一个网络,把每一个target pixel分类成正确的类别,网络使用source和target一起训练。

论文阅读笔记-Scale-recurrent Network for Deep Image Deblurring

论文阅读笔记-Scale-recurrent Network for Deep Image Deblurring

Scale-recurrent Structure

在现有的多尺度方法中,求解器及其每个尺度的参数通常是一样的。因为在每个尺度上,我们的目标都是求解同样的问题。每个尺度上使用不同的参数可能会引入不稳定性并带来非限制性解空间的额外问题。另一个问题是输入图像可能会有不同的分辨率和运动尺度。如果允许每个尺度上都进行参数调节,那么这个解可能会在特定图像分辨率或运动尺度上过拟合。

论文阅读笔记-BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond

论文阅读笔记-BasicVSR: The Search for Essential Components in Video Super-Resolution

概述

Video super-resolution (VSR)相较于图像超分拥有更多的组成部分,也更为复杂,因为它们多了一个时间维度。本文系统的分析了一些VSR的基本方法,比较了它们之中的四个组成部分:Propagation, Alignment, Aggregation, and Upsampling.(传播,对齐,聚集,上采样)。在已有方法上做了简单的修改,提出了BasicVSR,在速度和复原效率上显著提高。并且加入信息补充机制和成对传播方法后,延伸出了更具有扩展性的方法IconVSR。

论文阅读笔记-GLEAN Generative Latent Bank for Large-Factor Image Super-Resolution

论文阅读笔记-GLEAN Generative Latent Bank for Large-Factor Image Super-Resolution

概述

将大量先验知识封装在一个预训练的GAN里。运行时仅需要一次前向传递就可以生成upscaled image。
整体网络架构为encoder-bank-decoder,其中包含多分辨率的skip connections,修改bank的先验可以处理不同的内容。
本文致力于大放大倍数的SR(8× to 64×)。越大的放大倍数,需要越有效的先验。

论文阅读笔记-Real-World_Super-Resolution_via_Kernel_Estimation_and_Noise_Injection

论文阅读笔记-Real-World_Super-Resolution_via_Kernel_Estimation_and_Noise_Injection

KernelGan提取下采样核

KernelGan github地址

解决问题

通过学习图像的内部分布生成的降采样核,可以避免使用理想的下采样核(bicubic downsampling)得到的LR图像训练出的SR模型,应用到现实数据时,模型性能会急剧下降。

论文阅读笔记-Cascaded Deep Video Deblurring Using Temporal Sharpness Prior

论文阅读笔记-Cascaded Deep Video Deblurring Using Temporal Sharpness Prior

预备知识

well-posed/ill-posed

well-posed:适定性问题
1) a solution exits 解存在
2) the solution is unique 解唯一
3) the solution’s behavior changes continuously with the initial conditions 解稳定(初试条件不同,不会发生跳变)

ill-posed: 不适定问题,
1) 通常不满足以上条件的二三条,比如图像超分,去雨去雾去模糊等任务,解有无数种,且都是不稳定的。
2) 英文解释:In most cases,thera are several possible output images corresponding to a given input image and the problem can be seen as a task of selecting the most proper one from all the possible outputs.

pytorch-学习笔记1

pytorch-学习笔记1

linspace

作用

将区间[start,end]按照固定的间隔均分成若点,返回一个一维tensor(包含这些线段的起点)

参数

torch.linspace(start, end, steps=100, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=False) → Tensor
start:线段起点
end:线段终点
steps:线段均分后的点数,默认为100(均分成100个点)
out:输出tensor

|