2024CVPR_Low-light Image Enhancement via CLIP-Fourier Guided Wavelet Diffusion(CFWD)

news/2024/10/4 16:30:34

一、Motivation

1、单模态监督问题:大多数方法往往只考虑从图像层面监督增强过程,而忽略了图像的详细重建和多模态语义对特征空间的指导作用。这种单模态监督导致不确定区域的次优重建和较差的局部结构,导致视觉结果不理想的出现。------》扩散模型缺乏有效性约束,容易出现多种生成效应

2、简单的引入CLIP问题:因为图像损坏给特征对齐带来了困难,导致视觉语言模型无法有效地捕获退化图像和语义之间的细粒度差距,所以简单地引入视觉语言信息并不能获得显著的性能

二、Contribution

1、网络结构:CLIP-Fourier Guided Wavelet Diffusion (CFWD). 将多模态引入到扩散模型中用于低光图像增强

2、多模态监督:首次将频域空间与多模态相结合,设计了多层次视觉语言导引网络------> 解决多模态特征对齐问题

3、高频混合空间:小波变换与傅里叶变换的有效结合,构建了具有高频混合空间,对扩散模型生成多样性的有效约束

 

三、Network

 

 1. 前向加噪过程:首先将正常光照图像IH通过离散小波变换(DWT会进行下采样操作)得到AHK,分辨率变为原来的1/4.

K-DWT: 大佬链接:https://blog.csdn.net/qq_43426078/article/details/124130531

                       

 先将正常光照图像经过K-DWT(离散小波变换)产生1/4尺寸的低频域,之后前向加噪声

 2. 反向去噪过程:

首先将低光照图像经过K-DWT(离散小波变换)产生1/4尺寸的低频域 + T时刻的噪声  产生 预测的粗糙的增强图像

 没懂Inverse Inference过程为什么会产生多个样本

 

 

四、Experiments

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/28925.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

Jmeter-线程组下篇

线程组 线程组作为JMeter测试计划的核心组件之一,对于模拟并发用户的行为至关重要。线程组元件是整个测试计划的入口,所有的取样器和控制器必须放置在线程组下。 可以将线程组视为一个虚拟用户池,其中每个线程可被理解为一个虚拟用户,多个虚拟用户同时执行相同的一批任务。…

字符串相关

字符串相关 文章参考: [详解-字符串] C++必知必会 字符串-string常用各种操作解析 - 知乎 (zhihu.com) C++ 字符串(string)常用操作总结 - 知乎 (zhihu.com) c++读取字符串和字符的6种函数_c++获取字符串的每个字符-CSDN博客 字符串使用大全(比较实用的):C++中的String的…

二分

二分 浮点数二分模板bool check(double x) {/* ... */} // 检查x是否满足某种特性double bsearch_3(double l, double r) {const double eps = 1e-6;while(r - l > eps){double mid = (l + r) / 2;if(check(mid)) r = mid;else l = mid;} return l; }整数二分模板bool chec…

【攻防技术系列+Python】-- 用 Python 控制系统进程

用 Python 控制系统进程 由于注册表几乎可以决定整个操作系统的运行,因此它成为安全工具与恶意软件对抗的主要战场之一。除了注册表之外,对系统进程的控制也是安全工具和恶意软件的必争之地。这里我们首先要了解程序和进程的区别。程序是静态的,进程是动态的。进程可以分为系…

VMware如何将虚拟机的端口服务映射出去

我们有时候在VMware起了一个服务,想要局域网的朋友同事访问 这时候就需要i端口映射 选择NAT模式 VMnet8点击 NAT设置 然后点击添加然后映射传入端口对话框 红色部分是 你主机本机,也就是你在用的电脑的空闲端口(可以打开cmd 输入命令 : netstat -ano 查看已用端口都有哪些…

基于改进MFCC特征和卷积递归神经网络的心音分类

具体的软硬件实现点击http://mcu-ai.com/MCU-AI技术网页_MCU-AI人工智能 心音分类在心血管疾病的早期发现中起着至关重要的作用,特别是对于小型初级卫生保健诊所。尽管近年来心音分类取得了很大进展,但其中大多数都是基于传统的分段特征和基于浅层结构的分类器。这些传统的声…

基于总线设备驱动模型的按键读取驱动程序

本次实验基于总线设备驱动模型实现按键驱动程序的编写,给上层应用程序提供检测按键是否按下的操作接口,上层应用根据按键是否按下控制led的亮灭。所以上层应用程序会同时使用led和按键的驱动接口,但是对于下层驱动而言,这二者是分离的,因此只需要专注于编写按键驱动程序就…

线~段~树

点击查看代码 #include<bits/stdc++.h> #define lson id<<1 #define rson id<<1|1 using namespace std; const int N=1e6+12000; struct node{int l,r,num;int ma,mi; }tr[N<<2]; int a[N]; int n,m; string str; int ans=0; int from,to; void build…