萧山建站,wordpress主题机制,建设中标查询网站,怎么查询商标名称是否注册基于卷积神经网络增强微光图像 0. 前言1. MBLLEN 网络架构2. 增强微光图像小结系列链接 0. 前言
在本节中#xff0c;我们将学习如何基于预训练的深度学习模型执行微光/夜间图像增强。由于难以同时处理包括亮度、对比度、伪影和噪声在内的所有因素#xff0c;因此微光图像增… 基于卷积神经网络增强微光图像 0. 前言1. MBLLEN 网络架构2. 增强微光图像小结系列链接 0. 前言
在本节中我们将学习如何基于预训练的深度学习模型执行微光/夜间图像增强。由于难以同时处理包括亮度、对比度、伪影和噪声在内的所有因素因此微光图像增强一直是一项具有挑战性的问题。为了解决这一问题提出了多分支微光增强网络 (multi-branch low-light enhancement network, MBLLEN)其关键思想是提取不同尺度的丰富特征以便可以通过多个子网应用图像增强。最后通过多分支融合生成输出图像采用这种方式图像质量得到了极大的提高。
1. MBLLEN 网络架构
MBLLEN 深度神经网络的架构图如下所示 MBLLEN 由以下三种模块组成
特征提取模块 (feature extraction module, FEM)增强模块 (enhancement module, EM)融合模块 (fusion module, FM)
网络的关键是学习以下内容
通过 FEM 提取不同尺度的丰富特征通过 EM 分别增强多尺度特征通过 FM 多分支融合获得最终输出
2. 增强微光图像
(1) 下载预训练的模型(也可以通过 gitcode 下载)导入库、模块和函数
import tensorflow as tf
import numpy as np
from skimage.io import imread
import matplotlib.pylab as plt
from tensorflow.keras.layers import Input, Conv2D, Conv2DTranspose, Concatenate
from tensorflow.keras.applications.vgg19 import VGG19
from tensorflow.keras.models import Model(2) 定义函数 build_mbllen()该函数定义模型、创建模型实例并返回模型。增强模块使用四个堆叠的 Conv2D 层然后使用三个 tensorflow.keras.layers 模块中的 Conv2DTranspose 层输入图像的颜色通道需要作为输入张量的最后一个维度
def build_mbllen(input_shape):def EM(input, kernal_size, channel):conv_1 Conv2D(channel, (3, 3), activationrelu, paddingsame, data_formatchannels_last)(input)conv_2 Conv2D(channel, (kernal_size, kernal_size), activationrelu, paddingvalid, data_formatchannels_last)(conv_1)conv_3 Conv2D(channel*2, (kernal_size, kernal_size), activationrelu, paddingvalid, data_formatchannels_last)(conv_2)conv_4 Conv2D(channel*4, (kernal_size, kernal_size), activationrelu, paddingvalid, data_formatchannels_last)(conv_3)conv_5 Conv2DTranspose(channel*2, (kernal_size, kernal_size), activationrelu, paddingvalid, data_formatchannels_last)(conv_4)conv_6 Conv2DTranspose(channel, (kernal_size, kernal_size), activationrelu, paddingvalid, data_formatchannels_last)(conv_5)res Conv2DTranspose(3, (kernal_size, kernal_size), activationrelu, paddingvalid, data_formatchannels_last)(conv_6)return resinputs Input(shapeinput_shape)FEM Conv2D(32, (3, 3), activationrelu, paddingsame, data_formatchannels_last)(inputs)EM_com EM(FEM, 5, 8)for j in range(3):for i in range(0, 3):FEM Conv2D(32, (3, 3), activationrelu, paddingsame, data_formatchannels_last)(FEM)EM1 EM(FEM, 5, 8)EM_com Concatenate(axis3)([EM_com, EM1])outputs Conv2D(3, (1, 1), activationrelu, paddingsame, data_formatchannels_last)(EM_com)return Model(inputs, outputs)(3) 通过调用函数 build_mbllen() 获取模型实例从下载的预训练模型文件中加载预训练权重(参数值)
mbllen build_mbllen((None, None, 3))
mbllen.load_weights(LOL_img_lowlight.h5) (4) 使用 scikit-image.io 模块的 imread() 函数读取输入微光图像。需要注意的是输入图像的像素值在 [0, 255] 范围内而模型期望其输入在范围 [0, 1] 内因此我们需要缩放图像另外我们需要使用 np.newaxis 扩展输入维度因为模型期望输入尺寸为 1 x h x w x c其中 h、w、c 分别表示图像的高度、宽度和颜色通道调用模型的 predict() 方法使用输入图像执行前向传播获得增强的输出图像
img imread(Lighthouse_under.png)
print(img.max())
out_pred mbllen.predict(img[np.newaxis, :] / 255)
out out_pred[0, :, :, :3](5) 最后使用 matplotlib.pyplot 绘制微光输入图像和增强后的输出图像
def plot_image(image, titleNone, sz10):plt.imshow(image)plt.title(title, sizesz)plt.axis(off)plt.figure(figsize(20,10))
plt.subplot(121), plot_image(img, low-light input)
plt.subplot(122), plot_image(np.clip(out, 0, 1), enhanced output)
plt.tight_layout()
plt.show()小结
由于难以同时处理包括亮度、对比度、伪影和噪声在内的各种因素微光图像增强问题是一项具有挑战性的任务。本节中我们介绍了一种基于深度卷积神经网络的微光图像增强模型多分支微光增强网络 (multi-branch low-light enhancement network, MBLLEN)。MBLLEN 的关键思想是提取不同尺度图像的丰富特征以便我们可以通过多个子网应用图像增强并最终通过多分支融合生成输出图像从不同尺度的多个方面上改善图像质量。
系列链接
Python图像处理【1】图像与视频处理基础 Python图像处理【2】探索Python图像处理库 Python图像处理【3】Python图像处理库应用 Python图像处理【4】图像线性变换 Python图像处理【5】图像扭曲/逆扭曲 Python图像处理【6】通过哈希查找重复和类似的图像 Python图像处理【7】采样、卷积与离散傅里叶变换 Python图像处理【8】使用低通滤波器模糊图像 Python图像处理【9】使用高通滤波器执行边缘检测 Python图像处理【10】基于离散余弦变换的图像压缩 Python图像处理【11】利用反卷积执行图像去模糊 Python图像处理【12】基于小波变换执行图像去噪 Python图像处理【13】使用PIL执行图像降噪 Python图像处理【14】基于非线性滤波器的图像去噪 Python图像处理【15】基于非锐化掩码锐化图像 Python图像处理【16】OpenCV直方图均衡化 Python图像处理【17】指纹增强和细节提取 Python图像处理【18】边缘检测详解 Python图像处理【19】基于霍夫变换的目标检测 Python图像处理【20】图像金字塔
