包头市网站建设,想学网站建设 如何开始,中国有哪些软件公司,建设网站找什么视频插针 1、评估指标2、准确度3、实时4、视频流处理3、实时RIFE视频插帧测试 1、评估指标
参考#xff1a;https://blog.csdn.net/weixin_43478836/article/details/104159648 https://blog.csdn.net/weixin_43605641/article/details/118088814
PSNR和SSIM PSNR数值越大表… 视频插针 1、评估指标2、准确度3、实时4、视频流处理3、实时RIFE视频插帧测试 1、评估指标
参考https://blog.csdn.net/weixin_43478836/article/details/104159648 https://blog.csdn.net/weixin_43605641/article/details/118088814
PSNR和SSIM PSNR数值越大表示失真越小。因为数值越大代表MSE越小。MSE越小代表两张图片越接近失真就越小。 SSIM≤1SSIM 越大两张图像越相似。
PSNR峰值信噪比Peak Signal-to-Noise Ratio用于衡量两张图像之间差异例如压缩图像与原始图像评估压缩图像质量复原图像与ground truth评估复原算法性能等。 SSIM结构相似性Structural Similarity基于人眼会提取图像中结构化信息的假设比传统方式更符合人眼视觉感知。
但是 PSNR 和 SSIM 都只适合画面复杂度低或完全对齐的图像例如下图是同一地点的不同时期卫星图像及其重叠显示对人眼来说相似度高但由于没对齐导致 SSIM 很低。
2、准确度
参考https://github.com/zdyshine/Video-Frame-Interpolation-Summary/blob/main/2023_before.md https://zhuanlan.zhihu.com/p/362525023 3、实时
RIFE IFRNetCVPR 2022上海交大腾讯优图提出IFRNet视频插帧新范式新SOTA
CAIN ncnn Vulkan - 只能用于 0.5 时刻点两帧插一帧的 AI 视频补帧算法 rife-ncnn-vulkan - 只能用于 0.5 时刻点两帧插一帧的 AI 视频补帧算法速度较快效果非常好 DAIN ncnn Vulkan - 支持任意时刻点插帧的 AI 视频补帧算法速度最慢占用最高效果非常好
谷歌的FILM: Frame Interpolation for Large Motion https://github.com/google-research/frame-interpolation?tabreadme-ov-file
4、视频流处理
OpenCV、Kafka 和 Spark 技术 所谓视频流就是一种视频数据信息的传输方式使用这种方式用户可以在没有接到完整的数据信息前就能处理那些已接收的信息。这种一边接收一边处理的方式很好地解决了视频数据信息在网络上的传输问题。使用者可以不必等待太长的时间就能收看到视频数据信息。并且在此之后一边播放一边接收根本不会感觉到文件没有传完。 视频流是指将视频内容以连续的流式方式传输或播放而不需要等待整个视频文件下载完毕。视频流使用户能够实时观看视频而无需等待全部内容下载到本地设备。这种流式传输方式适用于各种视频应用包括在线视频播放、视频会议、实时转播和直播流等。 视频流 实时观看视频流允许用户实时观看视频内容而不需要等待整个视频文件下载完毕。视频数据以连续的流式方式传输到观众设备观众可以在数据传输的同时观看内容。 连续性视频流是连续的数据流它们通常分为小段每个段都可以独立下载和播放。观众可以随时开始观看视频并且可以在观看过程中继续下载后续段。 动态自适应视频流通常支持动态自适应可以根据观众的网络带宽和设备性能实时调整视频质量和码率以提供更好的观看体验。
opencv-python视频流基本操作【视频流是由一帧一帧的图像构成的我们对视频流的处理本质上就是对图像的处理因此这里我们只说明从相机中读取视频从 …
5、预测视频的动态部分生成i帧 视频预测是一项复杂的时间序列预测任务。
3、实时
RIFE IFRNetCVPR 2022上海交大腾讯优图提出IFRNet视频插帧新范式新SOTA IFRNet CAIN ncnn Vulkan - 只能用于 0.5 时刻点两帧插一帧的 AI 视频补帧算法 rife-ncnn-vulkan - 只能用于 0.5 时刻点两帧插一帧的 AI 视频补帧算法速度较快效果非常好 DAIN ncnn Vulkan - 支持任意时刻点插帧的 AI 视频补帧算法速度最慢占用最高效果非常好
谷歌的FILM: Frame Interpolation for Large Motion 只有图片demo效果可以 https://github.com/google-research/frame-interpolation?tabreadme-ov-file
EMA-VFI 只有图片demo效果可以
VFIformer 要训练只有图片
集成工具 AaronFeng753/Waifu2x-Extension-GUI: Video, Image and GIF upscale/enlarge(Super-Resolution) and Video frame interpolation. Achieved with Waifu2x, Real-ESRGAN, Real-CUGAN, RTX Video Super Resolution VSR, SRMD, RealSR, Anime4K, RIFE, IFRNet, CAIN, DAIN, and ACNet. (github.com)
1、 实时插帧算法对比 实时插针算法主要有RIFE、IFRNet、DAIN、CAIN他们的性能对比如下
评估指标PSNR、SSIM和FPS PSNR峰值信噪比Peak Signal-to-Noise Ratio用于衡量两张图像之间差异例如压缩图像与原始图像评估压缩图像质量复原图像与ground truth评估复原算法性能等。PSNR数值越大表示失真越小。因为数值越大代表MSE越小。MSE越小代表两张图片越接近失真就越小。 SSIM结构相似性Structural Similarity基于人眼会提取图像中结构化信息的假设比传统方式更符合人眼视觉感知。SSIM≤1SSIM 越大两张图像越相似。 FPS是图像领域中的定义是指画面每秒传输帧数通俗来讲就是指动画或视频的画面数
2、 设备要求 2GB 以上显存, 4GB 左右的空余运行内存以及4GB的磁盘剩余空间
3、 测试结果 RIFE 视频分辨率1280x720 1.没量化 2.开启fp16量化
3.开启scale0.5
显卡v100占用 参考 https://zhuanlan.zhihu.com/p/362525023 https://github.com/zdyshine/Video-Frame-Interpolation-Summary/blob/main/2023_before.md
RIFE视频插帧测试
1、环境部署 #拉取镜像 docker pull nvcr.io/nvidia/pytorch:23.12-py3 #创建docker docker run --gpus all --cpus 48 --shm-size 16G --memory 500gb --privilegedtrue -itd --name rife_test #git拉取源码 git clone https://github.com/megvii-research/ECCV2022-RIFE.git #安装运行相关包 cd ECCV2022-RIFE pip3 install -r requirements.txt
2、运行推理 插帧命令 插一帧python3 inference_video.py --exp1 --videovideo.mp4 插两帧python3 inference_video.py --exp2 --videovideo.mp4 参数说明 python3 inference_video.py --exp2 --videovideo.mp4 --fps60 --scale0.5 exp插多少帧 video输入视频路径 fp16是否使用半精度 scale压缩视频质量如果您的视频具有非常高的分辨率例如 4K我们建议设置 --scale0.5默认为 1.0。如果您在视频上生成无序模式请尝试设置 --scale2.0。此参数控制光流模型的过程分辨率
3、对比展示 对比方法 对比方法对比视频的流畅度用ffmpeg将多个视频拼接在一起对比会有压缩,高帧率的硬件不支持测试设备最高支持60Hz 横向2个视频排列命令ffmpeg -i 0.mp4 -i 1.mp4 -filter_complex “[0:v]padiw2:ih1[a];[a][1:v]overlayw” out.mp4 4个视频排列命令ffmpeg -i 0.mp4 -i 1.mp4 -i 2.mp4 -i 3.mp4 -filter_complex “[0:v]padiw2:ih2[a];[a][1:v]overlayw[b];[b][2:v]overlay0:h[c];[c][3:v]overlayw:h” out.mp4
展示效果如下
4、速度对比 对比方法 1、同一显卡不同参数推理速度对比 2、不同显卡推理速度对比 V100显卡不同参数测试如下图 1.没量化推理速度20fps左右 2.开启fp16量化推理速度25fps左右 3.开启scale0.5推理速度28fps左右
4.显卡占用,1G显存左右 2080TiV100显卡不同参数测试如下图 1.没量化,推理速度17fps左右
2.fp16量化推理速度22fps左右
3.scale0.5量化推理速度31fps左右 测试结论V100和2080ti显卡的算力差不多推理需要显存1G左右在没有量化 的情况下推理速度最高20fps左右量化情况下推理速度最高30fps。
