怎么推广公司的网站,网站内存不足,网络规划师,学校网站建设意义有哪些python实现视频关键帧提取#xff08;基于帧间差分#xff09;
在很多场景下#xff0c;我们不想或者不能处理视频的每一帧图片#xff0c;这时我们希望能够从视频中提取出一些重要的帧进行处理#xff0c;这个过程我们称为视频关键帧提取。
关键帧提取算法多种多样基于帧间差分
在很多场景下我们不想或者不能处理视频的每一帧图片这时我们希望能够从视频中提取出一些重要的帧进行处理这个过程我们称为视频关键帧提取。
关键帧提取算法多种多样如何实现主要取决于你对于关键帧的定义。
也就是说对于你的实际应用场景视频中什么样的图片才算是一个关键帧
今天我实现了一种比较通用的关键帧提取算法它基于帧间差分。
算法的原理很简单我们知道将两帧图像进行差分得到图像的平均像素强度可以用来衡量两帧图像的变化大小。因此基于帧间差分的平均强度每当视频中的某一帧与前一帧画面内容产生了大的变化我们便认为它是关键帧并将其提取出来。
算法的流程简述如下
首先我们读取视频并依次计算每两帧之间的帧间差分进而得到平均帧间差分强度。
然后我们可以选择如下的三种方法的一种来提取关键帧它们都是基于帧间差分的: 使用差分强度的顺序 我们对所有帧按照平均帧间差分强度进行排序选择平均帧间差分强度最高的若干张图片作为视频的关键帧。 使用差分强度阈值 我们选择平均帧间差分强度高于预设阈值的帧作为视频的关键帧。 使用局部最大值 我们选择具有平均帧间差分强度局部最大值的帧作为视频的关键帧。 这种方法的提取结果在丰富度上表现更好一些提取结果均匀分散在视频中。 需要注意的是使用这种方法时对平均帧间差分强度时间序列进行平滑是很有效的技巧。它可以有效的移除噪声来避免将相似场景下的若干帧均同时提取为关键帧。
这里比较推荐使用第三种方法来提取视频的关键帧
获取源码点这里
最初的代码来自于这里, 但是其代码本身有些问题在读取超过100M的视频时程序会出现内存溢出的错误因此我对其进行了优化减去了不必要的内存消耗。
在精灵宝可梦的一个经典片段中进行了实验平滑后的平均帧间差分强度如下图所示 提取的部分关键帧如下所示: 效果还不错吧~
我这里仅仅是对视频关键帧提取的方法进行了简单的探索最终得到的效果也满足了我实际工作的需要。如果您对视频关键帧提取领域很了解或者了解其他更好的方法期待与您交流~
最后对算法感兴趣的小伙伴欢迎关注我的github项目AI-Toolbox。
此项目旨在提高效率快速迭代新想法欢迎贡献代码~
