广州个性化网站开发,广西网站建设设计,学做巧裁缝官方网站,用illustrator做网站1、需求背景
有的视频文件的字幕已经压制到了视频的图像中#xff0c;不能单独提取出字幕文件。网上的 “提取视频字幕” 网站多为提取视频中的字幕文件#xff0c;而非识别视频图像中的字幕。少数通过OCR技术识别画面中字幕的工具需要在线运行、运行速度较慢#xff0c;或…1、需求背景
有的视频文件的字幕已经压制到了视频的图像中不能单独提取出字幕文件。网上的 “提取视频字幕” 网站多为提取视频中的字幕文件而非识别视频图像中的字幕。少数通过OCR技术识别画面中字幕的工具需要在线运行、运行速度较慢或者需要收费使用不够灵活。
我希望实现在视频中提取字幕截图的程序需要解决两个关键问题一是如何判断视频中是否出现了字幕二是如何确定字幕何时发生变化。然后在有字幕且字幕刚刚发生变化时截取并保存字幕图片。
为了解决这两个问题我的主要思路是利用视频中字幕的固定位置和特殊颜色进行提取。通常情况下字幕会出现在视频的特定区域并且其颜色与周围背景颜色不同、并使用固定颜色。我们可以通过指定字幕所在的区域坐标和颜色来提取字幕图像。
然后通过判断在指定区域内符合指定颜色的像素值是否超过阈值来判断是否存在字幕。而通过判断两帧画面之间的像素差异数是否超过阈值来判断字幕是否变化。
通过这种方式并根据实际情况调整参数可以达到比较合适的漏检率和误检率从而实现较好的字幕提取效果。
2、设计思路
2.1 读取视频的迭代器函数 VideoIter
函数实现从视频中迭代获取指定时间范围内的帧图像它接受4个参数file表示视频文件路径start_time表示开始时间单位秒后同end_time表示结束时间step_time表示迭代步长。其中start_time和end_time可以设置为负数表示为相对于总时长的倒数时间位置step_time设置为负数时表示为倒序迭代视频中的图像。
函数从视频的start_time开始时间开始截取图像每间隔step_time步长时间捕获一张图像将帧图像作为生成器yield的输出直到达到end_time结束时间停止。
2.2 图像预处理函数 ProcessImage
函数实现从传入图像中裁剪指定区域、并根据给定的颜色和浮动值进行颜色分割它接受4个参数img表示输入的图像area表示要裁取的区域边界坐标格式为 (x1, y1, x2, y2)color表示要分割的颜色格式为 (r, g, b)float表示颜色分割时的容差范围值。
函数设计从视频画面中裁取字幕出现位置的区域然后根据设定的字幕颜色和允许容差匹配出文字区域的蒙版。最后使用OpenCV的方法根据颜色阈值对图像进行转换并将函数处理过的图像返回。
2.3 提取视频中字幕图像的主函数 ExtractSubtitle
函数实现从视频中提取字幕图像它接受7个参数file表示视频文件路径area表示字幕所在区域的边界坐标格式为 (x1, y1, x2, y2)color表示字幕的颜色格式为 (r, g, b)float表示颜色判断时的容差范围值count_thresh表示像素计数阈值diff_thresh表示像素差异阈值delay表示显示图像的延迟时间。
函数通过循环调用VideoIter函数迭代读取视频中的帧图像并使用ProcessImage函数处理图像将字幕部分提取出来。在处理过程中函数统计处理后图像中非零像素的数量并计算当前图像与上一帧图像的像素差异。如果像素数量和像素差异数值均超过了各自设定的阈值就将当前帧图像显示输出作为调试、并将视频帧图像保存到视频文件同名的文件夹中。文件命名包含帧序号、像素数量、和像素差异数用于调试参考。
3、实现代码
import os
import cv2
import numpy as npdef imshow(img, delay1, title):cv2.imshow(, img)cv2.setWindowTitle(, title)cv2.waitKey(delay)def imwrite(file, im):cv2.imencode(.jpg, im)[1].tofile(file)def VideoIter(file, start_time, end_time, step_time):cap cv2.VideoCapture(file)fps cap.get(cv2.CAP_PROP_FPS)total_time int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) / fpsif np.signbit(start_time):start_time total_timeif np.signbit(end_time):end_time total_timefor current_time in np.arange(start_time, end_time, step_time):cap.set(cv2.CAP_PROP_POS_FRAMES, int(fps * current_time))ret, img cap.read()if not ret:breakyield imgcap.release()def ProcessImage(img, area, color, float):x1, y1, x2, y2 areaimg img[y1:y2, x1:x2]r, g, b colorrgb1 (r - float, g - float, b - float)rgb2 (r float, g float, b float)img cv2.inRange(img, rgb1, rgb2)return imgdef ExtractSubtitle(file, area, color, float, count_thresh, diff_thresh, delay):folder os.path.splitext(file)[0]os.makedirs(folder, exist_okTrue)img1 Nonediff 0for id, img in enumerate(VideoIter(file, 0, -1, 1), 1):img2 ProcessImage(img, area, color, float)count cv2.countNonZero(img2)if img1 is not None:diff cv2.countNonZero(img1 ^ img2)img1 img2if count count_thresh and diff diff_thresh:imshow(img2, delaydelay, titlefcount{count}, diff{diff})save_path f{folder}/img_{id:06}count{count}diff{diff}.jpgimwrite(save_path, img)if __name__ __main__:video_path 三体.S01E01.HD1080P.mp4area_xyxy (564, 722, 1328, 784)subtitle_rgb (250, 250, 250)floating_range 10count_thresh 1000diff_thresh 400delay 1ExtractSubtitle(video_path, area_xyxy, subtitle_rgb, floating_range, count_thresh, diff_thresh, delay)函数运行前有若干参数需要确定首先是字幕出现的位置和字幕的颜色。
截取若干典型的视频中包含字幕的图像然后通过图画板确定字幕出现的位置用取色器获得字幕的RGB值。
读取字幕位置坐标 字幕颜色取色 另外两个需要设定的参数是判断图像中存在字幕的阈值、和字幕发生变化的阈值。很显然这两个数值都应大于0。
其中存在字幕的阈值设置得越低则会有越多的本不包含字幕但是由于背景色中存在和字幕相同颜色而被误判断成为含有字幕的图片。
发生变化的阈值设置得越低则会有越多的相同的字幕画面由于图片压缩或背景差异有少量像素存在区别被误判断成字幕已经发生变化导致截取出多余的字幕画面图像。
在具体调试时可以先将这两个参数设定为0然后运行程序。在弹出的可视化窗口中在标题中可以看到我设置的这两个参数的计算数值。
结合实际裁取出的图像我们可以适当地设计这两个门限参数的数值通过调整参数并观察提取结果以获得较好的字幕图像截取效果。
4、运行效果
测试运行60分钟的网飞《三体》第一集一共提取出了600张截图有比较良好的漏检率和误检率。如果按照1秒钟看5张图的话2分钟就可以看完60分钟的第一集。
程序运行结果 拼合字幕图片
import glob
import cv2
import numpy as npimread lambda file: cv2.imdecode(np.fromfile(file, np.uint8), -1)
imwrite lambda file, img: cv2.imencode(.jpg, img)[1].tofile(file)def MergeSubtitles(folder, h1, h2):imgs []for path in glob.glob(f{folder}/*.jpg):img imread(path)imgs.append(img[h1:h2])final_image cv2.vconcat(imgs)imwrite(f{folder}.jpg, final_image)if __name__ __main__:MergeSubtitles(三体.S01E01.HD1080P, 722, 784)最终图片效果
