做网站都需要什么,公司网站建设gghhhj,免费建站的方法流程,网站优化难吗ffmpeg开发指南#xff08;使用 libavformat 和 libavcodec#xff09;Ffmpeg 中的Libavformat 和 libavcodec库是访问大多数视频文件格式的一个很好的方法。不幸的是#xff0c;在开发您自己的程序时#xff0c;这套库基本上没有提供什么实际的文档可以用来作为参考#…ffmpeg开发指南使用 libavformat 和 libavcodec Ffmpeg 中的Libavformat 和 libavcodec库是访问大多数视频文件格式的一个很好的方法。不幸的是在开发您自己的程序时这套库基本上没有提供什么实际的文档可以用来作为参考至少我没有找到任何文档并且它的例程也并没有太多的帮助。 这种情况意味着当我在最近某个项目中需要用到 libavformat/libavcodec 库时需要作很多试验来搞清楚怎样使用它们。这里是我所学习的希望我做的这些能够帮助一些人以免他们重蹈我的覆辙作同样的试验遇到同样的错误。你还可以从这里下载一个demo程序。我将要公开的这部分代码需要0.4.8 版本的ffmpeg库中的 libavformat/libavcodec 的支持我正在写最新版本。如果您发现以后的版本与我写的程序不能兼容请告知我。 在这个文档里我仅仅涉及到如何从文件中读入视频流音频流使用几乎同样的方法可以工作的很好不过我并没有实际使用过它们所以我没于办法提供任何示例代码。 或许您会觉得奇怪为什么需要两个库文件 libavformat 和 libavcodec 许多视频文件格式AVI就是一个最好的例子实际上并没有明确指出应该使用哪种编码来解析音频和视频数据它们只是定义了音频流和视频流或者有可能是多个音频视频流如何被绑定在一个文件里面。这就是为什么有时候当你打开了一个AVI文件时你只能听到声音却不能看到图象因为你的系统没有安装合适的视频解码器。所以 libavformat 用来处理解析视频文件并将包含在其中的流分离出来 而libavcodec 则处理原始音频和视频流的解码。 打开视频文件 首先第一件事情让我们来看看怎样打开一个视频文件并从中得到流。我们要做的第一件事情就是初始化libavformat/libavcodec: av_register_all(); 这一步注册库中含有的所有可用的文件格式和编码器这样当打开一个文件时它们才能够自动选择相应的文件格式和编码器。要注意你只需调用一次 av_register_all()所以尽可能的在你的初始代码中使用它。如果你愿意你可以仅仅注册个人的文件格式和编码不过通常你不得不这么做却没有什么原因。 下一步打开文件 AVFormatContext *pFormatCtx; const char *filenamemyvideo.mpg; // 打开视频文件 if(av_open_input_file(pFormatCtx, filename, NULL, 0, NULL)!0) handle_error(); // 不能打开此文件 最后三个参数描述了文件格式缓冲区大小size和格式参数我们通过简单地指明NULL或0告诉 libavformat 去自动探测文件格式并且使用默认的缓冲区大小。请在你的程序中用合适的出错处理函数替换掉handle_error()。 下一步我们需要取出包含在文件中的流信息 // 取出流信息 if(av_find_stream_info(pFormatCtx)0) handle_error(); // 不能够找到流信息 这一步会用有效的信息把 AVFormatContext 的流域streams field填满。作为一个可调试的诊断我们会将这些信息全盘输出到标准错误输出中不过你在一个应用程序的产品中并不用这么做 dump_format(pFormatCtx, 0, filename, false); 就像在引言中提到的那样我们仅仅处理视频流而不是音频流。为了让这件事情更容易理解我们只简单使用我们发现的第一种视频流 int i, videoStream; AVCodecContext *pCodecCtx; // 寻找第一个视频流 videoStream-1; for(i0; ipFormatCtx-nb_streams; i) if(pFormatCtx-streams-codec.codec_typeCODEC_TYPE_VIDEO) { videoStreami; break; } if(videoStream-1) handle_error(); // Didnt find a video stream // 得到视频流编码上下文的指针 pCodecCtxpFormatCtx-streams[videoStream]-codec; 好了我们已经得到了一个指向视频流的称之为上下文的指针。但是我们仍然需要找到真正的编码器打开它。 AVCodec *pCodec; // 寻找视频流的解码器 pCodecavcodec_find_decoder(pCodecCtx-codec_id); if(pCodecNULL) handle_error(); // 找不到解码器 // 通知解码器我们能够处理截断的bit流ie // bit流帧边界可以在包中 if(pCodec-capabilities CODEC_CAP_TRUNCATED) pCodecCtx-flags|CODEC_FLAG_TRUNCATED; // 打开解码器 if(avcodec_open(pCodecCtx, pCodec)0) handle_error(); // 打不开解码器 那么什么是“截断bit流”好的就像一会我们看到的视频流中的数据是被分割放入包中的。因为每个视频帧的数据的大小是可变的那么两帧之间的边界就不一定刚好是包的边界。这里我们告知解码器我们可以处理bit流。 存储在 AVCodecContext结构中的一个重要的信息就是视频帧速率。为了允许非整数的帧速率比如 NTSC的 29.97帧速率以分数的形式存储分子在 pCodecCtx-frame_rate分母在 pCodecCtx-frame_rate_base 中。在用不同的视频文件测试库时我注意到一些编码器很显然ASF似乎并不能正确的给予赋值 frame_rate_base 用1代替1000。下面给出修复补丁 // 加入这句话来纠正某些编码器产生的帧速错误 if(pCodecCtx-frame_rate1000 pCodecCtx-frame_rate_base1) pCodecCtx-frame_rate_base1000; 注意即使将来这个bug解决了留下这几句话也并没有什么坏处。视频不可能拥有超过1000fps的帧速。 只剩下一件事情要做了给视频帧分配空间以便存储解码后的图片 AVFrame *pFrame; pFrameavcodec_alloc_frame(); 就这样现在我们开始解码这些视频。 解码视频帧 就像我前面提到过的视频文件包含数个音频和视频流并且他们各个独自被分开存储在固定大小的包里。我们要做的就是使用libavformat依次读取这些包过滤掉所有那些视频流中我们不感兴趣的部分并把它们交给 libavcodec 进行解码处理。在做这件事情时我们要注意这样一个事实两帧之间的边界也可以在包的中间部分。 听起来很复杂幸运的是我们在一个例程中封装了整个过程它仅仅返回下一帧 bool GetNextFrame(AVFormatContext *pFormatCtx, AVCodecContext *pCodecCtx, int videoStream, AVFrame *pFrame) { static AVPacket packet; static int bytesRemaining0; static uint8_t *rawData; static bool fFirstTimetrue; Int bytesDecoded; Int frameFinished; // 我们第一次调用时将 packet.data 设置为NULL指明它不用释放了 if(fFirstTime) { fFirstTimefalse; packet.dataNULL; } // 解码直到成功解码完整的一帧 while(true) { // 除非解码完毕否则一直在当前包中工作 while(bytesRemaining 0) { // 解码下一块数据 bytesDecodedavcodec_decode_video(pCodecCtx, pFrame, frameFinished, rawData, bytesRemaining); // 出错了 if(bytesDecoded 0) { fprintf(stderr, Error while decoding frame\n); return false; } bytesRemaining-bytesDecoded; rawDatabytesDecoded; // 我们完成当前帧了吗接着我们返回 if(frameFinished) return true; } // 读取下一包跳过所有不属于这个流的包 do { // 释放旧的包 if(packet.data!NULL) av_free_packet(packet); // 读取新的包 if(av_read_packet(pFormatCtx, packet)0) goto loop_exit; } while(packet.stream_index!videoStream); bytesRemainingpacket.size; rawDatapacket.data; } loop_exit: // 解码最后一帧的余下部分 bytesDecodedavcodec_decode_video(pCodecCtx, pFrame, frameFinished, rawData, bytesRemaining); // 释放最后一个包 if(packet.data!NULL) av_free_packet(packet); return frameFinished!0; } 现在我们要做的就是在一个循环中调用 GetNextFrame () 直到它返回false。还有一处需要注意大多数编码器返回 YUV 420 格式的图片一个亮度和两个色度通道色度通道只占亮度通道空间分辨率的一半译者注此句原句为the chrominance channels samples at half the spatial resolution of the luminance channel。看你打算如何对视频数据处理或许你打算将它转换至RGB格式。注意尽管如果你只是打算显示视频数据那大可不必要这么做查看一下 X11 的 Xvideo 扩展它可以在硬件层进行 YUV到RGB 转换。幸运的是 libavcodec 提供给我们了一个转换例程 img_convert 它可以像转换其他图象进行 YUV 和 RGB之间的转换。这样解码视频的循环就变成这样 while(GetNextFrame(pFormatCtx, pCodecCtx, videoStream, pFrame)) { img_convert((AVPicture *)pFrameRGB, PIX_FMT_RGB24, (AVPicture*)pFrame, pCodecCtx-pix_fmt, pCodecCtx-width, pCodecCtx-height); // 处理视频帧存盘等等 DoSomethingWithTheImage(pFrameRGB); } RGB图象pFrameRGB AVFrame *类型的空间分配如下 AVFrame *pFrameRGB; int numBytes; uint8_t *buffer; // 分配一个AVFrame 结构的空间 pFrameRGBavcodec_alloc_frame(); if(pFrameRGBNULL) handle_error(); // 确认所需缓冲区大小并且分配缓冲区空间 numBytesavpicture_get_size(PIX_FMT_RGB24, pCodecCtx-width, pCodecCtx-height); buffernew uint8_t[numBytes]; // 在pFrameRGB中给图象位面赋予合适的缓冲区 avpicture_fill((AVPicture *)pFrameRGB, buffer, PIX_FMT_RGB24, pCodecCtx-width, pCodecCtx-height); 清除 好了我们已经处理了我们的视频现在需要做的就是清除我们自己的东西 // 释放 RGB 图象 delete [] buffer; av_free(pFrameRGB); // 释放YUV 帧 av_free(pFrame); // 关闭解码器codec avcodec_close(pCodecCtx); // 关闭视频文件 av_close_input_file(pFormatCtx); 完成 更新2005年4月26号有个读者提出在 Kanotix 一个 Debian 的发行版上面编译本例程或者直接在 Debian 上面编译头文件中avcodec.h 和avformat.h 需要加上前缀“ffmpeg”就像这样 #include ffmpeg/avcodec.h #include ffmpeg/avformat.h 同样的 libdts 库在编译程序时也要像下面这样加入进来 g -o avcodec_sample.0.4.9 avcodec_sample.0.4.9.cpp \ -lavformat -lavcodec -ldts -lz 几个月前我写了一篇有关使用ffmpeg下libavformat 和 libavcodec库的文章。从那以来我收到过一些评论并且新的ffmpeg预发行版(0.4.9-pre1) 最近也要出来了增加了对在视频文件中定位的支持新的文件格式和简单的读取视频帧的接口。这些改变不久就会应用到CVS中不过这次是我第一次在发行版中看到它们。顺便感谢 Silviu Minut 共享长时间学习CVS版的ffmpeg的成果他的有关ffmpeg的信息和demo程序在这里。 在这篇文章里我仅仅会描述一下以前的版本(0.4.8)和最新版本之间的区别所以如果你是采用新的 libavformat / libavcodec 我建议你读前面的文章。 首先说说有关编译新发行版吧。用我的编译器 SuSE 上的 gcc 3.3.1 在编译源文件 ffv1.c 时会报一个编译器内部的错误。我怀疑这是个精简版的gcc我在编译 OpenCV 时也遇到了同样的事情但是不论如何一个快速的解决方法就是在编译此文件时不要加优化参数。最简单的方法就是作一个make当编译时遇到编译器错误进入 libavcodec 子目录因为这也是 ffv1.c 所在之处在你的终端中使用gcc命令去编译ffv1.c粘贴编辑删除编译器开关译者注就是参数-O3然后使用那个命令运行gcc。然后你可以变回ffmpeg主目录并且重新运行make这次应该可以编译了。 都有哪些更新 有那些更新呢从一个程序员的角度来看最大的变化就是尽可能的简化了从视频文件中读取个人的视频帧的操作。在ffmpeg 0.4.8 和其早期版本中在从一个视频文件中的包中用例程av_read_packet()来读取数据时一个视频帧的信息通常可以包含在几个包里而另情况更为复杂的是实际上两帧之间的边界还可以存在于两个包之间。幸亏ffmpeg 0.4.9 引入了新的叫做av_read_frame()的例程,它可以从一个简单的包里返回一个视频帧包含的所有数据。使用av_read_packet()读取视频数据的老办法仍然支持但是不赞成使用我说摆脱它是可喜的。 这里让我们来看看如何使用新的API来读取视频数据。在我原来的文章中与 0.4.8 API相关主要的解码循环就像下面这样 while(GetNextFrame(pFormatCtx, pCodecCtx, videoStream, pFrame)) { img_convert((AVPicture *)pFrameRGB, PIX_FMT_RGB24, (AVPicture*)pFrame, pCodecCtx-pix_fmt, pCodecCtx-width, pCodecCtx-height); // 处理视频帧存盘等等 DoSomethingWithTheImage(pFrameRGB); } GetNextFrame() 是个有帮助的例程它可以处理这样一个过程这个过程汇编一个完整的视频帧所需要的所有的包。新的API简化了我们在主循环中实际直接读取和解码数据的操作 while(av_read_frame(pFormatCtx, packet)0) { // 这是视频流中的一个包吗 if(packet.stream_indexvideoStream) { // 解码视频流 avcodec_decode_video(pCodecCtx, pFrame, frameFinished, packet.data, packet.size); // 我们得到一帧了吗 if(frameFinished) { // 把原始图像转换成 RGB img_convert((AVPicture *)pFrameRGB, PIX_FMT_RGB24, (AVPicture*)pFrame, pCodecCtx-pix_fmt, pCodecCtx-width, pCodecCtx-height); // 处理视频帧存盘等等 DoSomethingWithTheImage(pFrameRGB); } } // 释放用av_read_frame分配空间的包 av_free_packet(packet); } 看第一眼似乎看上去变得更为复杂了。但那仅仅是因为这块代码做的都是要隐藏在GetNextFrame()例程中实现的检查包是否属于视频流解码帧并释放包。总的说来因为我们能够完全排除 GetNextFrame ()事情变得更简单了。 我已经更新了demo程序使用最新的API。简单比较一下行数老版本222行 Vs新版本169行显示出新的API大大的简化了这件事情。 0.4.9的另一个重要的更新是能够在视频文件中定位一个时间戳。它通过函数av_seek_frame() 来实现此函数有三个参数一个指向 AVFormatContext 的指针一个流索引和定位时间戳。此函数在给定时间戳以前会去定位第一个关键帧。所有这些都来自于文档。我并没有对av_seek_frame()进行测试所以这里我并不能够给出任何示例代码。如果你成功的使用av_seek_frame() 我很高兴听到这个消息。 捕获视频(Video4Linux and IEEE1394) Toru Tamaki 发给我了一些使用 libavformat / libavcodec 库从 Video4Linux 或者 IEEE1394 视频设备源中抓捕视频帧的样例代码。对 Video4Linux,调用av_open_input_file() 函数应该修改如下 AVFormatParameters formatParams; AVInputFormat *iformat; formatParams.device /dev/video0; formatParams.channel 0; formatParams.standard ntsc; formatParams.width 640; formatParams.height 480; formatParams.frame_rate 29; formatParams.frame_rate_base 1; filename ; iformat av_find_input_format(video4linux); av_open_input_file(ffmpegFormatContext, filename, iformat, 0, formatParams); For IEEE1394, call av_open_input_file() like this: AVFormatParameters formatParams; AVInputFormat *iformat; formatParams.device /dev/dv1394; filename ; iformat av_find_input_format(dv1394); av_open_input_file(ffmpegFormatContext,filename, iformat, 0, formatParams); 顶3 踩
