dede 中英文网站,上海娱乐场所最新规定,中国十大餐饮品牌策划公司,网站建设 中小企业1、什么是混流#xff1f;
混流就是把多路音视频流合成单流。准确的说#xff0c;混流应该叫做混音#xff08;音频流#xff09;混画面#xff08;视频流#xff09;
混流的过程包括解码、混流、编码和推流四个部分。混流这个环节包括做抖动缓冲#xff0c;目的是把多…1、什么是混流
混流就是把多路音视频流合成单流。准确的说混流应该叫做混音音频流混画面视频流
混流的过程包括解码、混流、编码和推流四个部分。混流这个环节包括做抖动缓冲目的是把多路流进行画面对齐和音画同步同时通过缓冲对抗网络抖动以便混合成一路流以后能够达到良好的效果。
在混流的过程中难点是如何对抗网络抖动等不确定因素。
2、不混流的优势和劣势
不混流的优势
延迟低不用混流节省了混流消耗的时间显著地降低了延迟
成本低 如果是在服务端进行混流将会耗费计算资源。考虑到服务端计算资源比较昂贵如果不用混流将会节省宝贵的计算资源显著地降低成本。虽然拉多流比起拉单流会消耗更多的带宽成本但是拉多流节省计算资源成本整体而言成本是降低了。
灵活性:在观众端业务侧可以比较灵活的操控多路流来满足多样化的业务需求。比如画中画大小画面相互切换和对半分屏画面左右调换等效果来提高观众端的用户体验。
不混流的劣势
拉多流会消耗更多的带宽。多路流被从服务端推到CDN, 然后观众端从CDN拉多流都会耗费比较多的带宽成本。对于带宽成本占了运营成本显著的确是需要慎重考量的。
混流的优势
成本可以分为计算资源成本和带宽成本。由于预先做混流因此计算资源成本会上去但是由于只拉单流因此带宽成本会下来。
可录制如果业务上有录制音视频流的需求以备监管抽查或者观众回放的话那么需要进行混流。如果不进行混流的话录制的时候只能录制到其中一个路音视频流也就是只能看到其中一个主播的画面。要录制全画面的话必须要进行混流。
易传播如果业务上有通过音视频流地址链接(HLS)进行转发传播的需求那么也需要进行混流因为地址链接只会指向一路音视频流。如果不混流使用转发的地址链接就只会播放出一个主播的音视频流。
混流的劣势
高延迟由于在做混流的过程中需要做抖动缓冲和实时转码等计算处理将会耗费时间从而造成额外的延迟。
不灵活由于观众端拉单流观看多路音视频流已经被混合成单流所以观众端无法再灵活地对多流进行操控比如切换画中画的主次画面。
服务器计算成本高由于混流需要额外的计算资源这里会导致额外的运营成本。
3、连麦互动的直播方案
4、推流端混流的方案 推流混流劣势服务端计算成本低服务端压力小劣势增加额外的延迟手机硬件配置的瓶颈上行网络带宽瓶颈推流端环境不可控难以扩展
5、服务端混流的方案 服务端混流的优势
低延迟
计算资源可控
网络带宽资源可控
可控可扩展
服务端混流的劣势
- 服务器计算成本高
- 服务端压力大
6、混流工具介绍
FFmpeg
Ffmpeg框架的基本组成包含AVFormat、AVCodec、AVFilter、AVDevice、AVUtil等模块库
AVFormat用于各种音视频封装格式的生成和解析包括获取解码所需信息以生成解码上下文结构和读取音视频帧等功能音视频的格式解析协议
ACCodec用于各种类型声音/图像编解码该库是音视频编解码核心实现了市面上可见的绝大部分解码器的功能libavcodec 库被其他各大解码器ffdshowMplayer 等所包含或应用。
AVFilter:音视频滤波器的开发如宽高比裁剪格式化非格式化伸缩
混流的逻辑 混流命令
./ffmpeg -i “背景图” -i “rtmp://输入流1” -i “rtmp://输入流2” -filter_complex “nullsrcsize1600x720 [base];[0:v] scale1600x720 [main]; [1:v] crop320:180:0:0 [photo1];[2:v] crop320:180:0:0 [photo2];[base][main] overlayx0:y0 [temp];[temp][photo1] overlayx1280:y0 [temp1];[temp1][photo2] overlayx1280:y180 [temp2]” -c:v libx264 -r 50 -bufsize 10M -f flv “rtmp://推流地址”
- -i输入文件
- -filter_complex :滤镜
- nullsrcsize1600x720 [base]设置基础背景大小并取别名base
- [0:v] scale1600x720 [main]设置第一个输入文件的大小及背景图大小为1600*720并取别名main- [1:v] crop320:180:0:0 [photo1]裁剪第二个文件大小设置为320*180并取别名photo1
- [2:v] crop320:180:0:0 [photo2]如上
- [base][main] overlayx0:y0 [temp]指定main在base的坐标overlay距离左上角的坐标并取别名temp
- [temp][photo1] overlayx1280:y0 [temp1];[temp1][photo2] overlayx1280:y180 如上
- -r 帧率
- -bufsize 码率控制缓冲区大小
- -f flv 强迫采用格式flv
录制命令
./ffmpeg -i rtmp://混流地址 test.mp4 粉丝福利 免费领取C音视频学习资料包学习路线大纲、技术视频/代码内容包括音视频开发面试题FFmpeg webRTC rtmp hls rtsp ffplay 编解码推拉流srs↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓
