深紫色网站,如何做可以赚钱的网站,线上运营推广工作内容,如何快速建网站目录 一、RTP封装1.1 RTP数据结构1.2 源码 二、H.264的RTP打包2.1 H.264格式2.2 H.264的RTP打包方式2.3 H.264 RTP包的时间戳计算2.4 源码 三、H.264 RTP打包的sdp描述四、测试 本篇文章目标#xff0c;使用vlc打开sdp文件后#xff0c;可以观看到视频数据 一、RTP封装
1.1 … 目录 一、RTP封装1.1 RTP数据结构1.2 源码 二、H.264的RTP打包2.1 H.264格式2.2 H.264的RTP打包方式2.3 H.264 RTP包的时间戳计算2.4 源码 三、H.264 RTP打包的sdp描述四、测试 本篇文章目标使用vlc打开sdp文件后可以观看到视频数据 一、RTP封装
1.1 RTP数据结构
RTP包格式前面已经比较详细的介绍过参考从零开始写一个RTSP服务器一不一样的RTSP协议讲解
看一张RTP头的格式图回忆一下 每个RTP包都包含这样一个RTP头部和RTP数据为了方便我将这个头部封装成一个结构体还有发送包封装成一个函数下面来看一看
RTP头结构体
/*
* 作者_JT_
* 博客https://blog.csdn.net/weixin_42462202
*/struct RtpHeader{/* byte 0 */uint8_t csrcLen:4;uint8_t extension:1;uint8_t padding:1;uint8_t version:2;/* byte 1 */uint8_t payloadType:7;uint8_t marker:1;/* bytes 2,3 */uint16_t seq;/* bytes 4-7 */uint32_t timestamp;/* bytes 8-11 */uint32_t ssrc;};其中的:n是一种位表示法这个结构体跟RTP的头部一一对应
RTP的发包函数 RTP包
struct RtpPacket
{struct RtpHeader rtpHeader;uint8_t payload[0];
};这是我封装的一个RTP包包含一个RTP头部和RTP载荷uint8_t payload[0]并不占用空间它表示rtp头部接下来紧跟着的地址灵活数组成员 payload[0] 在结构体中的作用是为了实现动态长度的数组动态长度的意思是数组的长度在运行时确定而不是在编译时确定。
RTP的发包函数
/** 函数功能发送RTP包* 参数 socket表示本机的udp套接字* 参数 ip表示目的ip地址* 参数 port表示目的的端口号* 参数 rtpPacket表示rtp包* 参数 dataSize表示rtp包中载荷的大小* 放回值发送字节数*/
int rtpSendPacket(int socket, char* ip, int16_t port, struct RtpPacket* rtpPacket, uint32_t dataSize)
{struct sockaddr_in addr;int ret;addr.sin_family AF_INET;addr.sin_port htons(port);addr.sin_addr.s_addr inet_addr(ip);rtpPacket-rtpHeader.seq htons(rtpPacket-rtpHeader.seq);rtpPacket-rtpHeader.timestamp htonl(rtpPacket-rtpHeader.timestamp);rtpPacket-rtpHeader.ssrc htonl(rtpPacket-rtpHeader.ssrc);ret sendto(socket, (void*)rtpPacket, dataSizeRTP_HEADER_SIZE, 0,(struct sockaddr*)addr, sizeof(addr));rtpPacket-rtpHeader.seq ntohs(rtpPacket-rtpHeader.seq);rtpPacket-rtpHeader.timestamp ntohl(rtpPacket-rtpHeader.timestamp);rtpPacket-rtpHeader.ssrc ntohl(rtpPacket-rtpHeader.ssrc);return ret;
}仔细看这个函数你应该可以看懂
我们设置好一个包之后就会调用这个函数发送指定目标
这个函数中多处使用htons等函数是因为RTP是采用网络字节序大端模式所以要将主机字节字节序转换为网络字节序
下面给出源码rtp.h和rtp.c这两个文件在后面讲经常使用
1.2 源码
rtp.h
/** 作者_JT_* 博客https://blog.csdn.net/weixin_42462202*/#ifndef _RTP_H_
#define _RTP_H_
#include stdint.h#define RTP_VESION 2#define RTP_PAYLOAD_TYPE_H264 96
#define RTP_PAYLOAD_TYPE_AAC 97#define RTP_HEADER_SIZE 12
#define RTP_MAX_PKT_SIZE 1400/*** 0 1 2 3* 7 6 5 4 3 2 1 0|7 6 5 4 3 2 1 0|7 6 5 4 3 2 1 0|7 6 5 4 3 2 1 0* --------------------------------* |V2|P|X| CC |M| PT | sequence number |* --------------------------------* | timestamp |* --------------------------------* | synchronization source (SSRC) identifier |* * | contributing source (CSRC) identifiers |* : .... :* --------------------------------**/
struct RtpHeader
{/* byte 0 */uint8_t csrcLen:4;uint8_t extension:1;uint8_t padding:1;uint8_t version:2;/* byte 1 */uint8_t payloadType:7;uint8_t marker:1;/* bytes 2,3 */uint16_t seq;/* bytes 4-7 */uint32_t timestamp;/* bytes 8-11 */uint32_t ssrc;
};struct RtpPacket
{struct RtpHeader rtpHeader;uint8_t payload[0];
};void rtpHeaderInit(struct RtpPacket* rtpPacket, uint8_t csrcLen, uint8_t extension,uint8_t padding, uint8_t version, uint8_t payloadType, uint8_t marker,uint16_t seq, uint32_t timestamp, uint32_t ssrc);
int rtpSendPacket(int socket, char* ip, int16_t port, struct RtpPacket* rtpPacket, uint32_t dataSize);#endif //_RTP_H_rtp.c
/** 作者_JT_* 博客https://blog.csdn.net/weixin_42462202*/#include sys/types.h
#include sys/socket.h
#include arpa/inet.h
#include netinet/in.h
#include arpa/inet.h#include rtp.hvoid rtpHeaderInit(struct RtpPacket* rtpPacket, uint8_t csrcLen, uint8_t extension,uint8_t padding, uint8_t version, uint8_t payloadType, uint8_t marker,uint16_t seq, uint32_t timestamp, uint32_t ssrc)
{rtpPacket-rtpHeader.csrcLen csrcLen;rtpPacket-rtpHeader.extension extension;rtpPacket-rtpHeader.padding padding;rtpPacket-rtpHeader.version version;rtpPacket-rtpHeader.payloadType payloadType;rtpPacket-rtpHeader.marker marker;rtpPacket-rtpHeader.seq seq;rtpPacket-rtpHeader.timestamp timestamp;rtpPacket-rtpHeader.ssrc ssrc;
}int rtpSendPacket(int socket, char* ip, int16_t port, struct RtpPacket* rtpPacket, uint32_t dataSize)
{struct sockaddr_in addr;int ret;addr.sin_family AF_INET;addr.sin_port htons(port);addr.sin_addr.s_addr inet_addr(ip);rtpPacket-rtpHeader.seq htons(rtpPacket-rtpHeader.seq);rtpPacket-rtpHeader.timestamp htonl(rtpPacket-rtpHeader.timestamp);rtpPacket-rtpHeader.ssrc htonl(rtpPacket-rtpHeader.ssrc);ret sendto(socket, (void*)rtpPacket, dataSizeRTP_HEADER_SIZE, 0,(struct sockaddr*)addr, sizeof(addr));rtpPacket-rtpHeader.seq ntohs(rtpPacket-rtpHeader.seq);rtpPacket-rtpHeader.timestamp ntohl(rtpPacket-rtpHeader.timestamp);rtpPacket-rtpHeader.ssrc ntohl(rtpPacket-rtpHeader.ssrc);return ret;
}二、H.264的RTP打包
2.1 H.264格式
H.264由一个一个的NALU组成每个NALU之间使用00 00 00 01或00 00 01分隔开
每个NALU的第一次字节都有特殊的含义其内容如下 好对于H.264格式了解这么多就够了我们的目的是想从一个H.264的文件中将一个一个的NALU提取出来然后封装成RTP包下面介绍如何将NALU封装成RTP包
2.2 H.264的RTP打包方式
H.264可以由三种RTP打包方式
单NALU打包
一个RTP包包含一个完整的NALU
聚合打包
对于较小的NALU一个RTP包可包含多个完整的NALU
分片打包
对于较大的NALU一个NALU可以分为多个RTP包发送
注意这里要区分好概念每一个RTP包都包含一个RTP头部和RTP荷载这是固定的。而H.264发送数据可支持三种RTP打包方式
比较常用的是单NALU打包和分片打包本文也只介绍这两种
单NALU打包 所谓单NALU打包就是将一整个NALU的数据放入RTP包的载荷中
这是最简单的一种方式无需过多的讲解
分片打包 每个RTP包都有大小限制的因为RTP一般都是使用UDP发送UDP没有流量控制所以要限制每一次发送的大小所以如果一个NALU的太大就需要分成多个RTP包发送如何分成多个RTP包下面来好好讲一讲
首先要明确RTP包的格式是绝不会变的永远多是RTP头RTP载荷 RTP头部是固定的那么只能在RTP载荷中去添加额外信息来说明这个RTP包是表示同一个NALU
如果是分片打包的话那么在RTP载荷开始有两个字节的信息然后再是NALU的内容 第一个字节位FU Indicator其格式如下 高三位0 1 2与NALU第一个字节的高三位相同
Type28表示该RTP包一个分片为什么是28因为H.264的规范中定义的此外还有许多其他Type这里不详讲代码表示方式如下 rtpPacket-payload[0] (naluType 0x60) | 28;第二个字节位FU Header其格式如下 S标记该分片打包的第一个RTP包只有第一个包的最高位被置1
E比较该分片打包的最后一个RTP包最后一个包第二高位被置1
TypeNALU的Type
代码表示如下
rtpPacket-payload[1] naluType 0x1F;if (i 0) //第一包数据rtpPacket-payload[1] | 0x80; // start
else if (remainPktSize 0 i pktNum - 1) //最后一包数据rtpPacket-payload[1] | 0x40; // end2.3 H.264 RTP包的时间戳计算
RTP包的时间戳起始值是随机的
RTP包的时间戳增量怎么计算
假设时钟频率为90000帧率为25
频率为90000表示一秒用90000点来表示
帧率为25那么一帧就是1/25秒
所以一帧有90000*(1/25)3600个点来表示
因此每一帧数据的时间增量为3600
2.4 源码
rtp_h264.c 这里给出rtp发送H.264的源码
/** 作者_JT_* 博客https://blog.csdn.net/weixin_42462202* 注释添加call_me_wangcheng*/#include stdio.h
#include stdlib.h
#include sys/types.h
#include sys/socket.h
#include sys/stat.h
#include fcntl.h
#include unistd.h
#include string.h#include rtp.h#define H264_FILE_NAME test.h264
#define CLIENT_IP 127.0.0.1 //运行可执行程序设备的IP地址可执行程序就是这个编译后的程序
#define CLIENT_PORT 9832 //端口号#define FPS 25static inline int startCode3(char* buf)
{if(buf[0] 0 buf[1] 0 buf[2] 1)return 1;elsereturn 0;
}static inline int startCode4(char* buf)
{if(buf[0] 0 buf[1] 0 buf[2] 0 buf[3] 1)return 1;elsereturn 0;
}static char* findNextStartCode(char* buf, int len)
{int i;if(len 3)return NULL;for(i 0; i len-3; i){if(startCode3(buf) || startCode4(buf))return buf;buf;}if(startCode3(buf))return buf;return NULL;
}static int getFrameFromH264File(int fd, char* frame, int size)
{int rSize, frameSize;char* nextStartCode;if(fd 0)return fd;rSize read(fd, frame, size);if(!startCode3(frame) !startCode4(frame))return -1;nextStartCode findNextStartCode(frame3, rSize-3);if(!nextStartCode){lseek(fd, 0, SEEK_SET);frameSize rSize;}else{frameSize (nextStartCode-frame);lseek(fd, frameSize-rSize, SEEK_CUR);}return frameSize;
}static int createUdpSocket()
{int fd;int on 1;fd socket(AF_INET, SOCK_DGRAM, 0);if(fd 0)return -1;setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, (const char*)on, sizeof(on));return fd;
}static int rtpSendH264Frame(int socket, char* ip, int16_t port,struct RtpPacket* rtpPacket, uint8_t* frame, uint32_t frameSize)
{uint8_t naluType; // nalu第一个字节int sendBytes 0;int ret;naluType frame[0];if (frameSize RTP_MAX_PKT_SIZE) // nalu长度小于最大包场单一NALU单元模式{/** 0 1 2 3 4 5 6 7 8 9* --------------------* |F|NRI| Type | a single NAL unit ... |* --------------------*/memcpy(rtpPacket-payload, frame, frameSize);ret rtpSendPacket(socket, ip, port, rtpPacket, frameSize);if(ret 0)return -1;rtpPacket-rtpHeader.seq;sendBytes ret;if ((naluType 0x1F) 7 || (naluType 0x1F) 8) // 如果是SPS、PPS就不需要加时间戳goto out;}else // nalu长度小于最大包场分片模式{/** 0 1 2* 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3* ---------------------------* | FU indicator | FU header | FU payload ... |* ---------------------------*//** FU Indicator* 0 1 2 3 4 5 6 7* --------* |F|NRI| Type |* ---------------*//** FU Header* 0 1 2 3 4 5 6 7* --------* |S|E|R| Type |* ---------------*/int pktNum frameSize / RTP_MAX_PKT_SIZE; // 有几个完整的包int remainPktSize frameSize % RTP_MAX_PKT_SIZE; // 剩余不完整包的大小int i, pos 1;/* 发送完整的包 */for (i 0; i pktNum; i){rtpPacket-payload[0] (naluType 0x60) | 28;rtpPacket-payload[1] naluType 0x1F;if (i 0) //第一包数据rtpPacket-payload[1] | 0x80; // startelse if (remainPktSize 0 i pktNum - 1) //最后一包数据rtpPacket-payload[1] | 0x40; // end//因为payload[1]已经包含了nalu_type所以frame的地址需要加一因为分隔符后的第一个字节表示nalu_typememcpy(rtpPacket-payload2, framepos, RTP_MAX_PKT_SIZE);ret rtpSendPacket(socket, ip, port, rtpPacket, RTP_MAX_PKT_SIZE2);if(ret 0)return -1;rtpPacket-rtpHeader.seq;sendBytes ret;pos RTP_MAX_PKT_SIZE;}/* 发送剩余的数据 */if (remainPktSize 0){rtpPacket-payload[0] (naluType 0x60) | 28;rtpPacket-payload[1] naluType 0x1F;rtpPacket-payload[1] | 0x40; //end//原博主提供的代码这里进行了2操作按照我的理解-1都行有懂得在评论区教教我memcpy(rtpPacket-payload2, framepos, remainPktSize2);ret rtpSendPacket(socket, ip, port, rtpPacket, remainPktSize2);if(ret 0)return -1;rtpPacket-rtpHeader.seq;sendBytes ret;}}out:return sendBytes;
}int main(int argc, char* argv[])
{int socket;int fd;int fps 25;int startCode;struct RtpPacket* rtpPacket;uint8_t* frame;uint32_t frameSize;fd open(H264_FILE_NAME, O_RDONLY);if(fd 0){printf(failed to open %s\n, H264_FILE_NAME);return -1;}socket createUdpSocket();if(socket 0){printf(failed to create socket\n);return -1;}rtpPacket (struct RtpPacket*)malloc(500000);frame (uint8_t*)malloc(500000);rtpHeaderInit(rtpPacket, 0, 0, 0, RTP_VESION, RTP_PAYLOAD_TYPE_H264, 0,0, 0, 0x88923423);while(1){frameSize getFrameFromH264File(fd, frame, 500000);if(frameSize 0){printf(read err\n);continue;}if(startCode3(frame))startCode 3;elsestartCode 4;frameSize - startCode;rtpSendH264Frame(socket, CLIENT_IP, CLIENT_PORT,rtpPacket, framestartCode, frameSize);rtpPacket-rtpHeader.timestamp 90000/FPS;usleep(1000*1000/fps);}free(rtpPacket);free(frame);return 0;
}三、H.264 RTP打包的sdp描述
sdp文件有什么用
sdp描述着媒体信息当使用vlc打开这个sdp文件后会根据这些信息做相应的操作创建套接字…,然后等待接收RTP包
这里给出RTP打包H.264的sdp文件并描述每一行是什么意思
mvideo 9832 RTP/AVP 96
artpmap:96 H264/90000
aframerate:25
cIN IP4 127.0.0.1这个一个媒体级的sdp描述关于sdp文件描述详情可看从零开始写一个RTSP服务器一不一样的RTSP协议讲解
mvideo 9832 RTP/AVP 96
格式为 m媒体类型 端口号 传输协议 媒体格式 媒体类型video表示这是一个视频流
端口号9832表示UDP发送的目的端口为9832
传输协议RTP/AVP表示RTP OVER UDP通过UDP发送RTP包
媒体格式表示负载类型(payload type)一般使用96表示H.264
artpmap:96 H264/90000
格式为artpmap:媒体格式编码格式/时钟频率
aframerate:25
表示帧率
cIN IP4 127.0.0.1
IN表示internet
IP4表示IPV4
127.0.0.1表示UDP发送的目的地址为127.0.0.1
特别注意这段sdp文件描述的udp发送的目的IP为127.0.0.1目的端口为9832
四、测试
讲上面给出的源码rtp.c、rtp.h、rtp_h264.c保存下来然后编译运行
注意该程序默认打开的是test.h264如果你没有视频源可以从RtspServer的example目录下获取
gcc rtp.c rtp_h264.c
./a.out讲上面的sdp文件保存为rtp_h264.sdp使用vlc打开即可观看到视频
运行效果 至此我们已经完成了RTSP协议交互和RTP打包H.264下一篇文章就可以来实现一个播放H.264的RTSP服务器了
原文链接http://t.csdnimg.cn/svr1b
