c++之流媒体传输--Live555源码解读

2019-11-22

Live555是一个为流媒体提供解决方案的跨平台的C++开源项目，它实现了对标准流媒体传输是一个为流媒体提供解决方案的跨平台的C++开源项目，它实现了对标准流媒体传输协议如RTP/RTCP、RTSP、SIP等的支持。Live555实现了对多种音视频编码格式的音视频数据的流化、接收和处理等支持，包括MPEG、H.263+、DV、JPEG视频和多种音频编码

关注+私信免费领取一份99的视频学习资料哦

流媒体服务器搭建

框架：

Live555获取网络相机流ffmpeg对获取网络相机码流转码视频码流的高效显示

一、 live555、ffmpeg及D3D的简介

Live555是一个标准流媒体传输的跨平台C++开源项目。

Ffmpeg是一个音视频解码的开源项目。

DerictX9是微软的游戏引擎库。

二、搭建开发环境

a) Live555的源码编译及环境配置

b) Ffmpeg的SDK获取

c) D3D9的SDK获取

三、框架搭建

a) Live555获取相机码流的方法

a.1 支持rtsp相机的流URL地址

海康相机含账户密码的url地址格式：

Rtsp://用户名：密码@码流地址

主码流：rtsp://admin:12345@192.168.96.10/MPEG-4/ch2/main/av_stream

子码流：rtsp://admin:12345@192.168.96.10/MPEG-4/ch2/main/av_stream

a.2 live555获取rtsp流

Live555 提供了一个简单的客户端工程，testRTSPClient。Live55获取流的过程：打开URL进入工作调度循环，当连接失败时会调用shutdownStream断开流，并执行清理工作。只有当eventLoopWatchVariable为非零时才会停止工作调度循环。需要注意的是live555支持子会话，只有当所有子会话都停止时，才会将eventLoopWatchVariable设置为非零值，退出工作调度循环。参考testRTSPClient的shutdownStream函数。

// All subsequent activity takes place within the event loop:

env->taskScheduler().doEventLoop(&eventLoopWatchVariable);

// This function call does not return, unless, at some point in time, “eventLoopWatchVariable” gets set to something non-zero.

Live555工程有一个mediaServer工程，我们可以用它来测试我们的rtsp客户端程序,此外也有一些公开的rtsp测试地址可用，比如

rtsp://218.204.223.237:554/live/1/67A7572844E51A64/f68g2mj7wjua3la7.sdp。还有一个比较好用的播放工具 VLC ，通过配置可以播放h.264的网络视频流。

b) Ffmpeg对获取到H.264码流的解码方法

Ffmpeg的工作方式类似于插件的工作方式，解码流程：

Ffmpeg初始化化Ffmpeg解码Ffmpeg退出清理资源

b.1、Ffmpeg初始化内容

b.2、解码函数

c) D3D9 YV12图像渲染方法
c.1 初始化D3D设备,渲染视频

c.4设备丢失问题及解决办法

c.4.1设备丢失

Direct3D设备要么处于可操作状态，要么处于丢失状态，可操作状态即正常状态，设备按预期运行并渲染。当某些事件发生时，设备将转入丢失状态，比如在全屏状态下失去键盘焦点，这将导致无法继续渲染。设备丢失的一个特点是所有的渲染操作都会silent failure，这就意味着即使渲染操作失败了，渲染函数也能正确返回。在这种情况下，函数Present将返回D3DERR_DEVICELOST。

c.4.2解决办法

d) 将三个技术组合搭建组合流媒体服务器，主要是数据的异步处理，三个技术的衔接

三个关键技术实现后，我们便可以根据工作所需组合起来实现需求。

Live555获取到流后加入缓冲队列，FFmpeg从缓冲队列中取出数据解码之后便可用D3d渲染播放，很明显，在对这个缓冲队列操作时，要使用使用锁机制操作。这其中有两个关键点。其一，视频缓冲队列要有限制，不能过大，超出一个最大值之后，就要对缓冲清理。其二D3d9的渲染速率跟live555网络流的获取速率不一致，渲染速率大于获取速率，就会造成视频卡顿。最简单的一个办法就是，按照获取速率控制渲染，即以一帧为单位渲染，缓冲中小于一帧是，就不再渲染，并让出cpu视频，Sleep一段时间。这两点总结为我们要对缓冲队列里的缓冲帧数设置一个合理的范围。

四、优缺点

a) 性能：

i. 使用GPU解码渲染视屏，大大降低CPU的使用率。

ii. 普通pc能够播放视频的路数。Intel Xeon E3-1220 3.1GHz cpu,NVIDIA NVS300 gpu播放视频时每路大于占5%左右的cpu。

b) 易用性：使用的三个组件资料比较丰富，只要通过简单的组合即可开发出网络相机播放程序。

c) 稳定性:使用的三个组件，经过了长时间的检验，相当稳定，只要我们合理组合使用，便可开发出较为稳定的视频程序。

五、待改进的地方

a) 对流的有效控制。

b) 所依赖的三个SDK功能强大，但只用到了部分功能，因此对live555、ffmpeg源码的裁剪精小，使其更适合此流媒体服务器。

c) D3D9仅能在windows平台使用，需要使用跨平台视频渲染引擎，如OpenGl,或者使用并行计算的方式，如OpenCl。均是跨平台，又是使用GPU解码渲染，大大减轻CPU的负担。

d) Ffmpeg是在cpu上解码的，如果能够通过并行计算（如OpenCl）的方式交由GPU解码，将能进一步减少CPU的压力，提升系统的流畅度。

e) 如果仅仅是播放网络相机的rtsp流，我们可以使用VLC的SDK实现程序的快速开发。