基于内容感知的视频流媒体渐进式流传输方式分析模型

冯九龙

（对外经贸大学统计学院 北京市 100048）

网络传输的信息主要涉及文本信息还有不同类型的图像以及视音频与三维动画等多媒体数据。用户在使用的过程中不仅对视听节目的音质与画质有着相对较高的要求同时还对网络带宽有着相对较高的要求，基于内容感知的视频流媒体渐进式流传输方式从而有效处理传输网络带宽以及平衡播出视频质量还有用户等待时间之间的冲突。

1 视频帧重要性分析

视频传输的资源分配一般是以一组视频帧作为对象的，在图像组中的视频帧展开资源的有效分配，所以进行对视频帧重要性的准确度量便于展开资源的合理分配，进行对重要视频帧的有效保护。在H.264 编码算法中，编码模式可以对视频内容方面的有关特性进行有效地反映，在该算法中运动矢量还有参考帧的选择等方面的参数能够进行对相邻帧间场景方面的变化的剧烈程度进行有效地反映。

本文主要是通过进行对视频帧内的重要的参数进行有效地提取进行对数据丢失所造成的失真程度的合理判断，并且对视频帧内的GOP 中的位置予以充分地考虑对视频帧的丢失从而对GOP 内的其他帧的失真所产生的相关影响，以此为基础进行对GOP 内视频帧的重要性函数予以有效地确定。在视频序列内，结合帧的编码信息，如：将帧类型设定为K，将镜头代表帧设为W 场景切换帧设定为P 从而对视频流内的各类型的帧重要性进行合理的计算，其公示为：

在此公式内，Ii 所代表的主要为第i 帧的重要性的度量，而Wi所代表的为第i 帧码率分配的权重，KI 所代表的为通过有效调整以后第i 帧分配的码率，H 所代表的则是视频帧的重要性的函数。除此之外，Kgop所代表的未GOP 所具体需要的具体码率。

2 片层数据重要性

对于MGS 编码来讲其各个子块的数据单元内的16 个系数属于4*4 子块数据经过证书变换以后从而取得的，所以每个系数的重要性也存在着一定程度的差异。结合片层所涵盖的系数的个数对片层自重药性的权重矢量进行有效地定义。对于片层数据重要性的分析不仅需要对每层的自重要性系数同时片层的参考度矢量也是其中较为重要的一项评价因素。

并且将片层参考度矢量C=(c0,c1,…,cn-1)，将F={f0,f1,…,fn-1}代表有N 帧所构成的编码图像组，假如N=4 时，f2帧的图像因为经过双向预测获得所以可以被视为属于f0还有f4帧图像的子帧。以此类推从而了解到f0和f2的子帧为f1，f3属于f2和f4的子帧。因为帧间预测的作用，所以父帧相关数据若是出现一定的丢失将会使得子帧出现失真的情况。

3 渐进式流传方式

想要使得网络高并发利用率作用得到充分地发挥，同时科学合理地处理视频质量还有用户实时性请求方面的冲突，在具体视频编码还有传输的阶段呃逆，首先应当对低分辨率的流媒体数据的传送、接收还有显示，从而在进行对更为精细化的数据还有重要性相对较高的数据以及保护性较高的数据进行传送还有接收以及显示，最终进行对其他数据的有效传送。结合帧的重要性进行对最优码率分配的有效排序，结合帧内所有片层的具体重要程度进行科学合理的有效排列，及所有重要的编码的具体范围能够经过带宽还有具体需求展开有效地确定。视频的渐进式流传输方式在展开编码重要数据的有效保护过程中，利用冗余备份的方式把此部分重要编码数据转入基本层内展开有效地处理。根据数据重要性估计分析作为基础，采用合理的计算方式进行对视频序列质量的整体重要性的有效计算，从而对数据的丢弃排序策略予以有效地确定，令在目标码率下视频序列质量保持最优的状态。

根据MGS 编解码进行分析可以了解到，进行对中间增强层数据的有效提取，因为层间预测方面的因素进而造成了中间增强层数据无法取得有效地利用。想要使得层间预测保持合理的一致性，该方面能够利用进行对MGS 层间的依赖性结构调整的方法进行有效地处理。

4 失真模型预测

通过以错误扩散的失真建模还有对视频数据负载对丢包方面的影响，根据失真模式进行分析，网络的丢包事件的发生率还有平均连续丢包长度、视频传输的负载方式还有编码参数以及视频本身的内容特性均对最终的视频失真具有极大程度地影响。以H2.6overRTP 传输为例因为其编码解码还有负载方式方面的特性，丢包情况的存在仅仅是会对现阶段GOB 的解码方面造成一定程度地影响，在传输方面具有相对较为良好的鲁棒性。借助仿真实验进行对视频失真度量模型的准确性的有效验证，通过对编码器的有效修改从而令编码器在进行编码的过程中同时还能够进行对没整的GOB 的初始失真值的有效计算。首先若视频编码器实现了对一个宏块的编码的编制，结合此宏块所属的GOB 的编号，从而进行对此宏块所属的GOB 进行记录。由于编码器会展开重构编码，完成重构编码以后所获得的宏块便是在解码器段能够进行解码予以数据的恢复，同时由编码器中的帧缓存内取得的此宏块预测编码的参考帧数据，在编码器端模拟解码器端的错误进行机制的有效恢复，再取得经过错误隐藏算法后的宏块，同时把数据还有重构编码以后的宏块数据进行与计算，取得此宏块的初始失真的有效比较。

表1：Foreman 序列MGS 对各片层的影响

除此之外，结合GOB 编号对一个GOB 内的各个宏块的初始失真进行求和从而获得一个GOB 的初始失真。然而一个GOP 中的GOB 的初始失真的平均值便是各个GOB 的初始失真，通过进行平均值的计算便可以。对视频传输跟踪文件来讲其作用在于把MPEG-2 或H.264 的视频码借助NS-2 的接口向仿真网络内进行注入，进行对视频流发送的具体数据的相关特性进行有效地模拟。

本文主要结合H.264 编码视频所生产的两个TrafficTracefile 为例，其中一方面涉及较为详细的相关信息，另一个则只涉及在进行模拟过程中所需要的最为核心的几个参数，对于详细信息来讲其主要涉及RTP 头部信息还有NALU 头信息和Slice 的一些头信息。对于简单信息来讲其通常所涉及的信息有序列号还有发送的具体时间以及GOB 大小和数据的实际类型等方面。对于传输协议仿真其主要是在NS-2 的网络协议框架为基础进行建设的，虽然传输协议具有一定的标准，然而在拥塞控制还有错误控制方面一般是为应用层进行预留的，在进行模拟的过程中主要对发送端的速率控制以及错误重传进行有效地简化。在展开对发送端速率方面的控制过程中若是发送端采用拥塞控制机制，则部分数据包有可能会被发送端直接抛弃，不进行发送从而实现对发送速率的有效控制。在进行模拟的过程中假设发送端将所有的数据进行发送，不对任何数据进行主动性的抛弃，在此情况下所造成的数据方面的丢失均是因为网络丢包所引起的。若是发送端其传输控制机制内具有错误重传，在此环境下，一些数据包均有可能会被传输多次。在进行仿真模拟的过程中，若是发送端没有使用错误重发机制，全部的数据包在发送端在传输的过程中只会进行发送一次。

5 实验与结果分析

因为MGS 编码可以在相对较为明显的进行对计算复杂程度的有效下降的基础上提供同FGS 失真结果相似，所以其成为现阶段使用相对较为广泛的视频编码技术。本文主要是利用ITU 的视频质量转专家组所提供的标准测试序列作为数据源，在ITU-T 标准提案itu-tvcegp206d0 内进行了对SVC 测试环境的有效定义，通过借助Mobolelp 模拟测试平台展开有效的实验研究，对于视频质量方面的评价能够视为对视频每帧图像质量方面的有效评价，其主要是把原视频图像作为参考展开对度量解码完成以后视频图像还有失真程度方面的有效度量。笔者主要是借助解码视频还有原视频每帧图像的PSNR 的预想值评价视频质量。

关于数据重要性渐进式流传输测试实验，在进行实验的过程中主要采用的为Foreman 序列，对于Foreman 序列来讲其主要是采用的QCIF 视频格式并且其帧率主要是保持在每秒15 帧，可以分为8个图像组，MGS 堆栈涉及5 个片层，其系数矢量为{01384}。对于基本层量化参数还有质量增强层量化参数分别是42 还有32，其所输出的编码数据流为32 帧。因为增强运动矢量信息通常情况下是存在在MGS 堆栈的受片层内，所以笔者在进行此次实验的过程中对于增进层运行矢量相关因素对于视频流所产生的影响不予考虑，从而在此基础上将首片层的系数设置为0。此次试验中主要内容为进行对编码数据图像组内视频帧每个片层展开丢弃解码影响方面的测试。表1 是Foreman 序列图像组内视频帧每一片层对视对视频流质量所在成的具体影响程度进行了有效地测试统计，从中可以了解到：不同片层的数据对于视频质量所产生的影响存在一定程度的差异，针对此种情况渐进式流传输方式可以使得视频质量得到一定程度地提高。

关于渐进式流传输方式发送端方面的性能测试实验，对于此次实验所需要条件主要为，其借助Foreman 还有Bus 序列。同时此次实验所采用的序列所使用的视频格式为CIF，其帧率保持在每秒30帧的状态，8 个图像组，MGS 堆栈涉及片层为5 个，其系数矢量为{13624}。对于基本层量化数据为45 同时质量增强层量化参数为30，输出编码数据流为32 帧。性能测试结果如图1 所示。

图1：传输性能测试

根据图1 可以了解到通过采用基于内容感知的渐进式流传输方式以后，从而实现了视频质量的有效地提高。在同样的码率情况下，同一本码流传输方式进行有效地对比，其最高能够实现1.5bB 的性能方面的有效提升。对于采用模拟信号接收端性能测试方面的实验，对于码流数据经过模拟信道出现丢包的阶段中，对涉及视觉敏感范围编码数据的最重要MGS 片层展开有效的冗余保护。在具体的测试阶段，展开了对基本层数据还有增强层数剧分离，主要是通过低差错率同时还用过了高差错率信道展开了有效的模拟。此次实验的主要采用的为Foreman 序列，该序列所采用的视频格式为CIF，其帧率保持在每秒30 帧，具有8 个图像组，除此之外，MGS 堆栈主要涉及的片层在3 个，系数矢量主要为{583}。基本层量化参数为50 同时质量增强层量化参数为25，通过MobileIP 模拟进行对环境差错的有效模拟。经过对信道过程中所产生的57 个数据包单元的丢失，在此过程中涉及两个关键帧重要数据首片层数据包单元，丢包率达到2.7e-001。其所通过信道前码率为每秒1251Kb，冗余数据为每秒53Kb，通过该此实验可以了解到此方法一方面能够进行对重要数据的保护，另一方面还能够有效促进视频质量的提高。

6 面向未来发展的趋势性分析

近些年来，视频传输技术发展相对较快，并且其在网络视频、视频直播得到了相对较为广泛地应用已成为当前互联网上最具有发展前景的应用之一，因为现阶段互联网在管理上还有控制机制上相对较为复杂，该种情况无法有效满足实时视频传输的相关要求。根据视频编码的特性借助视频数据间数据重要性中所存在的差异，展开非平等性的资源优化分配，从而取得最小的端到端传输属于现阶段研究的热点。笔者在研究过程中主要由视频内容进行了对视频数据内所具有的重要性展开了有效地区分，然而采用的度量手段仍然是以客观食品质量评价为基础的，此类型的方法在度量视频内容对于人们的视觉影响还是具有一定程度的缺陷。根据视频序列来讲，亮度相对较高还有运动剧烈以及场景的中间位置等范围通常情况下更能够抓住人们的眼球，此部分的数据出现丢失或者失真将会引起较为严重的视觉市政。通过客观视频质量评价的手段通常不能够取得此类信息数据。以视频特性作为切入点进行对ROI 区域的检测、划分、编码以及传输优化可以使得视频传输质量得到有效地提升。现阶段大多数视频传输资源分配方面的算法主要是针对协议层进行的。此类型的算法存在一定程度的局限性。因为无线网络资源存在一定程度的限制，传输信道因为冲突、干扰还有衰退等方面的影响从而会出现一定程度的误码，只由单个协议层展开资源分配通常情况下无法取得有效的效果，因此应当由多个协议出发对各协议层内的可控资源的关系进行有效地分析构建跨层资源优化分配的框架，同时设计可操性较强的寻优算法。

7 结束语

为了使得传输网络带宽还有平衡播出视频的质量以及用户等待时间件的冲突进行合理有效地应用，笔者主要基于内容感知的视频流媒体渐进式流传输方式进行了有效地分析。结合编码信息进行对视频序列内各帧的重要性予以有效地确定性同时进行度帧内片层数据的重要性进行计算。借助MGS 编码，在模拟测试平台展开对数据重要性渐进式流传输测试还有渐进式流传输方式发送端性能进行了测试。