流媒体中的非音视频信息及其与流媒体信息的同步显示

阳昌珠+康正海+李海涛+吴金+覃娟媚

摘 要：本文提出了一种利用流媒体作为载体存储和记录非音视频信息的方法，以及一种在显示流媒体信息的时候同步显示非音视频信息的方法。利用这种方法，不仅可以利用流媒体做为信息加密的载体，还可以利用静态数字图像作为信息加密的载体，即，这种方法实际上是一种数字信息加密和传输的方法。

关键词：信息加密，多信息同步，流媒体，图像，载波，载体

一、概论

众所周知，流媒体这个概念在过去通常是特指在传输过程中的音、视频信息流，现在泛指一切可以通过电磁方式传播的正在传输介质上的动态信息和在可以交换的电磁介质上存储着的静止信息，这些被存储着的静止信息通常又是以电子文件的形式存在着。本文所述的流媒体是特指传输中的音、视频信息或存储着的音、视频文件和单张图像文件或由单张图像集合构成的包含有多张图像的文件。

本文介绍一种以流媒体作为载体存储和记录非音频、非视频信息或非图像信息的方法以及一种在显示流媒体信息的时候同步显示其上存在的非音频、非视频信息或非图像信息的方法。利用这种方法，还可以利用流媒体做为信息加密的载体，亦即从中也揭示了另一种数字信息加密和传输的方法。

二、原理

根据人类的视觉特性，在一幅图像当中，如果失真是平均分布的，特别是在颜色方面，只要不大于1%，是不容易分辨出来的。也就是说，在数字图像的记录与还原的过程，如果在图像文件当中记录有不大于1%的不是原来图像应该有的信息，那么在还原之后显示出来时，人眼是难以辨别得出来的。

同理，人类的听觉也一样具有其局限性，在一段音频流中，如果失真也是平均分布的，特别是低频部分，只要不大于0.1%，那么也是是不容易分辨出来的。也就是说，在数字音频的记录与还原的过程，如果在音频文件当中记录有不大于0.1%的不是原来音频信息所应该有的信息，那么在还原之后再通过电声系统播放出来时，人的耳朵也是难以辨别得出来的。

在模拟电视时代，根据电视的传播与电视机的工作原理，我们在电视机前看到的PAL制式电视图像是以25帧每秒的速度出现的，当采用隔行扫描时，显示在我们眼前的实际上是50幅每秒的图像信息，而每幅图像又是以一行一行地从上到下进行扫描显示的。在这过程中，两幅图像信息之间须要有一组叫做场同步号的同步信号，如图2，1所示，两行图像之间也须要一组叫做行同步的同步信号，如图2.2所示。

在数字多媒体时代，虽然音频、视频的传输不完全象过去的电视信号传输那样，但类似行、场同步信号的信息是少不了的，即同样有表示帧开始和行开始的信息。在计算机显示屏上显示时，虽然不一定满屏显示，但在窗口显示时，也少不了帧同步信息和行同步信息，要不然无法地看到一幅稳定的视频图像。记录和播放音频时也同样须要同步信息。

三、记录方法

3.1、在流媒体中设置非音频、非视频信息帧

在数字多媒体里，哪帧为音频、哪帧为视频是需要明确表示出来的，不然就无法正确地还原、播放出来。也就是说，在解码流媒体或播放多媒体文件时，遇到本帧数据是音频数据时，播放器就会用音频方式把它播放出来；如果遇到本帧数据是视频数据，播放器就会用视频方式把它播放出来；如果不知道本帧数据是音频还是视频，那么就会把它忽略掉，即不把它们还原出来。

利用多媒体播放器会自动忽略那些非音频、非视频的数据这一基本功能，我们就可以制造一些多媒体播放器不认识的数据帧，从而把那些非音频、非视频的信息数据加载其上，如图3.1所示。

在图3.1中展示的是在录制视频信息数据时插入非视频信息帧的例子。如果要使这些非视频信息在播放视频信息时，在时间上同步于视频信息出现的时刻再现出来，一方面需要使用能够解析这些非视频信息帧的专用播放器，另一方面就是要在录制时，在需要记录的“非视频信息”出现的时刻及时插入一帧“非视频信息帧”。

同理，当记录“非视频信息”的载体是音频信息流时，同样可以插入包含记录的“非音频信息帧”，达到异曲同工的效果。

3.2、在流媒体帧中加载非音频、非视频信息块

我们知道，在一幅图像当中，如果失真是平均分布的，特别是在颜色方面，只要不大于1%，是不容易分辨出来的。因此，在视频帧内部加载非视频信息块是可行的，如图3.2所示。

在图3.2中，非视频信息是以“块”的形式嵌入到视频帧内部的。在同步再现方面，这种方法相对于3.1提出的方法来说，非视频信息出现的时间相对于视频信息出现的时间之间的相对误差会更小。

如果在某个时刻同时出现的非音频信息量太大，那么上述提出的方法3.2就不太適用于把非音频信息加载到音频媒体上。

3.3、在视频同步信号出现期间插入非视频信息

当需要加载到流媒体的非视频信息在同一时刻出现的量不大时，我们还可以把它嵌入到视频信号的同步区域，这样在播放时，非视频信息出现的时间相对于视频信息出现的时间之间的误差会更小，更适合于应用到对时间同步的要求更高的领域。

图3.3是一种把非视频信息插入到视频信息的场同步区域的方法示意图，图3.4是一种把非视频信息插入到视频信息行同步区域的方法示意图。如果要求在播放时非视频信息出现的时间相对于视频信息出现的时间之间的误差更小，那么后者方法会比前者方法更佳。

四、展现方法

在第三部份介绍的加载有非音频、非视频的流媒体或对应的电子存储文件，没有相应功能的播放器在播放时会自动地把那些非音频、非视频信息忽略掉而只播放正常的音频、视频信息，要把那些非音频、非视频信息正确地提取出来，并且还要保持与音频、视频出现的时间同步地再现出来，必需要由专用的多信息同步播放器来播放才行。

前述的加载在流媒体的非音频、非视频信息，是指原本不应存在于其中的音频和/或视频信息，但它们仍然可以是表示某种音频和/或视频的信息数据，也可是表示某种图像信息的数据，或者是某些物理量的开、关状态以及反映某些物理量的强弱或大小的信息数据，甚至还可以是一系列文档信息数据等等。在同步再现时要根据不同信息种类要求来制作相应人机界面。如：

4.1、加载在流媒体非音频、非视频信息为图像信息数据时，那么从在流媒体中取出来的非音频、非视频信息就需要在人机界面上实时显示这些数据对应的图像，当这些数据表示的是多幅图像时，表现出来的现象也许象动画或短、小视频。

4.2、加载在流媒体非音频、非视频信息为MIS系统的管理信息时，那么从在流媒体中取出来的非音頻、非视频信息就需要显示在相应的信息管理系统界面上。如柳州桂通科技股份有限公司研发的“桂通驾驶人驾驶技能考试与培训系统”。

4.3、加载在流媒体非音频、非视频信息为自动生产线的检测或控制数据信息时，那么从在流媒体中取出来的非音频、非视频信息就需要相应的仪器、仪表和控制设备来支持，使这些检测数据能够实时地通过仪器、仪表和控制设备反映出来。

五、应用实例

本文介绍的流媒体中的非音视频信息及其与流媒体信息的同步显示的方法，可以广泛地应用在数字信息加密、数字保密信息传输、自动控制过程监控、工业无纸记录仪、行车记录仪、交通道路及路口红绿灯等指挥信号监视、机动车驾驶人驾驶技能考试系统等。

在工业自动控制生产线上，特别是研发、调试过程中，对那些不同的控制数据所产生的不同的表现现象，在过去是用肉眼观察和人脑记忆并结合笔录设置参数的，后来有了录像机就用它代替人脑对现象进行记录。这些记录下来的现象数据和影响这些现象的过程控制参数的实际值之间，在事后离线分析时，它们之间再次出现时的时间差是难以得到稳定的相对值的。但用本文介绍的方法就不同了，它不管什么时候回放所记录的音频、视频数据，只要有相应的人机界面设备，那么当时现场的产生声音和视频现象、仪器和仪表数据、执行机构接收到的控制数据、执行机构的动作等现场实时数据和现象，除了时间是回放时间而不过去录制时这些信息产生的实时时间外，它们之间是同步的，即具有稳定的相对时间差值。

利用本文介绍的流媒体中的非音视频信息及其与流媒体信息的同步显示的方法，还可以通过播放所记录的音像文件实现对不很复杂的自动程序控制生产线进行复制，降低控制中心的主控设备投资成本和缩短安装、调试等建设周期。

六、结束语

本文介绍技术已在柳州桂通科技股份有限公司生产的“桂通驾驶人驾驶技能考试与培训系统”上得到了应用，并已获得了国家知识产权局颁发的多件软件著作权证书，也已获得了国家专利局受理的多项发明专利申请（申请号2015 1 1018182.6、2015 1 0125236.2、2015 1 0125158.6、2015 1 0124128.3、2015 1 0124127.9、2015 1 0124129.8、2015 1 0311512.4、2015 1 0310713.2），还提交了PCT申请（受理号PCT/CN2016/076796）。其应用产品均已通过了“公安部交通安全产品质量监督检测中心”检验。

参考文献：

[1]清华大学出版社《数字图像处理与分析》 赵荣椿 等著

[2]清华大学出版社《数字图像处理与图像通信》 蓝章礼 等著

[3]中国传媒大学出版社《电视摄像》任金州 等著

[4]中国传媒大学出版社《数字视频压缩及其标准》 胡国荣 著

[5]中国传媒大学出版社《数字声音广播》 李 栋 著

[6]浙江大学出版社《电视机原理与实践》 应伯根 著