港口移动式气象智能监测系统设计
2021-10-25孙肃徽
孙肃徽
(山东省港口集团有限公司,山东青岛266000)
0 引言
港口轮驳公司主要生产业务是对进出港船舶靠离和接送引航员的作业[1]。随着港口发展,靠离船舶作业数量日益增长,大型港口单艘拖轮每天使用率超过100艘次,单艘拖轮每天作业工时达7~10 h[2]。繁忙的作业任务和长时间的海上航行,增加了拖轮生产作业的安全风险[3],拖轮驾驶员在航行作业中要求全面准确地了解、掌握周边的气象、能见度等安全风险环境。
目前港口气象服务产品主要依靠普通的天气预报产品或本地气象台提供的预报产品,服务精细化程度不高,服务内容针对性有待增强[4]。同时,港口在岸基仅有少数的固定式气象观测站、在港机上有风速风向传感器,而在海上缺乏固定式和移动式的观测节点,没有形成覆盖岸基和海上的气象的实时观测网络,大多也缺乏海侧气象的历史观测数据[5]。
恶劣天气现象和低能见度状况极易影响船舶在港口的进出港,如强风会影响航行路线、能见度过低会造成航行事故。同时,在恶劣天气条件下,受风浪影响,拖轮与大船之间极易发生碰撞,尤其拖轮体量小,任何碰撞都是致命的危险[6]。因此,局部海域精细化微气象信息对于选择安排适航航段、拖轮生产调度具有重要的意义。故亟需建立移动式气象监测系统,实时监测海上的气象信息,为港口安全生产作业的正常运行提供数据支撑。
1 系统总体设计
港口移动式气象智能监测系统主要由云平台和船载智能终端组成,系统总体结构如图1所示。图中船载智能终端安装有气压、温度、湿度、雨量、风速和风向六要素一体化传感器,用来实时获取海域微气象信息。除传感器之外,船载智能终端中的气象检测模块可以对传感器获取的气象信息进行预处理,将各传感器传入的信息进行规范化。边缘计算模块能够对船载终端的数据传输进行过滤与质量控制,通过边缘设备进一步提高数据的质量,降低了将数据传输至云平带所占用的带宽,提高了传输速度。预处理、预警、评估和显示模块可以在本地将气象数据进行可视化以及方便人工调控。存储模块可以对船载终端获取的数据作记录,防止数据的丢失,提高了系统的可靠性。通讯模块可以将处理后的气象信息传递到云平台,云平台中有数据统计、数据处理、气象预警以及数据存储模块,能够对船载终端传入的数据进行最终的分析处理。
图1 系统总体架构Fig.1 Overall system architecture
2 气象多要素智能传感设计
移动式气象智能监测系统主要观测要素有风速、风向、空气温度、相对湿度、气压等。常规安装的都是风速风向传感器,安装位置要求比较苛刻,测量准确度和稳定性也不高。本系统采用了芬兰VAISALA公司生产的WXT536一体化气象传感器,采用紧凑式包装,整体外观如图2所示。本系统采用2台传感器,冗余设计,当某台设备出现故障时,自动切换到另外一台设备。大大提高了系统的可靠性,保证监测设备7×24 h不间断工作。
图2 WXT536外观Fig.2 Appearance of WXT536
2.1 技术指标
WXT536性能指标如表1所示,主要测量气压、温度、湿度、雨量、风速、风向等。WXT536具备加热功能,位于降水传感器下面和风变换器内部的加热元件使降水传感器和风传感器上面不会堆积冰雪,降水传感器下面的加热温度传感器控制加热。该传感器还可配备鸟刺套件用于降低鸟类对风雨测量的干扰。
表1 WXT536技术指标Table.1 WXT536 technical indicators
2.2 通讯方式
六要素一体化传感器通讯协议采用ASCII自动模式,串行接口采用RS-485。测试时传感器采用24 V进行供电,串口配置:波特率4 800,数据位7位,停止位1位,校验位Even。软件根据协议格式,对数据进行解析和处理。风速、风向数据采集间隔设置为1 s,温度、湿度、压力、降水采集间隔设置为20 s。测试数据如图3所示。
图3 测试数据截图Figure.3 Screenshot of test data
2.3 船载安装
一体化气象传感器通过厂家配套的横臂及附件安装于拖轮桅杆或甲板上,通常建议在距离风杆的所有方向上都有至少150 m的开放区域。与任何高度h的物体的最小距离间隔为该物体高度的10倍,才不会对风测量有显著干扰,传感器集成电子罗盘,安装时无需固定传感器方向,如图4所示。根据传感器厂家建议,结合拖轮上安装空间,选择将传感器安装在桅杆上,如图5所示。
图4 开阔区域中建议的风杆位置Figure.4 Suggested position of wind mast in open area
图5 桅杆安装位置Figure.5 Schematic diagram of mast installation position
3 气象监测边缘计算应用
3.1 边缘计算
本系统采用气象数据边缘计算新模式,使得系统具备本地数据采集、分析计算、智能处理的能力[7]。设备不再需要持续不断地将各种传感数据上传到云平台,而在边缘侧即可完成各种气象数据的处理,只需要把处理及分析后的少量结果数据进行上传即可,大大减少了数据传输量。由于港作拖轮距离岸基有一定距离(最远可达20 nmile左右,1 nmile=1 852 m),数据传输距离和带宽都受一定限制,因此采用边缘计算变得非常有必要。主要实现如下功能。
(1)完成数据格式标准化
数据具有异构性的特点,不同类型的数据在传入数据中心后需要作进一步的规范化才能够在超算中进行处理,传统方式将数据统一上传至数据中心服务器中统一进行规范化处理。而通过边缘计算就可以将数据在数据源到数据中心路径之间的任意计算和网络资源中按照符合超算的规范来统一格式,然后将处理后的数据上传到数据中心,简化了数据中心对数据的处理步骤。
(2)控制数据源质量
从边缘设备传输数据到数据中心致使网络的数据较繁杂,会使传输带宽的负载量急剧增加,造成较长的网络延迟。通过边缘计算可以在数据传入数据中心之前对数据的质量进行筛选,对高质量的数据保留并上传,低质量的冗余数据则进行备份删除,不进行上传,提高了上传数据的质量,降低了传输带宽的负载量。
(3)轻量化的存储与管理
通过边缘计算对数据的规范以及质量的筛选等操作,数据质量更高,可靠性更强,易读性更好。为了提高数据的复用性,边缘设备需要对上传至数据中心的数据进行存储备份,提高数据的传输速率,数据的存取过程以及管理都是轻量化的。
3.2 气象数据预处理
以气象风向和风速数据为例,介绍了数据分析流程。主要完成数据准确度评估。在进行分析评估之前需要对数据进行预处理,而数据预处理对于后续的数据分析和建模来说是至关重要的[8],因为大部分原始数据是不完整的,而且通常会包含很多噪声,如重复数据、缺失值、离散值(异常值)等问题。由于噪声的存在,需要对数据进行预处理,主要包括数据清洗、数据集成、数据变换和数据归约4个步骤。
以采集到的风场数据为例,主要包括日期、时间、经度、纬度、风速以及风向等6个重要参数。
风场原始数据中包含的主要噪声如下。(1)重复数据:完全相同的两组数据。
(2)缺失值:判定处理相邻两个单位时间内是否有数据。如果数据缺失,使用9999填充。
(3)异常值:在拖轮上,大多数情况下风速低于20 m/s,当出现雷雨大风等极端天气的时候风速值会更大,但是风速的变化是渐变的,因此,处理判断风速是否出现异常大的值外,还需要判断相邻风速差值是否出现比较大的变化。
以上为风场数据的噪声判定和处理准则。
3.2.1 数据清洗
一体化气象传感器采集的气象数据会存在冗余信息,通过数据清洗可以删除重复信息、纠正存在的错误,并提供数据一致性[9]。首先对传感器获取得数据进行缺失值清洗,对重要性较高的字段可以通过计算进行填充,或者根据经验进行估计,而对重要性较低的字段,可以只进行简单的填充。其次要对数据进行格式内容清洗,通过气象数据质控方法对数据中时间、日期等显示格式的不一致进行修正,并去除对内容中不应该存在的字符。然后将容易发现的逻辑错误以及异常值进行修正,将数据中非需求的字段清除,最终得到可靠性较高的数据。
3.2.2 气象数据质控方法
气象数据对质量控制的方法要求数据符合天气学、气候学原理,以气象要素的时间、空间变化规律和各要素间相互联系的规律,从多个方面分析气象资料的质量[10]。通过气象数据质量控制可以发现传感器采集的气象数据中质量较低的部分,质量控制主要以实时检查为主。首先对监测数据进行极值检查,对数据中是否有超出气候极值的记录进行排查,其次对数据的界限值进行检查,找出从气候学的角度出发,超出数据界限的数据,还需要对数据的内部一致性以及时间一致性进行检查,即获取的气象数据各记录之间的关系以及这些记录在一定时间范围内的变化是否符合一定的规律。
3.2.3 深度学习异常检测模型
针对数据中的异常值,采用BP神经网络的方法进行检测,深度学习作为机器学习的新发展方向,它可以利用具有多个处理层的模型架构来学习输入数据间的高阶隐含特征[11]。BP神经网络是一种多层前馈型神经网络,由输入层、隐藏层和输出层组成,BP神经网络异常检测模型如图6所示。
图6 异常检测BP神经网络模型Fig.6 Anomaly detection BP neural network Model
图中,网络的输入层对应传感器采集的风速值,x1,x2,…,xn表示采集到的风速值,网络输出层输出节点数与输入节点数相同,每一个节点即z1,z2,…,zn对应相应的输入数据是否是异常值,BP神经网络通过计算输出值与标签之间的误差,使用反向传播的方式训练模型中隐藏层的参数,最终得到拟合后的模型。通过训练后的BP神经网络能够自动对传感器采集的风速信息进行异常值检测,不需要人工标注,降低了人工成本,且提高了数据处理效率。
3.2.4 数据变换
数据转换就是将气象数据进行转换或归并,从而构成一个适合数据处理的描述形式。将观测数据和GPS的时间信息、位置信息等按照BUFR编码格式对气象数据进行编码。例如对于同一个数据对象的名称应该是一致的,同一个数据对象的数据类型必须统一,对于数值型字段,单位需要统一且小数位数也需要统一。
3.3 气象数据存储
MySQL数据库是一个关系型数据库管理系统,其快速、健壮和易用,且操作简单,是一个轻量级的性能强大的数据库。MySQL数据库还具有跨平台性,能够支持不同的操作系统,方便了数据的管理[12]。将气象数据储存在MySQL数据库中,能够实现数据存取的快速响应,根据气象数据建立对应的数据表,用于存储数据预处理后的气象数据。以风场数据为例,建立的数据库表列名与风场数据各个指标相对应,将风场数据编号设置为主键,设置所有指标的数据类型及数据长度,是否为空值,风场数据的数据库设计如表2所示。
表2 风场数据表Tab.2 Wind farm data table
4 船岸一体化通讯网络设计
船载智能通讯模块采用一体式设计,支持4G和北斗传输模式,气象监测数据经过统一标准的数据格式,经过4G网络传输到港口的调度中心。其中,港口调度中心的服务器配置固定IP地址,所有来自船载移动观测系统的数据经过双网路进入固定地址的服务器,通过系统软件对数据进行处理和展示,其网络拓扑图如图7所示。关键数据及报警信息通过北斗短报文进行双网冗余传输,保证数据可靠性。
图7 网络拓扑Fig.7 Network topology diagram
5 结束语
本文通过边缘计算技术及气象观测技术的结合,重新构架船载移动式气象观测系统,充分发挥边缘处理能力,将气象数据在边缘侧进行处理,传输少量处理后的数据,降低了数据传输的时延,提高了气象数据传输的实时性,通过采用人工智能、大数据、轻量级数据库等工具的运用,提高了移动式气象观测数据的质控水平,减少了传输数据的冗余信息,实现了数据的时空归一化处理,为未来港口气象数据的进一步加工挖掘,提升港口企业生产数据的价值,奠定良好基础。