黄河流域水文深度学习架构设计与应用
2022-03-14何元翠桑国庆尚华奇
何元翠,桑国庆,程 亮,尚华奇
(1.济南大学 水利与环境学院,山东 济南 250022;2.山东省调水工程运行维护中心潍坊分中心,山东 潍坊 261061;3.济南市水务工程质量与安全中心,山东 济南 250012;4.济南市天桥区水务服务中心,山东 济南 250031)
黄河河道蜿蜒,含沙量极高,导致其日常水文治理工作相当复杂和困难。在黄河水利委员会“三条黄河”工程建设规划中,各部门分别与相关单位合作开发了具有智能性技术的软件模型或硬件装置,如河务部研发的具有远程控制、自动监测的防洪智能软件技术(柳园闸和杨桥闸),水文部设计的智能监测水位及流量的装置和软件(花园口水文站)[1],但是,黄河流域的产水产沙、气象、水沙输移、河道演变、降雨等过程,在不同地区、不同时间段都会有不同的表现,仅仅依靠几个传感检测器难以完成庞大非线性系统的建模,需要将此作为一个非线性复杂动力学系统(NCDS)进行研究。目前通用的泥沙输移运动方程、河流动力学方程、大气运动方程和水土流失方程等,不能简单、机械地应用于黄河流域不同地区及不同时间段,加上现阶段黄河流域的水文治理工作较分散,各地气象局、地质局、水利局等部门与黄河水文部门互不通联,数据并没有完全实现联网共享,因此限制了当地防汛抗旱指挥部汛期指挥调度决策,影响了预警预报能力的提升,不利于安全度汛。
近年来,黄河水文网站开始大量收集各种监测数据,相关部门安装了大量水位、雨量、墒情等自动监测的仪器,积极组建黄河水文数据库。通过对收集到的数据进行实时分析处理,可以为黄河流域的经济发展以及水文信息化提供强有力的数据技术支撑,凸显大数据在黄河水文工作中的重要性[2]。
黄河水文系统的现代化管理需要利用大数据和人工智能对河流防汛预警进行监控、报警、预测、推演[3],因此不仅要有智能监测系统与大数据管理软件,更需要一套全天候联网的高智能化深度学习架构平台(DLFP)来求解黄河的非线性复杂动力学系统,简化水文工作人员日常烦琐的工作,积极贯彻国家关于“数字黄河”工程建设及 “十三五”规划在水文人工智能方面的的部署。
本文中旨在研究将人工智能深度学习技术应用于黄河流域水文工作,设想建设黄河流域水文深度学习架构,将深度学习、深度学习算法应用到黄河日常水文工作和流域治理作业中,对黄河水文深度学习架构软件的基础应用及功能等进行阐述。同时,总结黄河水文深度学习架构的应用现状。
1 人工智能深度学习技术
深度学习技术(DLT)是人工智能领域的一个重要分支,是一种基于概率论不断递归,从而寻找最优解的分析理论技术。该技术主要通过增加网络层数来模拟一般人工智能网络不能模拟的非线性复杂动力学系统。现如今大数据的发展以及硬件计算性能的极大提升,使得深度学习可以挖掘出大数据背后隐藏的价值,并在数据挖掘、语音、推荐、自然语言处理、搜索技术、人脸识别和机器翻译等领域显示出巨大的发展潜力,各种网络架构算法和计算能力的突破,配合大数据内容,都使得深度学习算法成为了目前人工智能技术的主流。
1.1 深度卷积神经网络
深度卷积神经网络(DCNN)[4]是一种典型的前馈神经网络,主要由卷积层、池化层以及全连接层[5]组成,通过共享每层的权值,可以极大地提升训练速度,节省运算开销。
深度卷积神经网络通常被分为3类:一维卷积神经网络,主要用于处理分析序列类数据;二维卷积神经网络,主要用于识别图像类文本;三维卷积神经网络,主要用于识别图像或视频。
1.2 深度循环神经网络
深度循环神经网络[6]是深度学习算法中另一个重要分支,主要核心特征体现在“循环”上,即系统的输出会保留在神经网络里,并与系统下一刻的输入一起共同决定下一刻的输出,将动力学系统的本质深刻地刻画出来。同时,该算法也符合著名的图灵机原理,即此刻的状态包含上一刻的历史,又是下一刻变化的依据,因此可以学习输入、输出规律,从而对数据进行合理地预测。
2 深度学习架构设计
2.1 深度学习技术应用于黄河水文工作
基于深度卷积神经网络和深度循环神经网络的深度学习算法,可应用于目前黄河领域的图像识别处理、水文预报、生成水资源公报等方面。
2.1.1 图像识别处理
黄河流域内布设了大量的水文站(包括国家基本水文站、中小河流水文站及区域监测水文站)和委托人工观测的雨量站,其中有些站点地处偏僻,日常无人看守检查,自记雨量器、水质监测仪[7]等传感设备也需进行维护、清理。由于不同站点工作环境多变,并且传感设备无合适的固定检查时间,因此给水文工作人员带来了极大困扰。为了解决上述问题,通过在每个传感器附近安装联网摄像头,应用深度卷积神经网络深度提取每幅图像的特征[8],分辨出需要维护、清理的传感器,大幅减少了工作人员频繁检查的工作量,同时还可将水质监测仪的数据、现场图像通过联网传回水文局。深度学习可利用图像识别算法,对水质图像进行识别分析,以其优越的图像分析能力[9]得到水样的水温、溶解氧、pH、浊度等数据,从而对水质进行综合诊断分类。
另外,水文工作的资料整编需要专业的水文人员将雨量、水位和黄河泥沙量等专业信息按照固定格式录入水文数据库,水文曲线也需要专门的网格图纸进行记录,因此可以应用二维深度卷积神经网络进行图像处理,识别扫描到的图像信息,进行图像内容的文字识别,将其按照固定格式转换输入电脑数据库,同时也可以利用深度神经网络对非线性曲线极佳的拟合能力,根据数据自动绘制水文曲线,减少人工绘制工作量。
2.1.2 水文预报
黄河流域的水文预报在防汛工作中占有重要地位,合理、准确地做好水文预报工作,是水库调度兴利的重要环节。传统的水文预报模型有很多,但是大多只针对某一区域的单一状况进行预报,反映水文学的一些规律,难以全面考虑自然界复杂规律的变化。利用深度学习技术所拥有的特征提取的强大优势[10]、易敏感性[11]和前瞻性[12]的特点,外加大数据的辅助就可以解决上述难题。水文预报可以看作是动态物质在固态路线上流动的问题,因此运用深度学习中的马尔科夫链进行解决。网络模型可利用深度循环神经网络,基于先前的各种环境状态并结合当前环境变化,判断未来黄河水文规律,通过深度非线性模型来拟合预测复杂模型,提高预报的准确性。
2.1.3 生成水资源公报
自然语言处理技术(NLPT)是研究如何使机器理解人类语言并写出人类文字的学科。近几年来,各种深度循环神经网络模型相继出现,其中以长短期记忆网络模型(LSTMNM)最为流行。该模型主要通过大量文字训练,寻找文字之间的相互关系,进而读懂文字语言。2017年,基于语言处理的深度学习技术已经可以根据一段语音文字描绘的内容,缓慢地在电脑中绘制出语音文字所描绘的画面,对自然语言处理是一场巨大的革命。
在“今日头条”平台上已经有很多文章开始使用深度学习算法自动生成。在水文水资源领域,每年工作人员均需要提交大量的水资源公报报表,且报表的格式基本统一,内容及数据均是基于平时的日常监测,深度学习技术完全能够胜任,从收集数据到最终总结数据都可以完成。
2.2 深度学习算法应用于黄河流域治理
2.2.1 调水调沙作业
黄河被誉为中华民族“母亲河”,在社会生产生活中占有重要地位。由于黄河流经水土流失严重的黄土高原,因此河水含沙量极高,据统计,黄河水量仅为亚马逊河的0.6%,水中含沙量却为亚马逊河的4~5倍。更为严峻的是,黄河下游河道几乎全为地上悬河,有的河道滩面高出背河地面十几米,因而地形地势十分复杂多变。水少、沙多、水沙不平衡以及地形地势复杂等诸多因素,导致黄河流域治理非常困难。
目前主要依靠小浪底水库进行前期的调水调沙来调节黄河下游的水沙平衡,疏通河道,但是水库根据上、下游各方面提供的信息来进行调水调沙存在一定难度,一旦决策失误将导致下游的水文水利工作难度加大,还可能造成不可估量的损失。调水调沙决策是基于众多复杂因素,主要包括综合指标(下游防洪、防断流、减淤、减灾等)、预测因素(中长期气象、降雨、洪水预报)和现象机理(水库异重流的发生条件及操作程序)。具体指标说明如下:1)综合指标。可通过与下游水文水利局的综合联网确定下游的各种信息,利用深度学习算法提取主要特征信息,进行综合汇总。2)预测因素。可通过深度循环神经网络精准预测各种气象、降雨量,再配合联网的云端系统,匹配校准预测信息。3)现象机理是一个流程操作问题,采用普通人工智能程序就可以解决。通过运用深度学习算法,提取出每个指标主要的影响信息特征,然后利用该算法的整合总结分类能力,提出水库的水沙调节调度决策,主要包括水库的蓄水量、含沙量、库区水位、拦沙量、出库流量、级配等。
2.2.2 防洪减灾作业
黄河流域的防洪减灾工作是水利部门工作的重中之重,关乎重大民生。多年的文字资料以及影像图片资料记载,为黄河进行防洪减灾工程方案优化提供了依据。黄河作为一个非线性复杂动力学系统,对其水沙运行规律的拟合十分庞杂[13],因此可以利用深度学习算法进行协助。首先,通过各项指标来拟合非线性动力学系统(NDS),并对其进行建模;然后,依据非线性动力学模型(NDM),输入具体参数,结合已有的专家系统数据库,最终形成决策理论,帮助相关工作人员进行防洪决策。
洪灾发生的原因是多方面的[14],最主要因素是台风和降雨,人员工作的疏漏也是原因之一。深度学习算法可以根据历史经验总结,掌握黄河流域水库的储水情况、下游的河道分布、上游一定时期内可能的河道水流量以及相关天数内可能的地区降水降雨量,根据这些信息进行综合决策,提出防洪调度意见。
2.2.3 综合治理作业
黄河流域的综合治理作业的目的是尽最大努力减小灾害的影响[15]。除了调水调沙应用,黄河流域的综合治理作业还包括河道的整治,如节点与治导线结合整治、卡口整治、平顺保护整治、渠化整治和弯曲型整治等。可以根据深度学习算法的计算结果,确定下游游荡型宽河道河性控制[16]与影响因子间的定量关系,构建深度学习架构模型(DLAM),提出河道整治方案。
河道整治可以采用无人驾驶飞机(简称无人机)寻河的方式,通过深度卷积神经网络对无人机传回云端的视频图像进行识别处理,大大减少人工操作工作量,降低误判率,提升系统识别效率。
结合黄河入海口的地理位置,可以根据地理条件、边界条件和水沙条件等变量,采用深度学习算法分析河口治理方案。整治方案主要包括截支强干、加大行洪排沙能力和疏浚尾闾河槽的方案,现行入海流路的改道方案,引海水冲刷河口的方案,建导流堤将河口泥沙直接送入渤海的方案等。可根据相关影响参数,确定河口治理措施与影响因子的定量关系,还可以通过深度学习模型求解非线性复杂动力学系统。
3 黄河流域水文深度学习架构软件
3.1 软件基本描述
黄河流域水文深度学习架构软件(DLAS)研发用于黄河流域治理,具备诊断分析黄河水质状况、拟合预测复杂模型来提高洪水预报水平、建立黄河调度决策及治理方案等重要功能。
根据对深度学习应用设想,整合已有的人工智能成果,避免重复建设。软件的基础应用组建服务主要包括地图、图标、报表和数据;模型池服务主要包括统计模型、领域模型、专家模型和认知模型;下设数据质量分析和治理服务;云端架构内嵌华为云、阿里云等第三方服务。软件运行环境为Windows XP或Windows 7及以上平台,操作环境为Web浏览器,要求IE 8.0以上版本。
3.2 软件的架构及界面
深度学习架构软件主要通过Web浏览器登录页面使用,方便快捷,其主要基础架构如图1所示。以河南省焦作市黄河河务局局域网共享为例,软件的操作界面见图2。
ESB—企业服务总线;ETL—数据抽取转换工具。
图2 黄河流域水文深度学习架构软件主界面
4 深度学习架构的其他应用
目前,无人机寻河已经在各地率先展开,如安徽省繁昌县、湖南省新宁县。将无人机用于黄河流域寻河的优势在于:1)利用无人机可以实现“一目千里”的效果,极大地提升了工作效率,减少了人力投入,成功实现了每日巡河;2)无人机处于高空俯瞰,视野更加开阔,对黄河流域小河道水面垃圾、违法建设等尽收眼底;3)利用无人机巡视具有高空隐蔽的特点,可以监控违法违规企业向黄河河道排放污水及工业废水的事件,防止河水被污染;4)无人机巡河的照片和视频资料直接保存在云端,既加快了发现问题、处理问题的速度,也留下完整的管理痕迹。
如今,黄河水文的深度学习架构(DLF)已经逐渐延伸到水文水利的各个方面,甚至已是管理的末端,实现了将黄河防洪减灾系统与具体每个城市的排水管道系统相结合,进行综合检测、联网管理。现今城市的智能井盖传感系统可以实时掌握城市的主要干道排水状况,结合黄河河流相关干道的雷达测流仪与智能井盖系统的超声波定位仪两大主要信息,可以形成基于物联网的城市排水防涝调查评价与调度运行云平台(见图3),实时掌握城市的排水防涝信息。该云平台能够实时掌握城区主要河道重点部位及重要排水泵站、入河口等设施的水位、流量信息(见图4),并在汛情发生时准确判断是否会发生水流不畅的现象等,为云端的水流调度和业务管理提供信息支撑。
图3 基于物联网的城市排水防涝调查评价与调度运行云平台
图4 某监测点高峰流量曲线
为了形成真正的大数据以及后台反馈系统,水利部门开发了异常分析微信公众号平台,普通市民可以登录查看基本水文水利信息,如发现城市以及河流的水文水利方面管理不到位,就可以通过公众号及时提交反映,有关工作人员根据接收到的反馈信息及时进行相关排查。
5 总结与展望
近年来,人工智能的深度学习技术因具有特征提取及模拟优化的优势而在水文领域得到广泛应用。本文中根据对深度学习技术应用设想,整合已有的人工智能成果,构建了黄河治理深度学习架构软件,对非线性复杂动力学系统进行建模及深度挖掘数据,并利用深度卷积神经网络和深度循环神经网络模型极大地简化了烦琐的黄河流域水文工作,助力黄河流域的水沙调度、防汛调度等工作,使黄河的综合治理智能化。
随着算法的革新、水文数据量的增加和水信息学的进一步完善,深度学习架构必将更多地应用于水文领域,如革新水文预报、水量调度等,为黄河治理提供巨大帮助。未来深度学习技术与水文领域的有机整合(如黄河水量调度、水文预报领域)仍是一个非常重要的研究方向。