基于大数据的通信勘察管理系统设计与实现

莫 勇，钱权智，陈 浩

（1.重庆邮电大学通信与信息工程学院，重庆 400065；2.重庆邮电大学通信新技术应用研究中心，重庆 400065；3.重庆信科设计有限公司，重庆 401121）

0 引言

在通信工程项目的建设中，勘察工作是非常重要的前端环节，它进展的顺利程度和勘察的全面性将影响到项目建设的最终效果和质量，同时效率低下、复勘率居高不下还将导致通信项目建设成本的增加，因此勘察工作对于整个项目的推动和设计有着非凡的意义。而且在通信项目中，勘察工作既要求勘察人员又快又好的完成，讲究质量和速度的同时，还要考虑节省人力开支，降低项目成本，这些需求也就表明着需要信息化、标准化加入整个勘察工作中。在传统通信勘察工作中，现场勘察往往需要勘察人员更强的责任心和主观性，现场勘察人员对于项目的掌握情况以及自身的经验在多数情况下影响着现场勘察的进度和效果。但随着通信建设单位的要求越来越高，现场勘察人员的任务越来越重，不光是现场数据的纸质记录和后期的录入，还有现场拍摄照片的后期整理和标注，这些工作都需要花费勘察人员大量的精力。这些状况使得传统通信勘察工作极其不规范和效率低下。因此要提高通信勘察工作中的质量、效率和成本，需要对通信勘察工作中的数据进行信息化的处理，并进行规范的存储。

基于上述原因，为了进一步提升通信勘察设计工作的效率，破解通信勘察发展难题，推动企业勘察全面整改，提高企业的勘察信息化水平，本文主要针对如何打造实现基于大数据的通信勘察管理系统问题进行研究，通过对本文的研究，相较于传统通信勘察的方式方法，具有非常大的现实意义。

1 相关技术

本系统选择使用大数据仓库工具Hive、支持分布式架构通信的RPC 协议进行远程服务器之间的调用、使用LINQ、Ado.net Entity Framework，便于语言集成查询和大数据访问。

Hive 的核心工作就是把SQL 语句转换成MR 程序，它可以管理和查询PB 级别的分布式数据：也可以很容易把原来构建在关系数据库上的数据仓库应用程序移植到Hadoop 平台上，并提供完整的SQL 查询功能；可以将SQL 转换为MapReduce 任务，然后运行，通过自己的SQL 查询及分析需要的内容，Hive 是为大数据批量处理而生的，也便于处理大规模上传的勘察数据，提高了传统数据库在在高并发处理方面的能力。

LINQ 是.NET 3.5中新增的一种技术，LINQ 在ASP.NET 应用程序中可用做数据库组件的一部分，其组成分为三大部分：LINQ to XML、LINQ to ADO.NET、LINQ to Objects。使用LINQ技术可以操作或者查询所有存储形式的数据，例如：关系（关系数据库、ADO.NET 数据集等）、XML、对象（集合、数组、字符串等）。

2 系统实现

基于大数据的通信勘察管理系统主要分两端：Web 管理端、手机移动端。在Web 管理端，可实现质量抽查、查询、勘察管理、模板管理、文件库管理、组织架构等功能，在手机移动端，勘察人员可利用手机App 实现现场勘察打点、信息填写、任务抢单、任务查询、团队查询等功能。而管理人员可利用手机App 对勘察人员提交的勘察任务进行快速审查。

2.1 Web 管理端功能实现

基于大数据的通信勘察管理系统Web 管理端依靠B/S 而搭建，服务器操作系统采用Windows Server，服务器数据库采用Microsoft SQL Server，Web 管理端能够从项目策划、过程控制、成果形成到项目结束的基础管控服务，每个流程节点设置了提示信息，这将加快勘察流程流转的速度，并且对整个流程都进行了详细的数据记录，包括项目所产生的文件、表单、图片等，相比于传统勘察模式，本系统规范了文件存储的方式，提高了后期文件整理的效率。借助相关功能模块，企业管理层能随时掌握每一个勘察项目进度，随时掌握每一个人手中的任务情况，并通过大数据分析，得到团队完成任务的通过情况、勘察人员勘察能力情况、企业勘察项目的分布情况等，从而帮助企业管理者进行生产管理，也方便部门之间、员工之间更好地衔接配合工作。

（1）个人中心：登录基于大数据的通信勘察管理系统后，直接展示个人中心功能界面，个人中心界面中可查看团队未完任务、我的未完任务、待审核任务、未抢任务、退回任务，点击相应的模板可以查看相关任务的状态情况。

（2）勘察管理：该模块可进行口头委托、招投标等多种方式立项、登记和录入项目基本数据信息及附件文件，建立项目台帐。

（3）文件库管理：该功能模块能够深度挖掘多元多维数据之间的关联性，并且便于生成和查找项目成果性文件，从而提高效率。

（4）组织架构：该功能模块实现系统人员维护（包括系统人员信息的录入、岗位设置、系统人员账号停用）、项目组的创建、合作单位信息维护等功能。

（5）系统管理：该功能模块主要提供基础流程配置、人员权限分配以及系统日志，基础流程可以动态增加、删除流程的环节；系统人员权限的分配可以根据特定角色规模配置，也可以为一个人单独定制权限。

2.2 手机移动端功能实现

手机移动端采用Android 操作系统，基于java 语言进行开发，通过移动网络进行信息交互和数据共享，具备侧边栏、首页两大模块功能。

（1）侧边栏：该功能模块可实现项目信息查询、任务审批、查看我的团队信息、查看未完成的待办工作、查看所有的任务列表、查看需要抢单的推送任务、查询设备材料以及现场拍照功能，其中项目信息查询可根据数据的维度实时查询检索公司授权的项目信息，包括检索项目的进度情况、人员安排情况，还可以查看项目各任务的实际开始日期、实际完成日期、计划开始日期、计划完成日期、流程人员等数据信息；任务审批可帮助项目经理利用手机App进行任务审核；待办工作可便于勘察人员快捷查询需要处理的勘察任务；推送任务便于勘察人员及时发现需要争抢的任务，设备材料便于勘察人员现场查看需要用到的设备信息，提高勘察质量；拍照是利于现场勘察人员遇到特殊情况而及时采集信息。

（2）App 首页：App 首页主要展示和勘察人员有关的任务信息，包括待提交的任务、退回的任务以及可抢单的任务，这有利于勘察人员直观、及时的查看和处理需要处理的任务，点击具体的任务，然后显示项目经理编制策划的模板，然后根据提示信息在手机中填写相关内容，包括上传的照片、地图上记录的信息，在现场勘察时还可以选择离线模式，避免勘察人员到无线信号还未覆盖的区域无法勘察。

3 系统测试

3.1 功能测试

功能测试包括页面加载测试、权限和身份测试、信息查询是否正确和完整、功能操作测试、业务流转是否能够正常处理等等。

页面加载：登录系统后，依次测试系统的每个页面，查看页面是否显示错误或者存在不能加载的现象。

权限和身份验证：首先用合法用户和非合法用户分别登录，查看登录结果，如果是合法用户登录系统后，则查看用户权限分配与预先设定权限是否匹配，如果是非法用户，不让其登录系统，并给予提示。

信息查询：在各个信息查询页面，从不同维度、时间进行信息查询，查看是否能正确检索得到信息、信息是否完整或者存在不能加载的现象。

功能操作：在测试业务的同时伴随着功能操作的测试，主要是测试功能能否正常操作，能否起到作用。

业务流转：首先用项目经理的角色登录系统，然后依次组建自己的团队、制作勘察模板、项目登记、项目分解、勘察人员勘察、质量审核、项目收尾生成勘察报告，查看业务流转是否正常。

3.2 压力测试

此次测试是针对基于大数据的通信勘察管理系统进行压力测试，压测主要提取用户最常使用的页面进行压测：待提交任务列表、待提交任务id 列表、抢单列表、回退任务列表、发现表单列表进行压测，压力测试利用apache 的开源测试工具JMeter，通过JMeter 录制badboy 脚本生成http 的请求，并经过http 的Post 协议发送访问请求，然后收集服务器响应的速度、服务器资源耗用情况。启动JMeter 后，对以上页面进行压力测试，按照100、500、1000、2000个线程进行测试，即模拟这些数目的用户并发；Ramp-up period（inseconds）的值设为1（即1s 启动100、500、1000、2000并发访问），并发持续运行为10分钟，测试指标提取如下：

表1 测试指标

通过分析压力测试的结果，得知系统能够在高并发的情况下依然正常处理业务，论证了此次系统设计合理，能够满足未来大数据高并发的需求。

4 结束语

本文所设计的基于大数据的通信勘察管理系统完成了对通信勘察项目从项目立项、模板制作、项目策划、任务分解、任务审核、生成勘察报告全过程的管控，尤其是模板制作，打破了原来的局限性，可根据项目的特性有针对性的制作模板，这样既增加了系统的灵活性和适用性，也对提升勘察项目的质量有很大的帮助作用。同时系统采用大数据分析技术，可分析挖掘勘察项目某个环节出现的问题，帮助管理者及时制定措施，提升项目管理水平。未来可在当前研究的基础上，将虚拟现实技术与系统相结合，实现VR 勘察，进一步提高效率和减少人力消耗，从而改变传统通信勘察模式。