大数据系统软件工程关键技术处理及应用

张军 杜刚

（1.海军装备部 四川省成都市 610000 2.中国西南电子技术研究所 四川省成都市 610036）

5G 时代到来、移动互联网发展和群众信息化意识增强，使软件工程面临着大数据时代带来的开发压力。在数据体量激增、数据处理技术不断迭代的新局面下，正视大数据系统软件工程的关键技术和相关应用，可提升软件工程管理水平和针对性优化短板，这已经成为大数据系统软件工程技术的当务之急。正是在大数据这个时代背景下，深入分析大数据系统软件工程的关键技术和相关应用，可以确保大数据系统软件工程开发朝着服务化、开源化和群体性发展，才可为大数据系统软件工程开发提供有益的参考。

1 大数据系统软件工程的关键技术

软件开发在以大数据为基础的互联网信息技术有着极其重要的地位，而大数据有效处理又可对大数据系统软件应用起到关键性作用，同时密集型数据科研不仅是大数据系统软件开发基础，也是大数据软件应用性能的关键[1]。从上述分析来看，除软件服务工程技术和众包软件服务工程技术等传统关键技术外，密集型数据处理技术也应为大数据系统软件工程的关键技术。

1.1 软件服务工程技术

将软件服务工程技术应用于大数据系统软件工程，其以工程化方式进行程序开发，不仅需符合大数据时代特征，而且需兼具服务工程的特征。在软件服务工程技术应用中，开发人员应用软件通常是系统程序的设计语言或(和)数据系统，且随着当前大数据时代的到来，使大数据系统软件的功能应用需求增多，导致软件服务工程技术的应用也逐步深化。

（1）从本质上来看，软件服务工程技术仍然是一种软件开发技术，但由于应用于大数据系统软件工程开发，因此在开发实践中必须以保服务、建功能为软件开发的根本。即软件服务工程技术应用的核心仍然是服务程序功能实现，但程序功能实现必须极易大数据的逻辑特征，根据大数据系统软件工程的具有应用功能调整开发形式，确保应用数据大数据系统软件系统的安全性和稳定性。

（2）大数据系统软件工程的软件服务工程技术除需保障确保应用软件系统的安全性和稳定性外，对数据进行有效处理是关键，其旨在实现软件的多维功能。传统软件服务工程技术应用于程序开发时，大都基于局域网内部开发程序，此时开发出的传统软件偏向于服务局域网内部用户，故很难受到外界恶意程序、木马病毒的干扰[2]。然而由于大数据时代的到来，使大数据系统软件工程呈现出多样化的应用需求，这导致大数据系统软件工程开发也出现了多维应用功能需求。如需要依托大数据信息扩展业务管理需要，这就需要程序员开发中应用软件服务工程技术进行应用功能扩展，如提供私人订制化的服务程序，实现大数据软件系统的应用功能与用户需求的深度贴合。但软件服务工程技术应用于大数据系统软件工程的开发周期较长，故开发出的大数据系统软件并不适用于中小型企业，但基于私人定制式的软件服务工程技术可为实现软件系统的功能优化提供新的思路。

1.2 众包软件服务工程技术

在大数据时代，大数据系统软件工程必须具备集中处理信息数据的功能，这使大数据系统软件应用过程中可生成大量数据信息，因此大数据系统软件工程必须实现信息数据集中化处理功能。作为众包软件服务工程技术应用于大数据系统软件工程也不例外，必须实现信息数据集中化处理功能。目前，众包软件服务工程技术已被广泛应用于大数据系统软件工程，作为大数据系统软件工程的程序开发关键环节，其必须借助于软件系统信息数据的逻辑特征(如流式数据、密集型数据)来实现软件服务平台构建，从而实现信息数据集中化处理[3]。从众包软件服务工程技术应用于大数据系统软件工程的最大价值来看，其可以群体信息服务方式来实现大数据的集中化处理，使大数据系统软件工程的应用服务功能增强。

目前，大数据系统软件工程开发中，众包软件服务工程技术的核心在于：如何将软件应用过程中可生成大量数据信息进行分析，从而实现其利于价值。众包软件服务工程技术不仅具有服务性软件开发技术的特点，其可服务对象包含了多层级管理平台和运营管理层，也就是说其有着服务对象群体性的特点，这是众包软件服务工程技术的最大应用优势。另外在众包软件服务工程技术的应用环节，无论针对的是管理平台还是运营管理层，系统软件均可生存密集型数据和流式密集型数据，这些数据均决定着软件服务寿命，而众包软件服务工程技术的群体性处理数据优势可得到体现。由于众包软件服务工程技术具有集中化处理数据的特点，故可在程序开发中，程序人员可针对性处理数据，可以确保大数据系统软件的运行更稳定。但是，众包软件服务工程技术应用中需要明确的一点是，密集型数据是对系统数据内容的逻辑描述，编译过程中需语义化单位矢量，对数据所属领域进行定义，才可真正体现出众包软件服务工程技术在大数据系统软件工程开发中的应用优势。

1.3 密集型数据处理技术

密集型数据处理技术是基于密集型数据科研范式的一种数据信息处理技术。在科学研究中，公认的科研模型和规律被称之为范式，故密集型数据处理技术是一种基于数据常规科学理论基础的程序编译技术。在软件开发的关系型数据库模型中主要分为四个范式，即实验归纳、归纳总结、计算机仿真和数据密集数据，可见密集型数据处理技术为第四范式。在大数据系统软件工程中，需尤其关注密集型数据处理技术，其必须强调大数据储存技术的应用价值，需保障软件工程关键技术的应用环节，实现数据储存和信息处理能力的短时提升。

但是，密集型数据处理技术应用于大数据系统软件工程中时，其最大应用难点在于，可能使传统软件开发范式的数理式编译与密集型数据处理技术的探究式编译之间存在脱离性特征，故在应用密集型数据处理技术处理软件信息时，大部分软件工程开发师都很难完成基础平台数据的有效处理，在很难实现大数据系统软件工程数据的有效处理[4]。同时，在当前密集型数据处理技术应用过程中，大多数软件工程开发师对数据信息的分析仍然停留在第三范式，以大量数据分析实践为基础的第四范式仍然不够，故密集型数据处理技术仍然是大数据系统软件工程开发中最关键的环节。如对系统原始数据模型的推演明显不足，不能体现出密集型数据处理技术的应用服务能力和服务价值方面的优化。

2 关键技术在大数据系统软件工程中的应用

2.1 提升数据信息质量

在当前的大数据时代，数据信息采集质量是软件开发质量的关键因素。应用各类信息软件和数据工程处理技术，可进一步提升大数据系统软件工程的信息数据采集质量，进而提升软件开发质量。在大数据背景之下的大数据系统软件工程中，需要利用信息处理技术来实现信息数据处理必须需要历经六个环节，即信息数据的抽样调查、信息数据样本的聚类分析、信息数据的逻辑修改、数据模型的优化构建和信息数据的处理效果测评[5]。在信息数据处理的这六个环节中，最重要的就是信息数据的逻辑修改、数据模型的优化构建这两个作业管理环节，即必须在信息数据的逻辑归纳基础上，对基础信息数据进行逻辑修订，并基于数据的逻辑范式进行数据模型的优化构建，而其中所涉及的程序编码和变量转换等等问题均是其中的关键。提升数据信息采集质量可为企业解决信息数据收集问题，这六个环节的实施可最终使软件运行为用户决策提供准确性、全面性的数据信息保障。

2.2 优化信息通信质量

优化信息通信质量对于大数据软件工程开发成效而言是关键。如对客户信息的分析，其借助大数据软件处理技术可以最大限度的留存客户信息，可将客户信息最大限度归纳总结，将客源损失度降到最低。再如，企业也可应用大数据软件工程进行行业发展规律分析，通过对所在行业发展规律、发展潜能、发展价值等方面进行有效评估，可利于企业合理规划的制定，这对于企业发展规划而言，优化信息通信质量对于企业长远发展有着至关重要的意义。提升大数据系统软件工程的信息通信质量，可为用户找准自身定位和解决信息中的潜在问题，实现信息数据利用效率。如通讯运营商应用大数据系统软件工程技术，可实现实时消费记录监测，可为通讯用户的发展情况进行客观评估，为制定更加合理的用户管理测量奠定数据基础。

2.3 优化数据虚拟技术

虚拟化技术是大数据软件工程中常见的应用技术，其可将数据信息虚拟化为数字资源，并用于软件运行的数据资源分配。虚拟化技术以大数据软件平台的数据处理技术为支撑，可为用户提供更好的服务，大范围大数据软件工程需应用虚拟化技术提升信息传输速率，同时也更利于用户数据维护，故在大数据软件工程中虚拟化技术已经得到广泛而深入的应用。如VR 技术可是数据信息呈现物体立体图像，虚拟技术在大数据软件工程的支持下，可使大数据软件所具备的功能更加丰富。

综上所述，在大数据背景下，软件工程在大数据系统软件开发中既存在难题也存在机遇，明确软件服务工程技术、众包软件服务工程技术和密集型数据处理技术这三个方面的大数据系统软件工程关键技术，可为大数据系统软件工程的开发和应用均带来有益帮助，可结节软件应用的信息质量问题和信息通信问题。