基于大数据的计算机信息处理技术研究

摘 要 文章在大数据技术的基本概念和应用 计算机信息处理技术的发展和应用 数据隐私和安全等方面进行了探讨和分析 首先介绍了大数据技术的基本概念 特点和发展历程 重点阐述了大数据技术在各个领域的应用情况 包括医疗 金融 教育 农业等领域 以及应用案例 接着介绍了计算机信息处理技术的发展历程和应用情况 包括计算机视觉 自然语言处理 机器学习等领域的技术应用案例其次讨论了大数据技术的数据隐私和安全问题 分析了数据隐私和安全问题的成因和影响 并提出了保护数据隐私和安全的策略和方法 最后介绍了国内外有关数据隐私和安全的法律和政策 以及大数据技术在数据隐私和安全方面的发展趋势

关键词 大数据 计算机信息处理 信息处理技术

中图法分类号TP311  文献标识码A

１ 引言

随着大数据时代的到来，基于大数据的计算机信息处理技术越来越受到关注。大数据的处理涉及数据采集、数据存储、数据处理、数据分析和数据应用等多个环节。大数据技术对云计算技术的高速发展产生直接影响，所以只有加大对大数据技术和计算机处理技术研究的力度，才能够帮助我们国家获得更好、更长足的发展［１］ 。

２ 数据采集技术

２．１ 传感器数据采集

传感器是大数据时代中最重要的数据源之一，它可以获取实时数据，如环境温度、湿度、光照强度、气压等。传感器的数据采集可以通过无线传感器网络（ＷＳＮ）、蓝牙低功耗（ＢＬＥ）、ＺｉｇＢｅｅ 等技术实现。无线传感器网络是一种分布式的传感器网络，它可以将传感器的数据集中到一个中心节点进行处理和分析。蓝牙低功耗和ＺｉｇＢｅｅ 技术则可以将传感器数据传输到移动设备上，实现实时的数据监测和控制。

２．２ 日志数据采集

日志数据是服务器和网络设备产生的重要数据源之一，包括系统日志、应用程序日志、網络日志等。日志数据采集可以通过开源的工具， 如Ｌｏｇｓｔａｓｈ，Ｆｌｕｅｎｔｄ，ｒｓｙｓｌｏｇ 等实现。这些工具可以收集不同设备中的日志数据，然后将数据存储到中心存储库中并进行分析和处理。

２．３ 社交媒体数据采集

社交媒体数据采集的方法有多种，主要可以分为以下几类。其中，ＡＰＩ 接口是访问社交媒体平台数据的一种常用方式。使用ＡＰＩ 接口采集数据可以提高采集的效率和准确性，因为数据可以直接从平台的数据库中获取，不过，ＡＰＩ 接口采集需要具备一定的编程技能并且有些平台可能限制了ＡＰＩ 接口的使用。爬虫是一种自动化程序，可以通过模拟用户行为从社交媒体平台上爬取数据。爬虫采集的优点是可以采集到更全面、细致的数据，但同时也需要考虑到爬虫的合法性和可能对平台造成的影响。人工采集是通过手动搜索、浏览社交媒体上的内容，并对其进行数据记录和整理。人工采集的优点是可以采集到更精细、具体的数据，但同时也需要考虑到人力成本和采集效率的问题。第三方工具可以帮助用户快速采集社交媒体数据，并对其进行数据分析和可视化。第三方工具的优点是可以提高采集效率和数据分析能力，但需要注意第三方工具的数据来源和数据准确性。不同的采集方法有其各自的优缺点，在选择采集方法时，需要根据采集目的、采集数据的特点和平台政策等因素进行权衡和选择。

３ 数据存储技术

大数据的存储需要满足高性能、高可用和高容量等要求，目前主要的数据存储技术包括关系型数据库、ＮｏＳＱＬ 数据库和分布式文件系统。

３．１ 关系型数据库

关系型数据库是传统的数据存储技术，其具有严格的数据结构、高可靠性、数据一致性和ＡＣＩＤ 事务特性等优点。关系型数据库的代表产品有Ｏｒａｃｌｅ，ＭｙＳＱＬ，ＰｏｓｔｇｒｅＳＱＬ 等，这些数据库可以支持大数据的存储和管理。

３．２ ＮｏＳＱＬ 数据库

ＮｏＳＱＬ（Ｎｏｔ ｏｎｌｙ ＳＱＬ）数据库是一种非关系型数据库，其设计思想是为了解决大规模数据的存储和处理问题。相较于关系型数据库，ＮｏＳＱＬ 数据库具有更高的扩展性、更灵活的数据模型和更高的性能。

ＮｏＳＱＬ 数据库通常采用分布式的方式存储数据，如ＨＢａｓｅ，Ｃａｓｓａｎｄｒａ，ＭｏｎｇｏＤＢ 等。这些数据库具有高可用性、高性能、自动化数据分片等特点，适用于海量数据存储和处理。

３．３ 分布式文件系统

分布式文件系统是一种基于网络的文件系统，通过将文件分布在多个节点上来实现其高可用性和高性能。Ｈａｄｏｏｐ Ｄｉｓｔｒｉｂｕｔｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ（ＨＤＦＳ）是一个分布式文件系统的代表产品，它是Ｈａｄｏｏｐ 生态系统的一部分，适用于大数据存储和处理。ＨＤＦＳ 的设计思想是将文件划分成多个块，然后将这些块存储在不同的节点上，通过分布式的方式实现其高可用性和高性能。

４ 数据处理技术

在明确大数据发展机遇的基础上，需要正确认识数据处理技术面临的挑战，首先则是需要在数据挖掘领域持续深入［２］ 。

４．１ 数据清洗

数据清洗是大数据处理的第一步，其目的是去除数据中的噪声和不良数据，以保证后续数据处理结果的准确性。数据清洗通常采用ＥＴＬ （ Ｅｘｔｒａｃｔ?Ｔｒａｎｓｆｏｒｍ?Ｌｏａｄ）工具来实现，如Ａｐａｃｈｅ ＮｉＦｉ，Ｐｅｎｔａｈｏ，Ｔａｌｅｎｄ 等。

４．２ 数据转换

数据转换是将数据从一种格式转换为另一种格式的过程，其目的是满足数据分析和建模的需要。数据转换通常采用ＥＴＬ 工具来实现，ＥＴＬ 工具可以将数据从不同的数据源中提取出来，并转换成适合分析和建模的格式。

４．３ 数据分析

数据分析是大数据处理的重要环节，其目的是从海量数据中发现有价值的信息和规律。数据分析通常采用数据挖掘、机器学习等技术，如分类、聚类、关联规则挖掘、预测等。

数据分析有着悠久的历史，从早期的统计分析，到现在的大数据时代，数据分析一直在发展变化。数据分析正在不断深入发展，出现了更多的专业的数据分析工具和技术，如数据挖掘、机器学习、大数据技术等。随着计算机技术的发展，计算机的处理能力不断提升，数据分析的处理速度也在节节攀升，可以在短时间内处理大量的数据，支持更快速准确的数据分析。随着云计算技术的应用，数据可以从不同的高效的途径获取，从而可以实现更灵活的数据分析。数据分析的技术也在不断发展，加上计算机技术和云计算技术的应用，将为数据分析注入新的活力，推动其变得更加完善。在此情况下，合理有序地储存信息就成为信息处理技术分析中的重要环节，通过有序地对信息进行排查，能够不断优化信息储存技术。

４．４ 数据建模

数据建模是指将现实世界中的实体和关系转化为计算机可处理的数据模型，其通常使用图形化的方法进行表示和分析。数据建模在数据分析和软件开发中扮演着重要的角色，可以帮助我们更好地理解和管理数据，从而更有效地实现业务目标。数据建模是指从数据中提取有用信息，并对数据进行分析，且建立数学模型，以提供有用的信息和帮助决策。数据建模的主要技术有统计分析、机器学习、深度学习等。统计分析是指利用统计学的知识和方法，对数据进行分析，以提取有用的信息。机器学习是一种人工智能技术，可以使计算机学习发现数据中的规律，从而使其能够自动完成任务，而不需要人工干预。深度学习是一种机器学习技术，它使用多层神经网络建模，可以从数据中提取复杂的特征，从而提高模型的准确性。随着人工智能技术的发展，数据建模技术也在不断发展。越来越多的企业在应用深度学习、自动化机器学习等技术，以提高数据分析的效率和准确性。未来人工智能技术将继续发展，数据建模技术也将继续深入发展，从而更好地提取有用信息，为企业提供更有效的决策支持。

５ 数据应用技术

大数据的应用主要包括数据可视化、数据挖掘、机器学习、深度学习等多个领域。

５．１ 数据可视化

数据可视化是将数据以图形化的方式展示，让人们更加直观地理解数据。数据可视化可以帮助人们发现数据中的规律和趋势，从而做出更明智的决策。常用的数据可视化工具包括Ｔａｂｌｅａｕ，Ｐｏｗｅｒ ＢＩ，Ｄ３．ｊｓ等。数据可视化是将复杂的数据以易于消费者理解的形式展示，从而快速获取信息。近年来数据可视化的发展相当迅速，主要受到了大数据技术的推动。随着大数据技术的发展，数据可视化的功能不断增强，可以实现更加精细的数据可视化，使用户更方便地获取和理解数据。数据可视化的软件也在不断更新，以满足用户对可视化效果的需求，使可视化效果更加精致、生动。数据可视化在跨领域的应用范围不断扩大，如互联网、金融、教育、医学等，已成为不可或缺的一部分，有助于更好地洞察业务、产品、市场信息。随着技术的发展，数据可视化将会越来越重要，支持更加强大的可视化效果，跨越更多领域，为用户提供更丰富的信息可视化服务。

５．２ 数据挖掘

数据挖掘是从大量数据中挖掘出有价值的信息和规律的过程，通常采用统计学、机器学习等方法。数据挖掘的应用场景包括市场营销、金融风险控制、医疗诊断等领域。常用的数据挖掘工具包括Ｗｅｋａ，ＲａｐｉｄＭｉｎｅｒ，ＫＮＩＭＥ 等。数据挖掘是一种从大量信息中自动发现有用知识的技术，近几年来得到了快速发展，并在全球范围内得到广泛应用，在日益激烈的市场竞争中，数据挖掘发挥着重要作用。近年来，数据挖掘技术已发展成一个多学科交叉领域，涉及数据库系统、机器学习、智能系统等众多学科。随着数据量的不断增加，数据挖掘技术也在不断深入发展和完善，成为企业智能决策的重要支撑。深度学习技术在数据挖掘中得到了广泛应用，结合大数据平台，实现了更加深入的数据挖掘，提高了挖掘的效率和准确度，并且可以实现自动化的挖掘和分析，减少了人工干预，提高了数据挖掘的效率，可以更有效地发现有用的信息。云计算技术也为数据挖掘提供了支持，可以使用云技术实现数据挖掘的分布式处理，提高数据挖掘的效率和准确度。数据挖掘将继续发展，不断完善和改进，以满足企业对信息处理和决策分析的需求，并将挖掘出的有用信息用于智能化的决策，使企业更加活跃，进一步提升企业的竞争力。

５．３ 机器学习

机器学习是一种基于数据和统计学方法的人工智能技术，其目的是通过训练模型来自动识别和预测数据中的规律和趋势，利用统计学和数学方法，让计算机从数据中学习，模拟人类思考的过程，做出决策与预测。机器学习的发展趋势一直在不断提高，越来越多的领域和行业开始采用机器学习技术，以解决复杂的问题，提高数据统计效率和准确性［３］ 。机器学习的应用场景包括自然语言处理、图像识别、智能推荐等领域。常用的机器学习框架包括ＴｅｎｓｏｒＦｌｏｗ，Ｋｅｒａｓ，ＰｙＴｏｒｃｈ 等。

５．４ 深度学习

深度学习（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）是一种机器学习的技术，它利用多层神经网络以及一些新的学习算法（如深度马尔可夫模型）、自动特征提取以及神经网络等来解决机器学习问题。深度学习无需人工设计特征，可以自动从原始数据中学习到潜在的特征，从而解决传统机器学习解决不了的问题。深度学习在各个领域的应用正在蓬勃发展，如计算机视觉、自然语言处理、自动驾驶、网络安全等，它们的应用范围在不断拓展，深度学习的应用正改变着我们的生活。在计算机视觉领域，深度学习可以用来识别图像中的物体（如车辆、行人等），对图像进行分类、定位和识别，并可以用来检测图像中的异常现象。深度学习在自然语言处理领域，可以实现文本分类、问答、语义分析等功能。在自动驾驶中，深度学习可以做路径规划、车辆检测和跟踪、道路检测等。在网络安全领域，深度学习可以用来识别网络中的恶意活动，以及检测暴力破解攻击。作为机器學习的分支之一，深度学习在各个领域的应用正在蓬勃发展，其应用正在改变我们的生活，为我们带来了许多便利，也为我们打开了一扇新的大门，给人们带来了更多有用的信息和服务。

６ 数据隐私和安全

大数据的应用涉及用户隐私和数据安全等，需要采取相应的措施来保护用户隐私和数据安全。

６．１ 数据隐私

数据隐私是指个人的敏感信息在未经许可的情况下被收集、使用、存储和传播的风险。保护数据隐私的方法包括数据加密、隐私保护技术、数据脱敏等。数据隐私的保障措施是指保护用户的个人隐私数据不受未经授权的访问、使用、复制或披露。近年来，随着信息技术的发展，数据隐私的保护措施也在迅速演化。数据隐私的保护措施首先涉及法律上的保护。国家制定的数据隐私法规，加强对个人信息的保护，严格限制对个人信息使用，以及确定未经授权的访问、使用、复制或披露的惩罚措施，为数据隐私的保护提供了强有力的法律保障。比如，加密技术可以保护用户的个人隐私数据，使其不受未经授权的访问、使用、复制或披露。新时代背景下公司发展计算机处理技术并不是为了存储网络数据资源，其根本目的是对获取的大数据进行分析与整合，从中获取数据价值，为公司带来经济效益［４］ ，因此保障数据隐私安全可以极大地增加用户信心，带来巨大收益。

６．２ 数据安全

数据安全是指数据在存储、传输、处理等环节不受未授权访问、篡改、破坏等风险的影响。保护数据安全的方法包括数据备份、数据加密、访问控制等。数据安全保障措施一般包括认证与授权、访问控制、数据加密、容灾备份与恢复、安全审计与日志、安全管理等。认证与授权是数据安全的基础，要求被访问数据的合法使用者必须进行身份验证，然后在授权的基础上确定其访问权限，以确保数据的有效性和安全性。访问控制是维护数据安全的关键，可以采用角色访问控制（ＲＢＡＣ）、策略基础访问控制（ＰＢＡＣ）等方式，限制不同类型用户的访问行为，以减少恶意攻击对数据的破坏。数据加密是保护数据安全的有效措施，可以使用对称加密、非对称加密、哈希加密等技术，将数据加密，防止非法访问者窃取数据。容灾备份与恢复也是一项重要的安全措施，可以在数据受损或意外丢失时，使用备份数据进行恢复，以避免数据损失或泄露。安全审计与日志是防范数据安全事件的重要措施，可以定期对系统访问行为进行审计，并记录详细的日志，以便及时发现安全漏洞和可疑行为。

数据安全的发展趋势主要有３ 点：一是智能安全，利用机器学习、深度学习等技术，实现安全管理自动化，增强安全防护能力；二是认知安全，采用识别技术实现人与机器的智能识别，及时发现安全威胁；三是区块链安全，利用区块链技术实现数据安全传输，提高数据安全性。

７ 结束语

随着大数据时代的到来，大数据技术已成为计算机信息處理的重要工具。本文从大数据的概念和特点、大数据技术的分类、数据处理技术的发展和应用、数据隐私和安全等方面进行了论述，大数据技术的研究和应用具有重要意义。在实际应用中，需要根据不同的需求选择合适的大数据技术，并对其进行合理的使用和管理。此外，需要加强对大数据技术的研究和培训，提高技术人员的专业水平，以更好地应对未来的挑战和机遇。大数据技术已成为计算机信息处理领域中的重要分支，其发展和应用已经深刻地改变了人们的生活和工作方式。随着技术的不断发展，大数据技术将会进一步完善和发展，为人们带来更多的机遇和挑战。本文总结了大数据技术的发展现状和未来趋势，提出了加强大数据技术的研究和培训、提高技术人员的专业水平，以更好地应对未来的挑战和机遇的建议。通过分析大数据技术的发展现状和未来趋势，强调了在实际应用中需要根据不同需求选择合适的大数据技术，并对其进行合理的使用和管理。

参考文献：

［１］ 周金付．大数据下的计算机信息处理技术探讨［Ｊ］．数字技术与应用，２０２２，４０（１２）：７?９．

［２］ 科尔仑．基于大数据时代背景下计算机信息处理技术研究［Ｊ］．电子测试，２０２１（２２）：１３２?１３４．

［３］ 杨东慧．基于大数据的计算机信息处理技术分析［Ｊ］．信息与电脑（理论版），２０２０，３２（２４）：２４?２６．

［４］ 王亮，左文涛．基于大数据时代视域下的计算机信息处理技术研究［Ｊ］．通讯世界，２０１９，２６（１１）：１４５?１４６．

作者简介：

黄大刚（１９８２—），本科，助教，研究方向：计算机与科学技术。