人工智能大模型在电网中的应用展望

席丁鼎，王亦伟

（南京南瑞信息通信科技有限公司，江苏 南京 210018）

0 引 言

目前，人工智能正在各行各业得到广泛应用，为生产活动带来更大的价值。传统的人工智能模型开发方式存在局限性，只适用于特定场景和数据，无法满足不同行业快速落地的需求。随着数字化改革的推动，越来越多碎片化场景导致传统开发方式难以规模化复制，也导致了隐私、安全和防御方面的问题。传统人工智能模型存在健壮性差、合成数据识别率低等问题，面临着隐私和安全等方面的隐患。

1 电网现状与问题分析

1.1 电网人工智能应用现状

电网企业面临“双高”“双峰”等挑战，数字化转型成为有效的应对方式之一。人工智能作为核心技术，主要应用于计算机视觉和自然语言处理领域。计算机视觉技术在电网监控和异常处理中发挥着重要作用，可以提升电网的可靠性和安全性。自然语言处理技术用于管理文本信息，提高客户服务和决策效率，在知识图谱问答、设备知识库以及用户用电行为分析等方面取得成效，提升了服务效率和质量。

1.2 电网人工智能面临的问题

将人工智能引入电网领域后，被广泛用于输变电等专业场景，带来了一系列问题和挑战。电力系统的复杂性涉及多层次子系统和多种技术任务，传统人工智能模型难以扩展到大规模电网系统。在数据管理方面，电网需要高质量、一致性和实时性的数据，使用不准确或滞后数据可能导致决策错误。

2 人工智能大模型介绍

2.1 大模型的定义

大模型又称基础模型，其中3 个关键参数为大数据、高参数、强算力，即在大数据支持下，通过强大算力训练的高参数模型[1]。大模型能够学习更丰富、更精细的特征表示，在数据预测、分类及生成等任务中表现卓越。通过发展大模型，人工智能将从局限于特定任务且缺乏通用性、创造性和自我意识的弱人工智能，逐步迈向具备通用性、学习和自适应能力、自主决策能力、创造性的强人工智能。

2.2 大模型发展历程

自2017 年Transformer 架构提出以来，就成为大模型领域的主流算法基础[2]。引入自注意力机制后，Transformer 能够更好地捕捉文本上下文信息，提升了超大规模参数和数据的训练能力。主流大模型基于Transformer 架构快速扩展，如预训练的语言表征模型（Bidirectional Encoder Representation from Transformers，BERT）、生成式预训练变换模型（Generative Pre-trained Transformer，GPT）和基于人工智能的大型语言模型（Large Language Model Meta AI，LLaMA）系列。视觉大模型的参数规模相对较小，但发展迅速。视觉转换器（Vision Transformer，ViT）模型突破了Transformer 缺少归纳偏置的限制。V-MoE 模型是一种基于专家稀疏混合的新视觉架构，将其应用于图像识别时，只需原计算量的一半即可达到先进的网络性能。Swin Transformer及其v2 模型通过分组计算和滑动窗口等方法，在多个任务中取得高精度效果，为多模态大模型奠定基础。

2.3 大模型发展历程

2.3.1 开发模式

大模型带来了全新的人工智能开发模式，即上游预训练模型与下游微调相结合的行业化定制模型，构建技术生态与产业生态的桥梁。预训练模型是通过在大规模数据上进行自监督或无监督学习的人工智能模型。自监督学习利用输入数据作为监督，而无监督学习侧重于检测数据模式。模型在通用特征上进行初始训练，通过微调或迁移学习适应特定任务。

2.3.2 涌现能力

涌现性指系统数量性变化导致行为性质变化的现象。在大模型领域，涌现能力表现为在小模型上不存在，但出现在大模型上的能力，不能通过简单改善小规模模型来预测。涌现能力有一个清晰的模式，即在某个阈值之前效果接近随机，但超过该阈值后效果将远高于随机。经过涌现后，大模型的表现水平将远超随机模型，主要体现在通用感知、可信问答、地图理解、多任务语言理解以及上下文理解等方面。

2.3.3 泛化能力

泛化能力指模型在处理新数据时的性能表现，衡量模型对未知数据的适应能力。大模型通过应用更多参数、更高复杂度和深度、更丰富的学习特征、先进的优化算法及正则化技术，提升泛化能力。大模型的泛化能力有助于人工智能应用快速落地，提供强大的表达能力和适应性，促进产业赋能。

2.4 典型大模型介绍

2.4.1 自然语言类大模型

GPT 系列是由OpenAI 公司推出的预训练语言模型。GPT-1 是第一个版本，有1.1 亿个参数，展示了预训练模型在大规模文本数据下的潜力。GPT-2在GPT-1 的基础上进行扩展，拥有更多的参数和更深的网络结构，引起了广泛关注。GPT-3 是最大版本，有1 750 亿个参数，在多种自然语言处理（Natural Language Processing，NLP）任务上表现出色。GPT-4 是2023 年3 月发布的多模态大模型，比GPT-3.5 更擅长解决复杂任务，通过安全奖励机制和可预测缩放机制提高模型的性能和效率[3]。

2.4.2 计算机视觉类大模型

自Transformer 在自然语言处理领域取得突破性进展后，业界一直致力于将Transformer 应用于计算机视觉，以替代卷积神经网络（Convolutional Neural Network，CNN）。早期的尝试如iGPT 和ViT 存在2 个问题：一是对大量像素的图像序列建模不足；二是在实例分割等密集预测任务中效果欠佳[4-5]。Swin Transformer 能够解决这些问题，并成为通用的视觉Transformer 骨干网络，在分类、检测和分割任务上水平领先。

Swin Transformer 是一个通用的视觉Transformer骨干网络，在物体检测和语义分割任务中大幅刷新了纪录，并被广泛应用于众多视觉任务，如图像生成、视频动作识别、视觉自监督学习、图像复原以及医疗图像分割等。Swin Transformer 打破了计算机视觉领域被CNN 长期统治的局面，加速了计算机视觉领域基本模型架构的变革。其核心思想在于将具有强建模能力的Transformer 结构与重要的视觉信号先验结合起来。这些先验包括层次性、局部性以及平移不变性等。Swin Transformer 的一个重要设计是移位的不重叠窗口，可以大幅降低计算复杂度，让计算复杂度随着输入图像的大小呈线性增长。与传统的滑动窗相比，不重叠窗口的设计对硬件实现更加友好，具有更快的实际运行速度。

在Swin Transformer 之前的ViT 和iGPT 都使用了小尺寸的图像作为输入，会损失很多信息。Swin Transformer 另辟蹊径，输入原始尺寸图像，同时Swin Transformer 使用的是CNN 中最常用的层次网络结构，随着网络层次的加深，节点的感受也在不断扩大。通过这种类似CNN 的层次结构，赋予了Swin Transformer 实现分割或者检测任务的能力。

随着模型规模的不断提升，训练越大的模型往往需要越多的数据，计算机视觉领域缺乏人类监督信息的数据来支撑大模型的训练。这要求视觉领域大模型要减少对标注数据的依赖，在更少数据量的情况下探索大模型。因此，通过引入自监督学习的掩码模型来解决这一问题[6]。该模型通过掩码图像建模来学习图像表征，采用随机掩码策略，用适度大的掩码块掩码输入图。通过直接回归来预测原始像素的RGB值。该模型的预测头很轻，只需一层线性层即可。

3 大模型在电网中的应用展望

3.1 计算机视觉大模型

在巡检领域，应用大模型视觉语义理解、图像分割等能力，结合传感器、无人机、巡检机器人、布控球摄像头以及红外摄像头等设备，智能分析并自行判断巡检中记录的红外光谱、可见光图片及音视频文件等。分析输电线路、变电站、配电站人员、设备的异常行为、异物和设备磨损迹象，预测可能发生的故障，实现电力设备的远程自动巡检、自动识别、智能预警及智能决策，减少停电风险，提高系统可靠性。借助大模型图像分析能力，及时发现火灾、风暴及其他自然灾害情况，以便及早采取措施，确保电网设施安全。应用大模型泛化能力、知识蒸馏、迁移学习能力，将大模型向无人机和机器人等边端设备的小模型输出模型能力。小模型负责实际巡检任务的推理与执行，同时向大模型反馈算法与执行成效，提高巡检效率和安全性，促进大模型与小模型协同进化，构建人工智能云边端体系。

3.2 自然语言处理大模型

在营销领域，应用大模型上下文感知、知识和语言理解、文本生成能力，为用户提供智能化人机交互和能源管理服务，快速理解客户意图。应用大模型知识抽取和智能推荐技术，结合传感器、智能电表及负荷管理系统，将各类数据转化为可处理的文本数据，根据用户的用电模式、用电时间、用电量等特征进行分组，并画像分析每类用户。基于该类用户的画像，通过大模型预测其用电需求，了解用户的需求和偏好，并针对其用电需求提供个性化节能建议。

在电网调度领域，应用大模型技术处理大规模的电网数据，自动识别和纠正数据中的错误或缺失值，将数据转换为适合分析和建模的格式。应用大模型知识理解和推理能力，结合调度自动化系统，知识沉淀调度运行规程和故障处置案例，实现电力系统的优化调度。通过模拟和优化算法找到最优的供电方案，优化发电机组的运行策略，调整输电线路的配置。通过大模型技术实时监控电力系统并快速响应突发事件，自动调整发电和分配策略，实现电网异常情况秒级自动化预案处置，以确保电力系统的稳定性。

在负荷预测领域，应用大模型感知预测能力，分析历史负荷数据、天气预报、季节性因素及事件数据，预测电力需求，优化电力生产和分配。面向风能、光伏、储能及各类用户侧的可控负荷资源，进行资源精确预测、协同、控制及优化，实现聚合资源的灵活接入、智能调控以及智能风险预警。

在企业管理领域，应用大模型上下文理解和知识抽取能力，管理电网大量的技术文档、报告及记录，自动提取关键信息，汇总文档内容并生成摘要，以便工程师和决策者访问所需信息。在合规性方面，大模型可以协助电网公司跟踪和遵守能源行业法规，提供合规性报告和建议。在员工培训方面，大模型可用于构建知识库和培训材料，帮助新员工快速掌握电网运营的基础知识。

4 结 论

大模型代表通用人工智能，将深刻改变各行各业，包括电网领域。在电网中，人工智能大模型具有提升智能程度、降低能源成本、提高可靠性和安全性的潜力。人工智能大模型的应用将为智能电网提供新的解决方案，综合计算机视觉和自然语言处理，将更全面地处理电网任务，助力电力行业迎接未来的挑战。