人工智能大模型在工业机器人领域的规划及探索

彭先涛，王鹏

（1.浙江恒逸集团有限公司，浙江 杭州 313200；2.浙江大学—恒逸全球未来先进技术研究院，浙江 杭州 313200）

1 引言

工业机器人已经成为工业生产中常见的、必不可少的重要设备之一，为工业的发展带来了极大的便利。由于工业场景众多，需求多样，为满足实际业务场景的需求，工业机器人在现场的形式由传统的机械臂，逐步演变为定制化的AGV、龙门桁架机器人、AGV 上搭载机械臂等多种形式。随着新一代信息技术的赋能，工业机器人上搭载工业相机（面阵相机、线扫相机、3D 相机等）、智能温度传感器、高灵敏度麦克风等传感器可解决更加复杂的需求，从而大幅提升工业机器人的利用率，产生更多的实际价值。

人工智能的主要应用为将训练好的推理/检测模型进行部署，对实时传输的图像等数据进行处理，根据输出结果执行下一步的动作；该方式在固定场景中占有绝对优势。工业机器人在运动过程中，若采集到其他异常数据，在模型未经训练的情况下，该异常不会被识别到，存在一定的隐患。人工智能大模型的出现，在提升检测的精度的同时，赋予了工业机器人更多的能力，对于制造业朝着智能制造的方向发展有很大的促进作用。

2 人工智能大模型在工业机器人方面的规划

工业机器人应用较多的企业已具备良好的数字化基础[1]，结合实际需求，对人工智能大模型在工业机器人领域的应用进行整体设计规划。

2.1 工业机器人层

部署在现场的工业机器人，目前有各种形式，如多关节机械臂、多自由度桁架机器人、搭载轻载机械臂的AGV 等，以满足各种作业需求。在工业机器人上搭载高清摄像头，实现抓取精确定位、偏差纠正、缺陷检测和尺寸测量等功能，是成熟且常见的解决方案；也可在工业机器人上搭载热成像仪、光谱仪、气体分析仪和麦克风等，采集不同场景的数据，充分发挥工业机器人的能力。

工业机器人在我国的应用面较广，涵盖流程、离散制造业的多个场景，非标定制化工业机器人在国产化方面具备较为明显的优势，定制化程度、灵活度高，但也存在一定的挑战，如：整体长周期稳定运行，MTBF（Mean Time Between Failure，平均无故障工作时间）提升；控制器、高精度电机等核心部件国产替换；大规模调度系统工业软件国产化；多关节高端机器人国产化突破等。

2.2 通信接口层

通信接口是工业现场的基础需求，其稳定性是第一位。该层的应用设计水平差距较大，需对工业网络、办公网络进行统一规划，建立相应的安全措施，确保网络的稳定。常见的应用效果较好的方案为：工业网络采用工业级交换机（如西门子、菲尼克斯等工业品牌的网管型交换机）组件光纤环网，办公网络采用商用交换机（如H3C、华为等品牌）组件IT 网络，二者之间采用防火墙防护。

工业机器人、相机等传感器通信协议众多，该层需确保数据传输的准确性、时效性，可考虑利用5G 传输图片、视频等大尺寸数据[2]，其他协议交互检测结果、指令等数据。对于流程行业，采用RTU、5G 等无线通信技术是较为实用稳妥的方案。通信接口的稳定性要兼顾高并发、可扩展性、兼容性等。涉及到跨公司、跨平台间的数据传输时，可考虑构建工业互联网平台，加入区块链、量子通信等技术以增强通信的安全性。

2.3 模型层

随着计算机视觉、人工智能等的发展，为模型层提供了较为完整的理论，学者在此也做了诸多理论、应用的研究[3]。模型层应用的关键步骤为搜集数据、处理数据、模型训练和部署模型，其核心是通过训练出的模型解决生产过程中“不变”的需求（因生产过程相对稳定重复，对产品、设备等的检测需求相对固定），如各种缺陷检测模型、测量模型、预测模型等，最终应用的模型是AI解决复杂问题的能力、产生价值的体现。对常用的几种模型进行简介如下。

（1）CV 模型 现场涉及图像、视频类的检测/识别均为计算机视觉识别类，采用CV 模型是可靠、成熟的解决方案。在工业现场实际应用中，需要在检测准确性、节拍、稳定性和性价比等方面进行综合考虑，确保AI 通过工程项目顺利落地、稳定运行，才能产生价值。如尺寸偏大、结构复杂的工业产品需进行外观缺陷检测，理想的方案是对该产品抓取至空中进行全方位无死角的拍摄与检测，实际运行时有两个较大的风险点：节拍较慢，会影响生产；动设备损耗大、故障率高、运行成本高。根据经验，最优工程解决方案为采用静设备设计，对产品确实拍摄不到的部位的缺陷进行评估，若缺陷发生概率低、影响较小，可以不予考虑，否则需对工艺、设备、管理等进行改进，降低缺陷频发的情况。

对于只检测有无缺陷的场景，可采用传统算法，如灰度识别、SVM（Support Vector Machine，支持向量机）、SIFT（Scale-Invariant Feature Transform，尺度不变特征变换）、HOG（Histogram of Oriented Gradient，方向梯度直方图）、ORB（Oriented FAST and Rotated BRIEF，快速特征点提取和描述）和LBP（Local Binary Patterns，局部二值模式）等，以节约算力和投资。对于需要标注出缺陷位置、缺陷种类、根据缺陷严重程度区分等级等的复杂任务，采用CNN 神经网络算法是最优的解决方案[4]，如YOLO、VGG、ResNet、AlexNet 和RevNet 等。先采集样本，再将处理后的样本（标注缺陷，加标签）通过算法模型进行训练，模型达到预设的检测精度后部署该模型使用。

通过框架使用相关算法模型进行训练时，训练过程目前来说还是黑匣子（即难以解释），样本的质量、数量对最终的检测模型影响很大。在工程应用中，增加实际样本（来源于生产实际，非人为制造的样本；标注质量要高）数量可显著提升模型的训练结果。为使得算法按照预期效果输出推理模型，学者做了诸多工作，其中构建损失函数是较为常见且工程上较易实现的，如Berkan Demirel 等提出新的元调损失函数，使得检测结果有了显著提升。在工程应用中，结合实际情况设计损失函数会取得较好的效果。

（2）机器人预测模型 采集并获取到工业机器人的运行作业数据，如动作时长、负载量、电流、电压、运行轨迹、电池电量和充放电状态等，采用Transformer 或GNN 等训练预测模型[5]，对工业机器人的维护状态、故障等进行预测，实现工业机器人的全生命周期管理，合理规划工业机器人及其备件的使用，避免带病运行，提升工业机器人的使用寿命与效率。

（3）机器人调度模型 结合排产任务、在机任务等生产数据对需要作业任务进行预测，根据机器人的执行任务情况、本身状态、任务优先级、动作距离等数据，对机器人的工作任务、AGV 调度等进行预排，将工业机器人与生产状况进行实时匹配，使得工业机器人的能力得以充分发挥、提升机器人的利用率，并能提升机器人在应用时的灵活性、智能化。

2.4 大模型层

以ChatGPT 为代表人工智能大模型带动了一系列通用人工智能（Artificial General Intelligence，AGI）技术的迅速发展，AGI 已经掀起新一轮信息技术革命，成为一种先进的生产力[6]。人工智能大模型的快速发展也引起了工业界的关注，本文基于大模型相关的理论基础与发展趋势提出了其对工业机器发展的影响[7]，以期为人工智能大模型在工业中落地贡献力量。

大模型在工业中的核心是解决“变”——由于工业的复杂性，生产过程中会出现一些异常情况，如复杂设备的突发故障、产品异常等，需要有效的手段对这些“变数”进行及时的处理，保证生产各项活动的安全平稳进行，实现降本增效。大模型层通过各个场景的数据持续训练，提升模型的检测能力，构建基于数据更进一步的应用场景，发挥数据的价值。人工智能大模型在工业领域的应用探索处于初步阶段，为数据驱动式，但可以预见，未来其发展会从行业龙头企业率先开始，充分利用其积累的丰富场景的丰富数据，从单个场景大模型为突破点，实现行业大模型的全面发展。

（1）CV 大模型 计算机视觉（Computer Vision，CV）、大规模机器学习[8]为工业机器人朝着更加智能化方向发展提供了理论支撑，结合AI 技术、通过机器人搭载的传感器采集的数据（如机器人运动过程中可采集较为全面的场景的图片、视频数据），可探索工业行业机器视觉的应用。对于工业行业CV 大模型，核心内容有两点：数据的获取、数据标注的质量、高效的训练。

对于CV 大模型的图像分类/识别任务，若依赖人工标注，恐难以满足训练数据的要求，SA（Segment Anything）的提出为CV 大模型的实现提供了较为可靠的技术手段。

（2）知识大模型 工业现场场景众多，工业机器人是其中的一环，涉及的关系型数据、非关系型数据众多，数据蕴含的价值较大。将工业现场的各种维度的数据建立联系，构建工业知识大模型，充分发挥数据的价值，让数据来源于业务、反哺于业务，是一项有意义且有挑战的工程，知识图谱的发展为工业知识大模型的发展提供了理论与技术实现方法。

通过知识图谱可建立深层次的关系，构建企业的工业知识体系，将企业内人员、工艺、设备、备品备件、物资、物流等相关数据与资源进行整合关联，通过一个点能够提供直接联的、潜在关联的信息与知识，提升企业生产经营效率[9]。

（3）LLM 大模型 ChatGPT 将人工智能对通用自然语言任务的理解与生成能力提升到新的高度[10]，大量相关工作推动了LLM 大模型的发展，其理论、应用较为健全。在工业行业中，有了足够的数据基础与应用后，可以实现类似ChatGPT 的场景功能，能迅速提炼关键点、完成报表分析等常规作业。在LLM 大模型的使用时，为确保每次生成语句的真实性，如Amos Azaria[11]等利用LLM 的隐藏层激活来确定语句的真实性。

2.5 数据处理

工业现场存在一定的复杂性、随机性与不确定性，会导致现场的图片、声音等存在背景噪声，在训练前需要对数据进行预处理以确保训练结果，为了避免复杂结构的数据造成“维度灾难”，可先通过主成分分析（Principal Component Analysis，PCA）、等距映射、局部线性嵌入（Locally Linear Embedding，LLE）等方法对数据进行降维处理，确保模型能提取到有效特征。在人工智能大模型训练时，对于某些场景可能会存在少样本甚至零样本的情况，该部分的研究有助于完善工业大模型。

2.6 IT 系统层

IT 系统支撑了企业各业务的运行，如OA、SCM、SRM、MES、EAM 与自动化设备配套集成的信息系统等，结合企业实际需求进行规划建设。IT 系统建设是一项庞大、复杂的工程，存在项目周期长、项目成功率低、上线后使用率低等现场，实施时需以满足业务需求为核心，对业务深入分析、考虑业务增量发展趋势、系统性能余量、数据库设计能力和系统融合扩展能力等进行较为全面的考虑与分析设计，确保项目能顺利落地运行。

IT 系统是与企业的相关的业务需求紧密结合，定制化程度较高。随着大模型的发展，未来，通过prompt 输入详细的业务需求，大模型自动创建数据库、自动编程实现功能、自动部署IT 系统等，大幅降低IT 系统实施的复杂度，更好的助力企业数字化转型。

2.7 大数据层

数据来源于生产经营各环节，通过大数据的应用既能实时掌握生产经营的情况，又能对生产经营的异常情况及时的分析与指导改进等。目前大数据的应用水平也存在较大的差异，自动化、信息化、数字化方面建设建好的企业，已构建自身的数据平台并对大数据进行了应用。数据来源于生产经营各环节，通过大数据的应用既能实时掌握生产经营的情况，又能对生产经营的异常情况进行及时预测、反馈与指导。

3 总结与展望

随着工业数字化、智能化的建设，工业机器人、智能传感器等的应用广度、集成深度上升，工业行业的数据维度、数据量均在增加，为工业行业大模型的发展构建了基础。本文对人工智能大模型在工业机器人的应用提出了可落地的架构，但由于其涉及的技术细节较多，其落地应用还有一段路要走。随着业务发展的需求、技术发展的助力，人工智能大模型将为制造业转型升级提供重要的技术手段。

人工智能大模型在工业机器人的发展方向为工业机器人自身将集成模型算法、芯片等，提升自身性能、可靠性和易用性；通过千亿或万亿级别的参数预训练模型，将语言理解、视觉感知、控制等多任务统一建模，提高机器人的语言理解和自主决策能力；结合视觉听觉触觉等多种感知方式，通过多模态学习和感知，实现对作业环境的多模态理解与融合；通过强化学习、迁移学习等算法使机器人在运行中持续学习和优化，使其能在不同任务和环境中快速适应与迁移，提高机器人的自适应和智能化水平，实现无缝人机协同安全作业。未来人工智能大模型在工业机器人的应用将朝着更加智能化、自适应、多模态、易用性和强稳定性等方向发展，不断进步，助力国产高端的突破，实现更加广泛和深入的应用。随着工业数字化的推进，在国家政策、市场需求等的推动下，相信我国在工业机器人软硬件方面一定会逐步突破。各种形态的工业机器人在未来会朝着稳定性高、使用便捷、智能化程度高等方向发展。