RPA在智慧校园应用中的智能识别关键技术研究

吕晓龙 王能

收稿日期：2023-04-08

基金项目：德州学院大学生创新创业训练项目（X202210448023）；山东省社会科学规划研究项目（21CSDJ12）

DOI：10.19850/j.cnki.2096-4706.2023.22.001

摘  要：针对智慧校园中各种工作操作规则固定、重复性高、附加值低的问题，文章探索了RPA在智慧校园应用中的智能识别这一关键技术，介紹了RPA流程机器人的基本概念，分析了传统识别定位方式的工作原理及弊端，提出用图像智能识别定位方式来解决问题，并详细介绍了图像智能识别技术的关键性Python代码，结果表明，该方法在RPA流程操作中定位更加准确，出错率低并能有效解决界面出现弹窗等错误问题。

关键词：RPA；智慧校园；智能识别

中图分类号：TP311  文献标识码：A  文章编号：2096-4706（2023）22-0001-04

Research on the Key Technology of Intelligent Identification of RPA in Smart Campus Application

LYU Xiaolong， WANG Neng

（School of Computer and Information， Dezhou University， Dezhou  253023， China）

Abstract： In view of the fixed operation rules， high repeatability and low added value in smart campus ' various work， this paper explores the key technology of intelligent recognition in the application of RPA in smart campuses. It introduces the basic concept of RPA process robot， analyzes the working principle and disadvantages of traditional identification and positioning， put forward using the image intelligent recognition positioning to solve the problem， and introduces the key Python code of intelligent image recognition technology. The results show that the method is more accurate in RPA process operation， the error rate is low and can effectively solve the error problems such as interface popover.

Keywords： RPA; smart campus; intelligent recognition

0  引  言

RPA技术在“智慧教育创新发展行动”背景下被广泛应用于智慧校园建设，它可以有效地改善学生档案信息的录入、研究成果筛选与统计、考评信息统计与分析等传统的手工劳动[1]，实现流程的自动化，使其变得更加高效、精准，从而解放手工劳动力、提高工作效率、降低工作失误[2]。

本文主要探索了RPA在智慧校园应用中的智能识别这一关键技术，即对各种界面元素自动识别和分类，实现智能化识别与定位，从而使RPA流程机器人能跟人一样，对界面进行判断，找到准确的元素自动进行操作，进而准确完成复杂信息系统的自动流程操作。

1  RPA在智慧校园中的应用

1.1  RPA简介及关键技术

机器人流程自动化（Robotic process automation， RPA），是为了代替繁杂人工而设计的，通过模仿最终用户在电脑的手动操作方式[3]，提供了另一种方式来使最终用户手动操作流程自动化[4]。利用RPA控制器对软件机器人进行部署与管理。包括启动/停止机器人的运行，实现信息统一管理，提供数据可视化图表展示，包括信息汇集、用户管理、机器人管理、系统管理、执行管理。如果确定的业务流程需要大量的PC运行流程，比较合适的方式是生成器把流程先上传到控制器，再由控制器统一发给各个运行器，并统一指挥各个运行器执行流程。既然是模仿手动操作，所以RPA的关键技术就是对如何对界面进行判断，识别出要操作的元素的位置，从而控制鼠标进行自动操作。

1.2  RPA机器人在智慧校园中的主要应用

1.2.1  课程注册与课程表设计

利用自动化，检查学生参加该课程的资格标准，核实信息，列出学生名单，根据各个班级和各个老师的空余时间分布来设计一个两者都空闲并且时间安排合理的课表，在遇到突发情况时，向RPA机器人发送请求，也可以及时更改课表发送信息给学生。

1.2.2  建立学生档案

关于学生档案的管理，学校档案部在接收学生信息的同时，需要将这些常规信息，包括姓名、年龄、性别、学号等数据，输入到学校档案管理网中。用户只需要操作一次，RPA机器人就会记录用户的操作轨迹，并自动登录系统，将信息统一输入系统中。

1.2.3  学生班级考勤管理

自动化考勤管理系统，主动提醒和上报到老师和班级。考勤跟踪系统，数据处理和自动异常通信，以及完整的报告功能。并可以根据学生提交的表格或者考勤情况，RPA能够自动评价和生成评分各种问题。

1.2.4  学生请假条件自动审批

根据请假条例，根据不同的病情和请假的天数来确定请假的审核等级并分类处理，如果是比较严重，RPA自动审批生成图表并发送信息给导员，不需要导员对于那些简单的事情过多的误時，可以通过看新生成的图表来了解当天的请假情况。

2  传统RPA的识别定位

传统中的RPA技术主要是利用PyAutoGUI模块（模拟键盘、鼠标在相应的页面位置进行操作）通过对鼠标操作先获取鼠标位置后由这个位置向四面八方延伸，在获取屏幕的分辨率进而确认鼠标在整个电脑中的坐标进而获得有电脑屏幕大小的坐标系，后通过将鼠标移到需要操作的位置，然后同样使用PyAutoGUI模块来锁定目标的位置按照之前的方式再一次确定坐标，之后就可以进行点击左键右键等简单的操作[5]。

其次还可以依据网页标签实现抓取大多数Web网页源代码都是通过HTML语言编写的，页面中的数据通过各种HTML标签所标识，如、