基于神经网络的不均匀光照下围棋识别方法

赵 祥，赵新龙

(浙江理工大学机械与自动控制学院，浙江 杭州 310018)

1546688451@qq.com;zhaoxinlong@zstu.edu.cn

1 引言(Introduction)

围棋机器人是新兴的娱乐机器人之一，一般应用于家庭娱乐、棋院、少年宫等教育机构。识别棋盘棋子是围棋机器人的关键技术，其识别准确率直接决定了围棋机器人的正常运行状况与用户的体验质量。传统方法主要是在光照恒定的条件下利用图像识别方法提取并匹配特征来检测棋子，例如定向梯度直方图(Histogram of Oriented Gradients，HOG)和尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)。但是由于围棋棋子的纹理不多，很难从中提取特定的特征，而且各部分之间的相似特征会使得匹配过程复杂化。NHAT等提出一种利用颜色空间识别棋子的直接方法，但只能得出棋子的大致位置。DEY等提出通过检测形状并融合颜色空间来识别围棋棋子，提升了棋子识别率。但当棋子的位置偏离棋盘线角点时，该方法的准确率下降。上述棋子识别方法的实验环境是光照恒定的，缺乏对复杂光照情况的研究。但是人们日常生活中的围棋运动所处环境的光照条件是不均匀的，而不均匀光照会在棋盘上产生阴影、光斑、噪点等，从而影响棋子识别的准确率。本文结合神经网络和图像处理的相关技术，分析了光照不均匀对围棋棋子识别率的影响，并进行了不同光照强度下的测试，优化了识别算法，提高了棋子识别率。

2 围棋识别方法(Weiqi recognition method)

为了解决不均匀光照对棋子识别的影响，更好地提取图像特征，研究人员借助图像增强技术来凸显低亮度区域的细节信息并提升图像的对比度。图像分割为常用方法之一，能够有效提取特征，并且在一定程度上减轻光照不均匀带来的影响，常用的分割技术有自适应阈值分割、形态学和模糊C均值聚类方法。以上方法在光照不均匀的环境下识别图像特征时有一定效果，但是应用于围棋棋子识别时，由于棋盘上的高亮区域和阴影区域分布不规律，影响了棋子识别的准确率。

本文首先利用边缘检测和阈值分割法来提取棋盘图像并转化为标准图像，然后利用神经网络的方法来识别黑白棋子，通过提取更多的有效特征，解决不均匀光照条件下围棋棋子识别率较低的问题。实验表明：这种方法在强光、室内灯光、暗光等三种光照不均匀情况下，对围棋棋子的平均识别准确率可达到98%以上，验证了该方法的有效性。

2.1 棋盘提取

在采集到的原始图像中，棋盘是我们所需要的部分，因此我们需要将图像中的棋盘部分提取并保留，非棋盘部分进行舍弃。本文提出了基于边缘检测和阈值分割的棋盘提取方法。

在实验过程中，首先利用高斯滤波来减少噪声从而得到矫正后的原始图像，如图1(a)所示。然后利用Canny算子处理后得到图1(b)，并辨识出图像中最大的四边形轮廓，即得到棋盘区域图像如图1(c)所示。最后利用阈值分割法对棋盘区域存在的标定点进行读取，得出标定点对应的位置如图1(d)所示。

图1 棋盘识别流程Fig.1 Checkerboard recognition process

棋盘提取只保留标定点中间的区域，所得图像如图2(a)所示。设标定点为、、、，构成一个不规则四边形。为了方便对棋盘上的棋子进行识别处理，需要将图2(a)通过透视变换转换为标准棋盘图像。透视变换关系如图2(b)所示。

图2 透视变换流程Fig.2 Perspective transformation process

根据透视变换矩阵，可以将图2(a)中的棋盘提取图像转换为图2(c)所示的标准棋盘图像。整个棋盘提取的标准流程如图3所示。

图3 棋盘提取流程Fig.3 Checkerboard extraction process

2.2 棋子特征识别

针对不均匀光照下的棋子特征识别，本文通过采集不均匀光照条件下的棋盘棋子图像，构建合适的神经网络来进行棋子图像的特征提取和分类，降低不均匀光照对棋子特征识别的影响。通过采集不同光照强度下的棋盘棋子图像作为数据集，共得到3，000 张标准棋盘图像，光照强度在10 Lux至3，500 Lux。本文按照9：1的比例划分训练集和测试集，对数据集中的图像分成黑、白和空三类并进行标注，然后将训练集输入神经网络分类器进行训练。

本文利用多层感知器(Multilayer Perceptron，MLP)来实现对围棋图像的分类。多层感知器是由输入层、隐含层及输出层构成的神经网络模型，其内部神经网络结构如图4所示，层与层的关系为全连接关系。

图4 神经网络结构Fig.4 Neural network architecture

在图4的神经网络结构中，输入层神经元接收图像数组，输出层神经元设置为3，用于对棋子的类型进行判断。MLP的输出计算步骤如下。

首先，计算得到输入的加权和为

利用自适应矩阵估计(Adaptive Momentum，Adam)来调整MLP的权重。Adam优化器可以替代传统随机梯度下降过程的一阶优化算法，基于训练数据迭代更新神经网络权重。

训练出的分类器封装为H5文件并保存，利用Python调用此分类器对棋盘图像进行分类。首先将图5(a)的标准棋盘图像分割为20 px×20 px的单个棋子图像，并依次加入data数据集，作为分类器的输入。然后直接在Python中调用分类器，将结果导出为数据矩阵并转换为识别后的棋盘图像，如图5(b)所示。

图5 图像对比Fig.5 Image comparison

整个棋子特征识别流程如图6所示。

图6 棋子特征识别流程Fig.6 Recognition process of chess pieces features

3 实验与结果分析(Experiments and analysis of results)

3.1 实验设备与数据来源

本实验以不均匀光照下的围棋棋子作为研究对象，在处理器为Inter Core i5-10210U、16 GB内存的计算机上，利用PyCharm作为开发工具运行实验程序。实验数据来源于三种不均匀光照环境下采集的原始棋盘图像。实验光照条件分别为强光照环境下、室内灯光环境下和暗光环境下，整体光照范围为10—3，500 Lux。

3.2 实验结果分析

图7展示了不同光照环境下围棋棋子的识别结果，实验共得到20，000 张围棋图像，下面找一些典型的图片作为说明。图像中的圆圈标注为出现识别错误的位置。

图7(a)采集于强光照环境下，棋盘的光照范围为1，000—3，500 Lux，光照强度从上到下逐渐减弱。由于光照强度较高，且棋子有反光的现象存在，识别难度增大，主要原因是强光下黑棋的反光导致程序将黑棋错认成白棋，另外白棋在强光下的反光也对识别效果有很大影响。经过实验测试，棋子在强光照环境下识别率在97%以上。

图7(b)采集于室内灯光环境下，棋盘的光照范围为300—1，000 Lux。相对于强光照环境，室内灯光下的棋盘表面会反射灯光从而出现光照不均匀现象。当棋盘有明显的反光时会增大棋子的识别难度。经过实验测试，棋子在室内灯光环境下识别率在99%以上。

图7(c)采集于暗光环境下，棋盘的光照范围为10—300 Lux。由于环境光照强度过低，可以发现棋子周围存在明显阴影。此时圆圈标注位置的光照强度为46 Lux，白色棋子并未识别出来，原因是在光线昏暗的情况下，白子的灰度特征不明显，因而影响了棋子的识别率。经过实验测试，棋子在暗光环境下识别率在98%以上。

图7(d)采集于正常的均匀光照环境下，作为实验中的对照组，棋盘的光照范围为300—1，000 Lux。均匀光照下的棋盘图像中的棋子轮廓清晰，棋盘没有明显的反光与阴影，因此算法处理这类图像的识别效率很高，基本上所有棋子都可以识别。

图7 不同光照条件下的围棋棋子识别结果Fig.7 Recognition results of Weiqi pieces under different lighting conditions

不同的光照强度下，围棋棋子识别准确率如图8所示。

图8 围棋识别准确率Fig.8 Weiqi recognition accuracy

为了进一步说明本文所提出的神经网络方法的有效性，使用相同的围棋图像样本与传统的边缘检测算法进行比较。所识别的围棋图像样本共100 个，分别为暗光环境下采集的图像30 张，室内灯光环境下采集的图像40 张，强光环境下采集的图像30 张。表1显示两种方法在识别不均匀光照环境下棋子的准确率。实验结果表明神经网络方法在三种不同光照条件下的围棋识别准确率均高于边缘检测算法。

表1 不同方法下围棋识别准确率Tab.1 Weiqi recognition accuracy in different lighting conditions

4 结论(Conclusion)

识别棋盘棋子是围棋机器人系统中非常重要的研究内容，本文重点研究了不均匀光照下棋盘提取与棋子识别的处理方法。棋盘提取主要包括识别标定点和透视变换，提出了基于边缘检测和阈值分割方法来提取棋盘图像，并利用透视变换转换为标准棋盘图像的方法。另外，利用多层感知器和神经网络方法来训练棋子分类器，对标准棋盘图像上的棋子进行识别和分类。通过实验验证，对于不均匀光照环境下的棋子识别，本文所提出的方法优于传统的边缘检测算法。