智能早教辅助系统的设计与开发

梁琨 赵金铭 高明辉 杨晨 巩秀钢

摘  要：幼儿期是智力发展的黄金期，在这时期儿童的大部分知识能力都是从玩耍中得到的。本篇论文针对上述情况，开发了一套激发儿童學习兴趣、提高儿童认知能力的早教系统。该系统主要由摄像头模块、语音模块组成，利用摄像头捕捉物体关键信息，由服务器对图像进行处理，以线性回归算法对采集的数据进行分析，预测儿童的兴趣，同时，该系统具备与儿童进行简单交互的功能。

关键词：智能早教系统;儿童兴趣;语音识别;图像信息处理

中图分类号：TN931.3;TP311.1     文献标识码：A 文章编号：2096-4706（2019）09-0184-03

0  引  言

学龄前期，幼儿的神经纤维的发育逐步完善，对外界的各种刺激的传导更为准确迅速，这个时期是儿童智力发展的关键时期，此时的学龄前教育对于开发儿童的智力十分重要。目前，学前教育市场持续稳定增长，早教系统所占的市场份额也在不断增加。然而，内容交互能力差、功能匮乏、自学习能力差已成为目前市场早教系统的主要瓶颈。因此，在本篇文章中设计了一套结合视频、语音对话等于一体，通过机器视觉，兴趣预测，提升孩子认识世界的能力，激发孩子的学习兴趣的辅助早教系统。同时，本系统能够使家长及时了解孩子的兴趣爱好并能够适时地加以引导，为孩子创造发展的空间，将儿童的兴趣转变为相应的能力。

1  国内外研究现状

我国早教行业于1998年开始起步，相较于欧美我国早教行业起步较晚，目前国内早教市场主要被如美国的金宝贝、美吉姆等早教机构所占领，而这些早教机构的早期教育服务是以教授课程为主。这些早教机构一般监管不到位且收费较高，存在一些安全隐患，如2018年红黄蓝早教机构发生的虐童现象。对比这些早教机构，目前国内早教系统发展现状并不乐观，这些早教系统主要具备儿童故事机、远程监控、视频通话等功能，并不能帮助父母分析儿童的兴趣爱好，为孩子创造更好的发展空间;而国外早教行业主要是以学前教育的方式让孩子通过自己的探索得到知识，并不能及时发现儿童的兴趣，减少了孩子与家长之间的互动。美国儿科学会认为家庭的硬件设备配置、媒介素养教育与婴幼儿的媒介接触行为呈显著相关（一半以上的孩子最初接触媒介是受家中大人影响）[1]。可见，家庭对婴幼儿的媒介接触指导对婴幼儿媒介素养有直接且重要的影响[1]。

2  系统组成

本系统主要由摄像头模块、语音模块、平台网站组成。系统的总体构成如图1所示。

系统通过摄像头对物体进行捕获，将所得的图像信息上传至服务器端，服务器端对图像信息进行处理，依据图像模型进行物体识别，若运行平台网页，早教视频播放模块会实时切换至儿童所感兴趣的物体。同时，主程序会对相关数据进行收集，对儿童感兴趣的物体利用物体分类模型进行聚类，通过线性回归算法预测出儿童的兴趣。

3  系统硬件设计

3.1  图像采集模块

图像采集模块通过摄像头捕捉图像信息，用树莓派控制模块的运行。当服务器传来拍照命令时，树莓派操纵摄像头捕捉图像信息，将其保存在树莓派的存储卡中。待服务器端准备好相应的存储空间后，图片将以流的形式发送至服务器端，进行相应的处理，具体过程如图2所示。

3.2  语音模块

交互机器人内部有一块Arduino单片机，用来连接LD3320语音合成模块、YS-XFS5152语音识别模块和ESP 8266 Wi-Fi模块。

当孩子对机器人说话时，机器人内部的语音识别模块进行语音的读取，基于大量的语音模型分析，将输入的语音特征向量序列转化成词序列并输出。语音数据被Arduino处理为指定命令后，经Wi-Fi模块发送至服务器端，服务器根据收到的命令做出响应。若接收到对话的指令，服务器会将指定的内容进行GBK编码后发送至Arduino，通过语音合成模块进行语音播报，具体流程如图3所示。

4  系统软件设计

4.1  服务器端处理逻辑

当服务器接收到来自Arduino的命令时，首先对其进行解析，若为对话指令，则将相应的文本进行GBK编码后发送至Arduino;若为物体识别指令，服务器端向树莓派发送相应的命令，等待图像信息回传，图像传输完毕后，对其进行物体识别。服务器端会将物体信息处理为相应的对话文本后传输至Arduino。同时，相应的信息经处理后会保存在数据库中，以供“兴趣预测”功能调用，具体服务器端处理器逻辑流程如图4所示。

4.3  平台网页

4.3.1  早教视频播放

若用户使用平台网站，早教视频页面将基于物体识别进程返回的结果播放相应的视频。

具体实现方法为：当服务器端进行物体识别后，会以Post形式向后台的Servlet发送对应的JSON字串，此时，进程中的监听器会对JSON字串进行解析，修改Servlet中的物体ID。

与此同时，Web端通过Ajax技术不断地向后台Servlet请求物体ID，当检测到物体ID变化后，与此物体ID对应的早教视频会进行实时切换。

4.3.2  历程记录

儿童的浏览记录会实时保存在数据库中，并在网页中进行显示，以便家长参考。

具体流程为：当主进程中得到物体识别子进程返回的有效物体信息后，首先对物体名称表进行遍历，若该表中存在此物体名称，物体接触次数会自动加一，同时物体对应的名称与此时的时间戳会保存在历程表中;若物体名称表中不存在该物体的名称，物体名称表会新增加一列，并赋予该物体一个ID，同时物体对应的名称与此时的时间戳会保存在历程表中。

当家长访问相应的Web页面时，最新的十条记录将被显示，若家长期望獲取孩子接触物体的全部记录，可以点击更多进行数据的调取。

4.3.3  兴趣预测

后台程序会提取数据库中儿童感兴趣的物品进行聚类，为了保证数据的可维护性，使用大量的中文文本进行相关模型的训练，以保证后续增加的物体存在对应的分类。

随后程序根据儿童接触这些物体的次数与时间，基于线性回归算法对儿童的兴趣做出预测。具体实现方法为：每次运行兴趣预测页面时，会向后台数据库请求儿童接触物体的次数c与接触该物体的最大时间戳t，基于c、t与兴趣的正反关系进行线性回归处理，得出某个物体对应的兴趣值，对分类相同的物体乘以相应的权值进行累加，计算各个分类数值，结果最大的作为儿童的兴趣输出，同时，所有的分类结果会以图表的形式显示在平台网页，如图5所示，以便家长及时了解孩子的兴趣爱好，给予孩子正确的引导。

5  结  论

该系统打破了传统玩具的局限性，结合图像、网页、语音对话等于一体，通过物体识别、简单对话、视频播放等方式，拓宽儿童的视野，激发儿童的学习兴趣;同时，本系统能够使家长及时了解孩子的兴趣爱好等相关信息，为家长提供相应的教育建议，实现教育服务的私人定制。

当然，该系统在后续时间内需要进行不断的完善，图像识别模型的物体种类需要进一步添加，兴趣预测算法中各个物体的种类权重、时间、次数变量的参数也需要根据后期获取的数据不断调整，以保证最终结果的可靠性。

参考文献：

[1] 我是唯一的康总.国内早教市场研究？国外早教市场研究？ [EB/OL].https：//www.jianshu.com/p/5b10b27a58bf？ utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation，2018-01-29.

[2] JNingWei.论文阅读：RetinaNet [EB/OL].https：//blog.csdn.net/JNingWei/article/details/80038594，2018-04-22.

作者简介：梁琨（1998.01-），男，汉族，山东临沂人，本科，研究方向：计算机科学与技术;赵金铭（1998.03-），女，汉族，山东日照人，本科，研究方向：通信工程;高明辉（1998.05-），男，汉族，山东威海人，本科，研究方向：软件工程;杨晨（1996.04-），女，汉族，山东潍坊人，硕士研究生，研究方向：检测与控制技术、嵌入式系统及应用;通讯作者：巩秀钢（1970.08-），男，汉族，山东淄博人，计算机系主任，副教授，博士，研究方向：嵌入式系统与物联网技术。