万物智联，体验为上

颜富甲

随着移动互联网技术的发展，福建省农村信用社联合社（以下简称福建农信）也顺应互联网发展潮流，构建了手机银行、微信银行、福万通掌上生活等移动金融渠道，为客户提供安全、便捷的金融服务。2017年，福建农信电子交易占比89.41%，手机银行交易占比35.1%，双双位居全国农信系统第一位。福建农信手机银行客户数突破800万，农村金融服务更加便捷。

万物智联，体验为上。随着福建农信手机银行的不断发展壮大，移动互联网业务的不断丰富，也对用户体验提出了更高的要求。如果用户在使用过程中，出现崩溃、卡顿、UI显示异常等问题，势必影响用户体验，更有甚者会导致用户直接选择卸载，这就会给手机银行业务开展带来一定制约。因此，如何保证用户的体验质量已成为福建农信需要解决的痛点问题。而依赖于用户反馈问题和意见收集的传统体验测试方法是一种被动且过程较长的质量闭环，其实已经伤害到了用户体验。基于此，福建农信在建设完成的“福e测平台”基础上，开展移动应用自动化常态回归测试，结合性能指标监控、Monkey稳定性测试、深度兼容性测试、遍历测试等一系列的专项测试，进行移动应用主动式体验测试的探索实践。在开发测试阶段定位影响用户体验的因子，从而使体验测试前移，使影响用户体验的问题提早暴露，缩短移动应用项目质量闭环，在提升项目质量的同时，提高福建农信移动应用用户体验。

“福e测平台”介绍

福建农信基于开源框架Appium，自主搭建了移动应用自动化测试平台，即“福e测平台”。福e测平台实现了移动应用安装包的上传和批量安装、远程一键打包、移动设备管理、自动化回归测试、Monkey稳定性测试、远程实时监控、性能监控、遍历测试等功能，实现了测试数据、测试任务的配置和管理，实现了移动应用的自动化测试及专项测试。

平台总体设计如图1所示，平台由管理子系统、调度子系统、执行子系统组成，各个子系统之间通过socket进行通信，分别负责平台的功能管理、任务调度和具体执行。三个子系统各司其职、互相配合，完成平台的自动化测试及专项测试功能。其中，管理子系统、调度子系统部署在内部服务器，执行子系统支持部署在内部私有云及测试人员的电脑终端，由管理子系统下发测试任务，调度子系统分配执行。

移动应用体验测试

（一）总体介绍

依托福e测平台，福建农信开展移动应用体验测试，包括自动化常态化回归测试、性能指标监控、Monkey稳定性测试、遍历测试、深度兼容性测试，并对回归测试及各专项测试发现的问题进行复测验证，如图2所示。自动化常态化回归测试每周执行一遍案例基准库，针对主要业务功能及异常提示进行回归验证；性能指标监控在回归测试的基础上，定位移动应用性能瓶颈，监控移动应用的性能状况；Monkey稳定性测试根据系统命令生成随机事件，对移动应用进行随机性探索测试，验证移动应用的稳定性状况；遍历测试对移动应用各个页面进行深度遍历，并与基准版本UI进行比对，验证页面的稳定性情况；深度兼容性测试验证移动应用对移动设备的兼容性状况，以应对移动设备碎片化日益严重的趋势；问题验证对发现的问题进行复测，验证问题的解决情况。

（二）自动化常态化回归测试

在自动化常态化回归测试的同时执行Monkey稳定性测试。Monkey测试是通过向系统发送伪随机的用户事件流（如按键输入、触屏输入、手势输入等），实现对移动应用的稳定性测试。安卓的Monkey测试基于安卓自带的ADB命令实现，iOS基于SmartMonkey实现，通过模拟用户事件流对移动应用进行随机操作，达到监控移动应用稳定性的目的。

福建农信互联网银行客户端整合项目在准生产测试阶段介入自动化常态化测试，每周执行一次回归测试，如图3所示。针对私有云上8台Android设备和2台iOS设备，回归测试涵盖了主要业务功能和异常提示验证等在内的共170个测试案例基准库。

福建农信互联网银行客户端整合项目自动化常态化回归测试每周执行一次，包括Android 8台和iOS 2台设备，对包括主要业务功能和异常提示验证在内的170个案例进行回归验证，执行情况统计如图4所示。从执行结果可知，案例执行成功率基本维持在95%以上，通过每周一次的回归测试，维持项目版本的稳定性，并在回归测试过程中，不断验证自动化测试案例的执行情况，对主要业务功能及異常提示进行回归验证。

（三）性能指标监控

在自动化常态化测试的基础上，基于安卓ADB（Android Debug Bridge）命令，进行移动应用性能指标的监控。内存、流量、电量、流畅度等指标，已经成为移动应用体验中用户关注的几类痛点。用户往往会因为耗电快、卡顿等问题而选择卸载，移动应用测试需要从基本的功能遍历测试，升级到性能指标的专项监控，通过对性能指标的监控，从而定位性能问题，进一步构建“定位问题 → 优化产品 → 持续监控”的质量闭环，提升移动应用质量。

福建农信互联网银行客户端整合项目在自动化常态化测试基础上，进行性能指标的监控，包括内存、CPU、流量指标、FPS（Frames per second，即显示帧率）等指标。性能监控结果如图5所示（以SM-G9028为例），通过在每一个轮次的常态化测试进行性能专项测试并发现App运行过程中的性能问题，结合运行日志和截图，从而定位性能缺陷，提升了移动应用的测试效率和质量。

（四）深度兼容性測试

随着移动设备的碎片化日益严重，用户日益增长的体验需求与移动设备碎片化日益严重的现状之间的矛盾正逐渐突显。移动设备的兼容性正是用户体验关注的一个痛点。福建农信开展移动应用公有云测试服务，覆盖Android TOP600和iOS TOP65主流机型的深度兼容性测试，提升用户体验。互联网银行客户端整合项目正如火如荼的进行中，福建农信适时启动互联网银行客户端整合项目的深度兼容性测试，在第二轮系统测试时介入，使体验测试前移，更好的发挥体验测试效能。互联网银行客户端整合项目累计进行了三轮Android TOP600、四轮iOS TOP65机型的兼容性测试，遍历覆盖了互联网银行客户端的安装启动、登录、“我的资产”“我的负债”“转账汇款”“生活缴费”等业务模块，覆盖了几乎所有页面，实现了页面全遍历测试，脚本运行时间达10分钟。深度兼容性测试总体通过情况如图6所示。

从图6可知，Android、iOS机型的兼容性总体通过率均有不同程度的提升，上线前最后一轮兼容性测试均趋近100.00%，高于行业平均水平。对各轮次兼容性测试结果的具体情况进行分析，Android、iOS失败类型分布分别如图7和图8所示：

从以上失败类型分布图可知，Android、iOS每次失败类型分布均有不同程度的下降。特别是“安装失败”“启动失败”“闪退”“无响应”“意外终止”“卡死”严重甚至致命级别的失败类型，每次均有较大幅度的下降，兼容性效果提升明显。

在互联网银行客户端整合项目上线之前，对兼容性问题进行了复测验证，Android、iOS整体通过率分别高达97.50%、100.00%。较之首次兼容性测试的通过率，提升效果明显。

互联网银行客户端整合项目的兼容性测试从系统测试第二轮时介入，一直持续到项目上线前，给项目组留有充足的时间改正修复兼容性问题，每轮兼容性复测通过率均有较大幅度的提升，并在上线前最后一轮兼容性测试的通过率趋近100%，保证了兼容性测试质量，降低了项目上线风险，提升了移动应用用户体验。

（五）遍历测试

在自动化常态化回归测试中，实现了移动应用的主要功能的遍历验证、异常提示场景的测试等，但对于各版本的基本UI界面的可用性、新老版本的功能差异、遍历验证等问题验证目前还存在较为明显的短板。福建农信基于AppCrawler自动遍历工具，解决了Monkey测试等工具可控性差的缺点，发现深层次的UI兼容性问题，并通过新老版本的diff发现各个版本的UI变动情况，验证移动应用界面的稳定性。

基于实现的遍历测试功能，在每个发布的版本进行遍历验证，包括UI遍历、菜单遍历等。基于AppCrawler自动遍历工具，通过设定引导规则、后退标记、黑白名单以及遍历顺序控制等规则，实现遍历测试。在福建农信互联网银行客户端整合项目每个版本发布前，执行遍历测试验证，提升遍历测试效率。互联网银行客户端遍历测试结果如图9所示（以SM-G9028为例）：

福建农信基于自主搭建的福e测平台，实现了自动化常态化回归测试、性能指标监控、遍历测试等功能，并结合深度兼容性测试，探索实践移动应用体验测试。随着福建农信移动金融业务的不断发展，也对移动应用的用户体验提出了更高的要求。在系统功能测试的基础上，探索实践主动式的体验测试，为福建农信移动业务的开展保驾护航。