HP服务器时间同步出Bug

引言： 最近，单位购置了4台HP DL5800 G9做集群，通过HP-V方式对单位业务提供支持，但因为服务器时间同步的Bug，导致系统瘫痪了一段时间。本文介绍故障排除过程。

网络环境

单位原先的两台IBM3850与两台DS4800由于使用年限过久，即将退居二线以外非重要的业务使用，新购了4台HP DL5800 G9及两套日立存储。暂且命名4台新设备为A,B,C,D机。装Windows Server 2012系统，再用系统自带的HP-V搭建虚拟化提供业务使用。单位有域控服务器（分主、备各一台），基本所有服务器包括PC机都加入此域被管理。这4台新购的服务器也加入此域。

图1 业务A系统时间日志更改记录

整个架构搭建好后运行了一段时间基本正常，HP-V上也创建了2台虚拟主机，各自装了操作系统，并在里面各自安装业务系统，命为业务A、业务B系统。

故障现象

一天，业务A、业务B系统出现问题，经描述了解到，操作者当时在软件上的操作记录时间记录到数据库时与北京时间不匹配，相差甚多，跟北京时间相差8小时左右。该问题很明显与服务器操作系统时间有关，因操作人员在软件上所操作的记录时间是统一调取服务器时间再记录到数据库，而且当时检查操作者PC电脑本地时间也是正确的，由此，怀疑到业务A、业务B系统对应的服务器操作系统时间存在错误。

故障排查

登录业务A、业务B的服务器上也发现，当时服务器的时间存在8小时的误差。

继续查找有关影响时间的操作系统日志，发现如图1所示信息，说明操作系统时间确实是有过更改记录，更改的时间范围为8小时。

经查了解到，由于业务A与业务B的服务器为HV-P所创建的虚拟主机，而虚拟主机的时间同步依赖于承载虚拟机的物理机（当时买的A、B、C、D四台HP DL5800 G9服务器）系统时间。分别查看承载两台虚拟主机的物理机中系统日志，找到如图2及图3所示记录。

以上日志表明，由于两台物理主机长时间无法联系到原先的时间同步源（域控权威时间发布器）而被迫与本地CMOS时钟进行时间同步，但在CMOS同步时间后系统时间被调慢了8小时。再去查看域控服务器时发现是关机状态。

经测试，这几台操作系统一旦与CMOS时钟进行同步，会立即造成操作系统时区错乱，继而发生系统时间被调慢了8小时的错误现象，判断是物理机的BIOS存在Bug。

故障原因

1.由于域控（权威时间发布源）服务器因硬件问题发生了宕机。

图2 A机系统日志

图3 B机系统日志

2.在长时间无法与域控（权威时间发布源）进行联系后，物理主机会跟自身CMOS时钟同步造成系统时间发生错误。

3.物理主机上的虚拟主机（业务A，业务B）数据库同步了物理主机的错误时间。

4.最后造成在业务A，业务B上发生的所有操作更新到数据库时的时间字段都被提前了8小时。

故障解决

1.恢复域控服务器并重新制定可靠的时间发布源。

2.修改物理主机操作系统上的注册表来解决操作系统与CMOS时间同步时的错误问题。修改命下：

经验总结

现代信息技术越来越趋于专业化，软件一个方向，硬件一个方向，越专业后不可避免的问题就是兼容性。这次事件起因是时间发布源（主域控服务器）坏了，虽然有主备域控，但是时间发布源只能有一个。当时间发布源无法联系的时候，物理主机将于本机CMOS同步时间，恰巧HP DL5800 G9的BIOS存在Bug，以至于同步时操作系统的时间调慢了8小时，导致记录到数据库的时间相继更改，发生了业务故障。在复杂的集成环境下分析问题时更需耐心仔细，逻辑清晰才能慢慢找出源头并解决。