
领导
线上业务系统每天凌晨都会定时进行出账销账操作。6月5日前后,由于业务需求,要从生产环境向测试环境同步数据,这件事是我们运维
领导做的,他没跟我讲。开始同步时没出现任何问题。但在6月7日,因为测试环境有服务升级,服务重启后,扫描数据库定时出账销账的服务重新扫描了数据库,这时测试数据库出账销账定时任务的内容变成了生产环境的内容。于是,从6月8日凌晨起,生产环境开始报错,出账出现异常,查询日志显示锁表。我询问
领导数据库是否有操作,他说没有。恰逢端午假期,没人愿意加班排查,结果端午三天出账全都异常。端午假期结束后,我开始排查出账异常的问题。我发现出账时会执行两次相同的SQL,初步怀疑是某个系统的定时任务和生产的定时任务相同导致的。我开始查看各个系统的定时任务,最后发现测试数据库的定时任务连接的是生产环境的数据库。我崩溃了,向
领导反馈后,修改了测试数据库的定时任务配置,重启服务,第二天就正常了。