(资料图)

AzureDevOps提供一组集成的服务和工具，用于管理软件项目，从规划和开发到测试和部署。Mattingly解释说，AzureDevOps的工程师有时会对生产数据库进行快照（Snapshot），以便调查报告的问题或测试性能改进。他们依赖于一个每天运行的后台系统，该系统会在一定时间后删除旧的快照。近日AzureDevOps的工程师进行了一次代码升级，用支持的Azure.ResourceManager.*NuGet包替换了已弃用的Microsoft.Azure.Managment.*包。这导致了一个大型的拉取请求，其中更换了旧包和新包中的API调用。拼写错误就发生在这个拉取请求中，它将删除快照数据库的调用换成了删除托管数据库的AzureSQLServer的调用。AzureDevOps有专门的测试来发现这样的问题，但Mattingly说，由于错误的代码只在某些条件下运行，因此现有的测试覆盖不到。几天后，软件更改被部署到南巴西规模单元（特定角色的服务器集群）的客户环境。该环境有一个老的快照数据库，触发了这个错误，导致后台任务删除了“整个AzureSQLServer和所有十七个生产数据库”。所有数据都已经恢复，但花了十多个小时。Mattingly说，有几个原因造成这种情况。其中之一是，由于客户无法自己恢复AzureSQLServer，必须由值班的Azure工程师来处理，这个过程大约需要一个小时。另一个原因是，数据库有不同的备份配置：有些配置为区域冗余备份，有些配置为更新的地理区域冗余备份，解决这种不匹配增加了很长的恢复时间。为了防止问题再次发生，Mattingly称微软已经采取了各种修复和重新配置措施，并再次向所有受此中断影响的客户道歉。