阿里云 11.12 故障原因曝光:AK 异常

Android社区 收藏文章

今日,2023年11月12日阿里云发给客户的一份「官方故障报告」曝光。

影响范围

1、OSS、OTS、SLS、MNS 等产品的部分服务受到影响,大部分产品如 ECS、RDS、网络等运行不受影响。**2、云产品控制台、管控 API 等功能受到影响。**

时间

2023年11月12日17:39~19.20,**故障时间为 1 小时 41 分。**

问题概况

2023 年 11月 12 日 17:39 起,阿里云云产品控制台访问及管控 API调用出现异常、部分云产品服务访问异常,工程师排查故障原因与访问密钥服务 (AK)异常有关。工程师修订白名单版本后,采取分批重启 AK 服务的措施,于 18:35 开始陆续恢复,19:20 绝大部分 Region 产品控制台和管控 API 恢复。

处理过程

17:39:阿里云云产品控制台访问及管控 API 调用出现异常。17:50:工程师确认故障是 AK 服务异常导致,影响云产品控制台、管控 API 调用异常,以及依赖 AK 服务的云产品服务运行异常。18:01:工程师定位到根因。18:07:开始执行恢复措施,包括修订白名单版本、重启 AK 服务。18:35:杭州等 Region 开始恢复正常。19:20:绝大部分 Region 的云产品控制台和管控 API 调用恢复正常。

原因

访问密钥服务 (AK)在读取白名单数据时出现读取异常,因处理读取异常的代码存在逻辑缺陷,生成了一份不完整白名单,导致不在此白名单中的有效请求失败,影响云产品控制台及管控 API 服务出现异常,同时部分依赖 AK 服务的产品因不完整的白名单出现部分服务运行异常。**改进措施**

  1. 增加 AK 服务白名单生成结果的校验及告警拦截能力。
  2. 增加 AK 服务白名单更新的灰度验证逻辑,提前发现异常。
  3. 增加 AK 服务白名单的快速恢复能力。
  4. 加强云产品侧的联动恢复能力。
相关标签
 相关文章
王慧文病休53天,旗下OneFlow团队重新创业 11月以前  |  1次阅读
智己CEO现场怒怼!不满LS6和小鹏G6当对手 11月以前  |  1次阅读
董明珠回应落榜世界500强:总比爆雷的世界500强好 11月以前  |  1次阅读
阿里云上线 AI 视频生成工具 Live Portait:可一键让照片开口说话 11月以前  |  78次阅读
妙鸭相机将并入神力视界,阿里大文娱CTO郑勇:不是“搬家”是“回家” 11月以前  |  85次阅读
特斯拉上海超级工厂约40秒下线一台车,零部件本土化率超95% 11月以前  |  69次阅读
宁德时代发布神行超充电池,可实现充电10分钟行驶800里 11月以前  |  71次阅读
中科院博士被骗到缅甸已一年!女友:他负债几万,家里条件一般,以为去当翻译 11月以前  |  85次阅读
小鹏汽车否认收购玛莎拉蒂传闻:系谣言 11月以前  |  63次阅读
联想二季度净利润猛降66%,股价应声跳水 11月以前  |  80次阅读
业内人士:视觉中国对不同侵权主体采用差异化策略,老客由销售沟通新客发律师函 11月以前  |  70次阅读
恒大集团在美国申请破产保护 11月以前  |  56次阅读
劳斯莱斯首款纯电轿跑将在北美亮相 11月以前  |  89次阅读
realme印度前CEO确认加盟荣耀,即将推出手机新品 11月以前  |  88次阅读
OpenAI正在测试内容审核系统,一天可以完成六个月的工作 11月以前  |  80次阅读
谷歌百人“复仇者联盟”出击,将发对标GPT-4的大模型,26位研发主管名单流出 11月以前  |  77次阅读
OpenAI收购数字产品公司Global Illumination,为创立以来首笔公开收购 11月以前  |  80次阅读
海口规定:电动汽车充电服务费不得超过0.65元每度 11月以前  |  80次阅读
波音任命柳青为波音中国总裁 11月以前  |  88次阅读
业内人士谈图片复杂代理链:图片代理商越多摄影师分成越少 11月以前  |  67次阅读

扫一扫

在手机上阅读