昨日(11 月 27 日)9:16，阿里云部分地域云數(shù)據(jù)庫控制臺訪問異常，北京、上海、杭州、深圳、青島 、香港以及美東、美西地域受影響。

　　昨日晚間，阿里云就云數(shù)據(jù)庫控制臺訪問異常一事發(fā)布道歉聲明，表示經(jīng)過工程師緊急處理，訪問異常問題已于當(dāng)日 10:58 恢復(fù)。

　　您好!北京時間 2023 年 11 月 27 日 09:16 起，阿里云監(jiān)控發(fā)現(xiàn)北京、上海、杭州、深圳、青島 、香港以及美東、美西地域的數(shù)據(jù)庫產(chǎn)品(RDS、PolarDB、Redis 等)的控制臺和 OpenAPI 訪問出現(xiàn)異常，實例運行不受影響。經(jīng)過工程師緊急處理，訪問異常問題已于當(dāng)日 10:58 恢復(fù)。非常抱歉給您的使用帶來不便，若有任何問題，請隨時聯(lián)系我們。

　　IT之家注意到，這已經(jīng)是阿里云本月第二次控制臺服務(wù)異常，首次異常是在雙 11 結(jié)束的一天后(11 月 12 日)，涉及到阿里云盤、淘寶、咸魚、釘釘、語雀等等產(chǎn)品，持續(xù)時長約 3.5 小時。

　　故障報告：

　　問題影響范圍

　　OSS、OTS、SLS、MNS 等產(chǎn)品的部分服務(wù)受到影響，大部分產(chǎn)品如 ECS、RDS、網(wǎng)絡(luò)等運行不受影響。

　　云產(chǎn)品控制臺、管控 API 等功能受到影響

　　問題影響時間

　　北京時間 2023 年 11 月 12 日 17:39-19:20

　　問題概況

　　北京時間 2023 年 11 月 12 日 17:39 起，阿里云云產(chǎn)品控制臺訪問及管控 API 調(diào)用出現(xiàn)異常、部分云產(chǎn)品服務(wù)訪問異常，工程師排查故障原因與訪問密鑰服務(wù)(AK)異常有關(guān)。工程師修訂白名單版本后，采取分批重啟 AK 服務(wù)的措施，于 18:35 開始陸續(xù)恢復(fù)，19:20 絕大部分 Region 產(chǎn)品控制臺和管控 API 恢復(fù)。

　　處理過程

　　2023 年 11 月 12 日

　　17:39 阿里云云產(chǎn)品控制臺訪問及管控 API 調(diào)用出現(xiàn)異常。

　　17:50 工程師確認(rèn)故障是 AK 服務(wù)異常導(dǎo)致，影響云產(chǎn)品控制臺、管控 API 調(diào)用異常，以及依賴 AK 服務(wù)的云產(chǎn)品服務(wù)運行異常。

　　18:01 工程師定位到根因。

　　18:07 開始執(zhí)行恢復(fù)措施，包括修訂白名單版本、重啟 AK 服務(wù)。

　　18:35 杭州等 Region 開始恢復(fù)正常。

　　19:20 絕大部分 Region 的云產(chǎn)品控制臺和管控 API 調(diào)用恢復(fù)正常。

　　問題原因

　　訪問密鑰服務(wù)(AK)在讀取白名單數(shù)據(jù)時出現(xiàn)讀取異常，因處理讀取異常的代碼存在邏輯缺陷，生成了一份不完整白名單，導(dǎo)致不在此白名單中的有效請求失敗，影響云產(chǎn)品控制臺及管控 API 服務(wù)出現(xiàn)異常，同時部分依賴 AK 服務(wù)的產(chǎn)品因不完整的白名單出現(xiàn)部分服務(wù)運行異常。

　　改進措施

　　增加 AK 服務(wù)白名單生成結(jié)果的校驗及告警攔截能力。

　　增加 AK 服務(wù)白名單更新的灰度驗證邏輯，提前發(fā)現(xiàn)異常。

　　增加 AK 服務(wù)白名單的快速恢復(fù)能力。

　　加強云產(chǎn)品側(cè)的聯(lián)動恢復(fù)能力。