7/22運(yùn)營(yíng)商機(jī)房故障導(dǎo)致業(yè)務(wù)中斷的一些反思和情況說(shuō)明

2024/07/22 18:30分，我們第一時(shí)間收到了“云檢測(cè)”的提示，有服務(wù)器離線了。
幾乎同一時(shí)間，又陸續(xù)的收到了多條消息，10幾臺(tái)服務(wù)器，都離線了。
那種就是：“當(dāng)頭一棒”的感覺(jué)。”

已于23日00:30分全部恢復(fù)，影響范圍：
22日 訪問(wèn)數(shù)據(jù)，轉(zhuǎn)化數(shù)據(jù)，全部丟失。
22日 18:30 之后的轉(zhuǎn)化數(shù)據(jù)，無(wú)法回傳。
22日 18:30 之前的轉(zhuǎn)化數(shù)據(jù)，可以在-【全部轉(zhuǎn)化】里面進(jìn)行回傳。

事情經(jīng)過(guò)：
經(jīng)過(guò)10分鐘排查，定位到是服務(wù)器機(jī)房無(wú)法連接；登陸服務(wù)器控制臺(tái)，也看不到服務(wù)器。
于是我們立即提了工單讓服務(wù)器機(jī)房那邊排查。

事件結(jié)論：
服務(wù)器機(jī)房網(wǎng)絡(luò)問(wèn)題，導(dǎo)致了網(wǎng)絡(luò)中斷，無(wú)法登陸，無(wú)法訪問(wèn)。
服務(wù)器宿主機(jī)器故障，導(dǎo)致服務(wù)中斷，導(dǎo)致服務(wù)器重啟，導(dǎo)致頁(yè)面數(shù)據(jù)丟失。
直至最后恢復(fù)。
系統(tǒng)只備份了前一天21號(hào)的數(shù)據(jù)。

此次事件的一些反思：
服務(wù)器機(jī)房故障，確實(shí)是極小概率事件，面對(duì)此類事件鼎尖網(wǎng)絡(luò)也缺乏相關(guān)應(yīng)急措施；畢竟服務(wù)器在千里之外，我們無(wú)法通過(guò)網(wǎng)絡(luò)連接他，唯一能做的，就是給服務(wù)器提供商反饋故障，希望他們盡快恢復(fù)。
躲過(guò)了阿XxX云的那次故障，團(tuán)隊(duì)還很開(kāi)心，幸好去年年底把服務(wù)器遷移到“電信”來(lái)了。
結(jié)果....還是遇到了這種機(jī)房的網(wǎng)絡(luò)級(jí)別的故障！
我們?cè)谄聊磺?，也只能焦急的等待，使不上半點(diǎn)勁，只希望立刻，馬上，就能恢復(fù)好。

計(jì)劃和任務(wù)：
1、建立完善的通知機(jī)制，能讓大家第一時(shí)間知道故障，并且精確的告知影響范圍，讓你們對(duì)廣告做調(diào)整。
2、希望能建立一套容災(zāi)服務(wù)器作為備用方案，有問(wèn)題可以在5分鐘內(nèi)切換成功。

對(duì)此事件，我們也深表歉意，以后加強(qiáng)系統(tǒng)容災(zāi)，盡可能的避免發(fā)生。