阿里巴巴的運維系統(tǒng)經(jīng)歷了腳本時代、工具時代和時代，目前正在實現(xiàn)人工運維和探索智能運維階段。 2008-2009年，阿里巴巴的運維還處于腳本時代，大量的運維工作需要通過腳本來實現(xiàn)。 隨著業(yè)務(wù)規(guī)模和復(fù)雜度的擴大，腳本的形式越來越難以維護，于是阿里巴巴開始引入運維工具。 在運維工具時代，阿里巴巴的運維體系經(jīng)歷了：從工具團隊和運維團隊并行的階段，到工具團隊為了更好的保證質(zhì)量的階段的工具，然后到部分軟件有想法和功能的工具組階段。 終于，阿里巴巴的應(yīng)用運維團隊迎來了一次大變革。 原有的應(yīng)用運維團隊全部解散，并入各業(yè)務(wù)的軟件開發(fā)團隊，全面推進思想。

進入階段后，成熟的流程化運維工具實際上提升了部分運維效率，而且各個工具實際上是獨立分離的，比如監(jiān)控工具和運維工具分離，巡檢工具和快速恢復(fù)工具也是碎片化的，導(dǎo)致在日常應(yīng)用的持續(xù)運維過程中，從監(jiān)控到問題發(fā)現(xiàn)、定位、快速恢復(fù)的環(huán)節(jié)漫長且效率低下。 對于運維開發(fā)，期望的狀態(tài)是業(yè)務(wù)應(yīng)用上線后可以“NoOps”。 監(jiān)控和運維系統(tǒng)可以自行檢測異常并手動解決，使應(yīng)用和業(yè)務(wù)恢復(fù)正常。 處理完成后，發(fā)送消息通知下載即可。 發(fā)力于“NoOps”方向，阿里巴巴應(yīng)用運維開始構(gòu)建“管控一體化”體系。

新的挑戰(zhàn)

隨著阿里巴巴業(yè)務(wù)的不斷發(fā)展和技術(shù)架構(gòu)的不斷變化，新的場景和問題不斷涌現(xiàn)。 這種以應(yīng)用為中心的監(jiān)控運維帶來了新的挑戰(zhàn)。

超大規(guī)模

阿里巴巴不僅業(yè)務(wù)種類多，體量大，尤其是一年一度的淘寶雙11大促，需要超大規(guī)模IAAS資源的支持。 2015年之前，阿里巴巴每年都要花費巨資訂購服務(wù)器，建設(shè)一代又一代的IDC數(shù)據(jù)中心； 2015年到2019年it運維技術(shù)，阿里巴巴正處于全面云化的過程中。 這期間，阿里巴巴的基礎(chǔ)設(shè)施一部分在云下的數(shù)據(jù)中心，一部分在阿里云上的數(shù)據(jù)中心。 還需要支持同城多活到異地多活，所以需要有強大的cloud-on-cloud整合超大規(guī)模資源管理的能力； 阿里巴巴在2019年實現(xiàn)全面云化后，開始面臨一個全新的超大規(guī)模資源管理場景：混合云。

運維效率

業(yè)務(wù)發(fā)展瞬息萬變，尤其是公司的重要業(yè)務(wù)，迭代變化的速度非?？?。 在超大規(guī)模集群管理的前提下，為保證業(yè)務(wù)的連續(xù)性和快速迭代，我們需要能夠持續(xù)高效地實現(xiàn)應(yīng)用的發(fā)布、部署、配置變更等運維變更。 這是持續(xù)運維領(lǐng)域要解決的問題。

運維安全

安全是任何行業(yè)的基礎(chǔ)，尤其是IT運維領(lǐng)域。 系統(tǒng)宕機、數(shù)據(jù)異常、數(shù)據(jù)丟失、數(shù)據(jù)庫刪除、逃逸等運維故障和風(fēng)波層出不窮，可能給企業(yè)帶來致命打擊，甚至影響企業(yè)生死存亡。 為此，預(yù)防和遏制高危運維故障仍是不懈追求的目標(biāo)。 在當(dāng)代眾多業(yè)務(wù)形態(tài)和云技術(shù)架構(gòu)下，如何保障企業(yè)IT運維的安全運行顯得尤為重要。

業(yè)務(wù)連續(xù)性

在阿里巴巴傳統(tǒng)的監(jiān)控運維模式中，應(yīng)用的運維開發(fā)需要在監(jiān)控系統(tǒng)上配置一些監(jiān)控項和預(yù)警規(guī)則。 當(dāng)監(jiān)控項觸發(fā)告警規(guī)則時，運維開發(fā)會收到告警通知。 然后運維開發(fā)需要打開記事本，在運維工具平臺創(chuàng)建相應(yīng)的處理工單。 運維系統(tǒng)工單執(zhí)行完成后，運維開發(fā)要繼續(xù)觀察監(jiān)控項是否恢復(fù)正常。 節(jié)假日、節(jié)假日收到預(yù)警通知，不能及時上線查看情況，需要聯(lián)系其他團隊成員上線處理； 如果你在晚上睡夢中收到預(yù)警通知it運維技術(shù)，你需要立即喚醒大腦，打開筆記本上網(wǎng)。 . 整個預(yù)警異常處理過程持續(xù)時間長，需要人工參與的任務(wù)多，人工成本高，使得運維開發(fā)的工作幸福感很低。

另一方面，隨著業(yè)務(wù)的不斷發(fā)展，系統(tǒng)也在不斷減少，監(jiān)控項和預(yù)警也在快速增加。 漸漸地，運維開發(fā)會僵化或輕視預(yù)警信息，很容易遺漏一些重要的上報信息，導(dǎo)致線路故障。 生意失敗。 近年來，天貓直播、盒馬線下門店、餓了么訂餐、釘釘在線教育等新業(yè)態(tài)蓬勃發(fā)展。 這類業(yè)務(wù)基本上對生產(chǎn)故障零容忍。 原有系統(tǒng)最好的99.99%可用性早已無法滿足新業(yè)務(wù)的要求，而傳統(tǒng)的監(jiān)控、運維、單打獨斗的模式，更難以滿足100%業(yè)務(wù)連續(xù)性的要求。新服務(wù)。

解決方案

為保障生產(chǎn)業(yè)務(wù)的持續(xù)運行，提升業(yè)務(wù)系統(tǒng)從異常預(yù)警到異常恢復(fù)的整體效率，在保障安全的同時降低人力成本，我們考慮將監(jiān)控預(yù)警與運維執(zhí)行合二為一，并然后實現(xiàn)異常人工檢測、自動快速定位、人工快速恢復(fù)的目的，實現(xiàn)應(yīng)用運維的“NoOps”狀態(tài)。

在應(yīng)用監(jiān)管一體化建設(shè)之前，傳統(tǒng)的監(jiān)控和運維處于分離狀態(tài)。 運維開發(fā)如果想在應(yīng)用的迭代變更過程中關(guān)注系統(tǒng)運行狀態(tài)，需要提前在監(jiān)控平臺上定義和配置應(yīng)用的關(guān)注度。 各項指標(biāo)。 在應(yīng)用變更期間，需要持續(xù)主動查看應(yīng)用監(jiān)控指標(biāo)的變化情況，或者為各個指標(biāo)設(shè)置預(yù)警規(guī)則，通過訂閱接收配置的監(jiān)控報告，及時獲取應(yīng)用運行異常情況。 當(dāng)應(yīng)用變更出現(xiàn)異常上報時，運維開發(fā)需要通過查看監(jiān)控、應(yīng)用日志、應(yīng)用調(diào)用鏈接等信息分析異常原因，決定需要對運維執(zhí)行哪些任務(wù)和維護平臺恢復(fù)，最后驗證任務(wù)執(zhí)行結(jié)果是否符合預(yù)期。 為此，明確需求->配置監(jiān)控指標(biāo)并上報->分析異常原因->決策處理方法->執(zhí)行任務(wù)->驗證執(zhí)行結(jié)果，整個過程需要運維開發(fā)的介入。

解決方案

以保障業(yè)務(wù)連續(xù)性為動力源泉，在逐步深化監(jiān)管融合的過程中，阿里巴巴從實戰(zhàn)經(jīng)驗中積累了一套業(yè)務(wù)系統(tǒng)安全工程標(biāo)準(zhǔn)，實現(xiàn)了業(yè)務(wù)異常的早期發(fā)現(xiàn)，自動定位，快速回收。 聯(lián)創(chuàng)在監(jiān)控、運維、安全防護等領(lǐng)域探索了多元化的解決方案。

安全

在推進的過程中，我們要求的底線是不要給現(xiàn)有的情況帶來更多不可控的激勵，尤其是高風(fēng)險場景的保護，不要因為運維工作交接給運營造成全局性的系統(tǒng)性問題和維護開發(fā)人員。 風(fēng)險，所以安全防護方案應(yīng)運而生。

全景監(jiān)控

監(jiān)控是運維的基礎(chǔ)。 傳統(tǒng)的資源監(jiān)控或應(yīng)用監(jiān)控模式早已無法滿足運維發(fā)展快速發(fā)現(xiàn)生產(chǎn)故障的需求。 基于阿里巴巴大規(guī)模實踐，我們開發(fā)了以應(yīng)用為中心，從底層業(yè)務(wù)到PaaS再到底層資源的全鏈路監(jiān)控解決方案，為業(yè)務(wù)異常檢測和定位提供有力支撐。

多元化運維

為實現(xiàn)監(jiān)管一體化，促進業(yè)務(wù)異?？焖佟⑷斯せ謴?fù)，應(yīng)用運維從原有的以應(yīng)用為中心的可編排運維、智能運維等運維模式探索單風(fēng)暴執(zhí)行模式，打通運維。 維度領(lǐng)域的新視角。

總結(jié)

阿里巴巴應(yīng)用運維管控一體化建設(shè)隨著業(yè)務(wù)形態(tài)和技術(shù)架構(gòu)的不斷探索和發(fā)展。 本文主要介紹應(yīng)用運維監(jiān)控一體化建設(shè)的背景和思路。 我們以應(yīng)用為中心，從應(yīng)用監(jiān)控管理的角度，通過全視圖監(jiān)控實時掌握應(yīng)用的運行狀態(tài)，通過高效的發(fā)布部署和靈活的運維安排對應(yīng)用進行安全變更，實現(xiàn)它通過智能運維和安全防護對應(yīng)用進行中層保護，我們會在后續(xù)章節(jié)為大家詳細(xì)展開。

【關(guān)于云霄】

云效，云原生時代一站式平臺，支持公有云、專有云、混合云多種部署形態(tài)。 通過云原生新技術(shù)、新開發(fā)模式，推動創(chuàng)新創(chuàng)業(yè)、數(shù)字化轉(zhuǎn)型企業(yè)快速實現(xiàn)開發(fā)敏捷和組織敏捷，打造“雙敏”組織，實現(xiàn)效率10倍提升。

立即體驗：阿里云云效_云效_云原生時代新平臺-阿里云