作者|趙宇（巴??厘島）

編輯| 鄧艷琴

上云后還需要運(yùn)維嗎？ 答案是：確實(shí)需要。

上云確實(shí)簡(jiǎn)化了一部分運(yùn)維工作。 比如傳統(tǒng)IT中服務(wù)器的日常運(yùn)維，都是由云服務(wù)商來完成的。 然而，隨著云產(chǎn)品種類的不斷豐富和規(guī)模的不斷擴(kuò)大，如何高效運(yùn)維云資源正逐漸成為運(yùn)維人員面臨的挑戰(zhàn)。

在12月21日結(jié)束的全球軟件開發(fā)大會(huì)（北京站）中，在“彈性工程與運(yùn)維”的話題中，阿里云中級(jí)技術(shù)專家趙宇（巴力）分享了阿里經(jīng)濟(jì)學(xué)的話題云運(yùn)維話題。 這篇文章是基于如何在全身完全連接到云端后，實(shí)現(xiàn)云上數(shù)十萬個(gè)ECS實(shí)例的手動(dòng)運(yùn)維的實(shí)踐和經(jīng)驗(yàn)。

阿里云中級(jí)技術(shù)專家趙宇

云運(yùn)維的四大挑戰(zhàn)

隨著云計(jì)算的普及和發(fā)展，越來越多的企業(yè)選擇上云。 近年來，阿里經(jīng)濟(jì)全面云化，大部分企業(yè)在云運(yùn)維方面遇到的問題都是類似的。 總結(jié)起來，主要來自以下四個(gè)方面：

首先是規(guī)模問題。 傳統(tǒng)的 和腳本管理方法在資源較小時(shí)效果很好，但在規(guī)模較大時(shí)會(huì)失效。 幾十臺(tái)機(jī)器和幾萬臺(tái)機(jī)器的人肉管理是完全不同的概念。 此外，云上資源的種類不斷豐富，云上資源管理和運(yùn)維的復(fù)雜度呈指數(shù)級(jí)增長。

第二，安全問題。 阿里經(jīng)濟(jì)體上云涉及上百個(gè)業(yè)務(wù)方，涉及大量運(yùn)維人員。 如何更好地進(jìn)行權(quán)限控制、審核和審批，既復(fù)雜又極其重要。 數(shù)據(jù)和資源是公司的資產(chǎn)。 過多的運(yùn)維權(quán)限會(huì)增加出錯(cuò)的風(fēng)險(xiǎn)，而過少的權(quán)限則會(huì)增加管理成本。 如何安全地使用云賬號(hào)和資源，給管理者帶來了極大的挑戰(zhàn)。

第三，效率問題。 隨著資源規(guī)模的減小，如何高效管理運(yùn)維，提升研發(fā)人員的工作效率，也是云上運(yùn)維必須考慮的問題。

第四，成本問題。 業(yè)務(wù)方對(duì)成本優(yōu)化有顯著需求，包括資源使用者和財(cái)務(wù)人員。 希望能夠提供不同維度的資源使用賬單，為成本優(yōu)化措施提供依據(jù)。

我們知道，在傳統(tǒng)方式下，有專門的資源運(yùn)營團(tuán)隊(duì)負(fù)責(zé)資源的分配，而項(xiàng)目開發(fā)團(tuán)隊(duì)只負(fù)責(zé)資源的使用。 而且，隨著業(yè)務(wù)規(guī)模的不斷擴(kuò)大，這些管理方式基本行不通。 這時(shí)候就需要通過去中心化的方式，將基本的配置管理權(quán)委托給業(yè)務(wù)項(xiàng)目組。 資源管理也帶來了挑戰(zhàn)。

事實(shí)上，阿里經(jīng)濟(jì)體在云上的運(yùn)維也經(jīng)歷了人肉運(yùn)維到標(biāo)準(zhǔn)化、數(shù)據(jù)化、流程化運(yùn)維的過程。 直至2016年，內(nèi)部云資源管理平臺(tái)“Zeus運(yùn)維系統(tǒng)”雛形基本形成，實(shí)現(xiàn)了運(yùn)維能力和體驗(yàn)的標(biāo)準(zhǔn)化、流程化、系統(tǒng)化。 隨著資源管理規(guī)模越來越大，需求越來越多樣化，Zeus運(yùn)維系統(tǒng)第一時(shí)間接管了云上資源的管控工作。

如何高效運(yùn)維數(shù)十萬臺(tái)云服務(wù)器？

目前，Zeus運(yùn)維系統(tǒng)管理著阿里集團(tuán)內(nèi)數(shù)百個(gè)業(yè)務(wù)方的20多種云產(chǎn)品和資源，包括數(shù)十萬個(gè)ECS實(shí)例。 除了為各業(yè)務(wù)方提供資源管理和運(yùn)維能力外，還提供成本分析和修復(fù)能力。

圖：Zeus運(yùn)維平臺(tái)整體架構(gòu)

總體而言，Zeus運(yùn)維平臺(tái)包括資源管理、系統(tǒng)運(yùn)維、應(yīng)用運(yùn)維、監(jiān)控管理和成本分析五個(gè)模塊。 向下通過控制臺(tái)為業(yè)務(wù)方提供服務(wù)，向上依托阿里云平臺(tái)的云監(jiān)控、資源編排、運(yùn)維編排、標(biāo)簽體系、彈性伸縮、運(yùn)維通道、財(cái)務(wù)系統(tǒng)管理日志服務(wù)和云服務(wù)器。 、網(wǎng)絡(luò)、對(duì)象存儲(chǔ)和許多其他云資源。

帳戶管理

由于歷史原因，Zeus運(yùn)維平臺(tái)支持獨(dú)立大賬戶和管理賬戶兩種賬戶模式并存。 獨(dú)立大賬號(hào)是Zeus系統(tǒng)運(yùn)維平臺(tái)在阿里云平臺(tái)的服務(wù)賬號(hào)。 管理著賬號(hào)下業(yè)務(wù)方的大量資源。 大客戶是我們推薦商務(wù)聚會(huì)的方式。 另外，由于是服務(wù)號(hào)，不允許業(yè)務(wù)方直接登錄，業(yè)務(wù)方只能通過崩潰入口進(jìn)行操作，降低了操作失誤的風(fēng)險(xiǎn)。

對(duì)于托管賬戶，是Zeus運(yùn)維平臺(tái)之前的存量運(yùn)維賬戶。 為了幫助業(yè)務(wù)方更好的管理這個(gè)存量賬戶，Zeus運(yùn)維平臺(tái)提供賬戶托管服務(wù)。 此庫存帳戶被授予 Zeus 服務(wù)帳戶。 管理員權(quán)限，由于托管賬號(hào)的主子賬號(hào)與群登錄系統(tǒng)相連，運(yùn)維人員可以直接登錄進(jìn)行管理。

權(quán)限管理

權(quán)限管理的主要思想是對(duì)應(yīng)用進(jìn)行分組，在應(yīng)用組中使用角色來區(qū)分權(quán)限，給人們分配相應(yīng)的應(yīng)用中的角色。

我們分配應(yīng)用所有者、開發(fā)、運(yùn)維、安全等角色，給不同的角色賦予不同的權(quán)限。 Owner角色對(duì)申請(qǐng)下的資源管理具有上帝權(quán)限，同時(shí)負(fù)責(zé)審批工作； 開發(fā)人員負(fù)責(zé)日常的CI工作服務(wù)器運(yùn)維，以及日常和發(fā)布前的環(huán)境測(cè)試工作； 運(yùn)維人員具備在線發(fā)布審批能力； 安全人員主要負(fù)責(zé)系統(tǒng)運(yùn)行維護(hù)工作，包括安全掃描、掃碼等安全工作。

這里所有的云資源都通過標(biāo)簽掛載到對(duì)應(yīng)的應(yīng)用中。 通過這樣的權(quán)限管理，管理員不僅可以在人的維度上看到授權(quán)的應(yīng)用，還可以在應(yīng)用的維度上看到授權(quán)的應(yīng)用。 人們。

資源分組

Zeus運(yùn)維系統(tǒng)基于阿里云的標(biāo)簽體系，支持按部門、環(huán)境等多維度對(duì)資源進(jìn)行分類，Zeus運(yùn)維系統(tǒng)為創(chuàng)建的資源打上相應(yīng)的標(biāo)簽，方便業(yè)務(wù)方對(duì)資源的搜索和管理。 而運(yùn)維，通過標(biāo)簽管理模式，可以很好的對(duì)雜亂無章的資源進(jìn)行運(yùn)維監(jiān)控，甚至資源共享。

對(duì)于托管賬戶，可以通過API進(jìn)行操作。 系統(tǒng)解析離線云監(jiān)控消息通知，使業(yè)務(wù)方的標(biāo)簽按照一定的規(guī)范設(shè)置，檢測(cè)到數(shù)據(jù)變化后同步到Zeus和CMDB。

資源交付

對(duì)于資源交付來說，最大的挑戰(zhàn)在于云上的資源是多地域、多類型部署的。 目前阿里云平臺(tái)上有上百種資源。 如果每一個(gè)資源都通過寫代碼和API來操作，會(huì)很復(fù)雜，效率很低。 而且大部分業(yè)務(wù)場(chǎng)景都不是單字投放服務(wù)器運(yùn)維，一個(gè)一個(gè)組合起來需要很長時(shí)間。 業(yè)務(wù)方通常需要場(chǎng)景化交付。 大多數(shù)業(yè)務(wù)場(chǎng)景都有一個(gè)標(biāo)準(zhǔn)化的通用范式，通過場(chǎng)景化交付可以極大地改善資源交付的形式。

對(duì)于這種場(chǎng)景化的投放需求，雖然一開始是通過腳本來操作，但是耗費(fèi)了大量的精力和人力，效率也比較低。 為了應(yīng)對(duì)各類資源分配場(chǎng)景，Zeus運(yùn)維系統(tǒng)引入了機(jī)制進(jìn)行資源編排，同樣的思路是開源的。

這里，Zeus運(yùn)維系統(tǒng)使用了阿里云提供的ROS資源編排工具，引入集團(tuán)審批流程，規(guī)范和簡(jiǎn)化資源部署。 Zeus運(yùn)維系統(tǒng)為常用場(chǎng)景下的具體成本資源編排模板，通過模板按場(chǎng)景一鍵下發(fā)資源。 模板的形式大大提高了我們資源投放的效率，同時(shí)降低了新資源的接入門檻。

運(yùn)維管理

從運(yùn)維工種來看，運(yùn)維也是分層的。 系統(tǒng)層面的補(bǔ)丁管理、安全掃描、安全防護(hù)等能力是平臺(tái)的能力，不需要業(yè)務(wù)方關(guān)心。 Zeus運(yùn)維系統(tǒng)體現(xiàn)了這種能力后，提供了統(tǒng)一的管理機(jī)制。

在應(yīng)用層，主要涉及資源運(yùn)維和CI/CD。 Zeus運(yùn)維系統(tǒng)應(yīng)用資源運(yùn)維，將常用運(yùn)維動(dòng)作體現(xiàn)為運(yùn)維編排模板，使用阿里云運(yùn)維編排服務(wù)進(jìn)行工作流編排，支持業(yè)務(wù)方在定義運(yùn)維操作的同時(shí)自定義運(yùn)維操作常見運(yùn)維場(chǎng)景。 這樣運(yùn)維過程就可以積累和復(fù)制。 此外，借助底層能力，支持定時(shí)、告警、事件觸發(fā)運(yùn)維操作，進(jìn)一步提升運(yùn)維操作效率。

在CI/CD部分，Zeus運(yùn)維系統(tǒng)主要使用阿里巴巴集團(tuán)的Aone（云效）系統(tǒng)，支持基于軟件包和鏡像的批量發(fā)布，并允許自定義操作。

監(jiān)控報(bào)警

從信息源的角度來看，告警和監(jiān)控可以分為資源監(jiān)控、應(yīng)用監(jiān)控和服務(wù)監(jiān)控。 級(jí)別越高，監(jiān)控和報(bào)警的準(zhǔn)確性越高，但通用性越低。 Zeus運(yùn)維系統(tǒng)實(shí)現(xiàn)了多種告警處理方式。 通過與監(jiān)控系統(tǒng)的集成，通過群組聯(lián)系人發(fā)送告警，如郵件、釘釘?shù)刃畔ⅲ?針對(duì)人工場(chǎng)景，通過彈性伸縮和運(yùn)維編排對(duì)接，觸發(fā)人工操作，實(shí)現(xiàn)人工運(yùn)維工作，完成人工閉環(huán)。

診斷與維修

隨著越來越多的資源和服務(wù)被使用，內(nèi)部業(yè)務(wù)方對(duì)ECS實(shí)例和網(wǎng)絡(luò)問題的咨詢?cè)絹碓蕉唷?為了提高解決問題的效率，運(yùn)維平臺(tái)還必須具備自證清白的能力。 因此，我們通過與阿里云內(nèi)部ECS、網(wǎng)絡(luò)、操作系統(tǒng)等團(tuán)隊(duì)的共建，借助歷史數(shù)據(jù)生成了案例庫和知識(shí)庫，加上專家經(jīng)驗(yàn)，積累了診斷修復(fù)能力，一鍵診斷幫助業(yè)務(wù)方快速定位具體問題。 針對(duì)一些常見問題，將常用修復(fù)腳本可視化，提供一鍵修復(fù)能力。

以ECS實(shí)例為例，通過實(shí)例監(jiān)控定位問題根源。 同時(shí)，我們提供自動(dòng)修復(fù)解決方案。 同時(shí)，我們還提供運(yùn)維編排的一鍵式人工修復(fù)能力。 此過程支持快照回滾。 通過該部分的建設(shè)，我們?nèi)粘Ｖ蛋嗟姆?wù)量有了大幅度的提升。

成本管理

成本管理的目標(biāo)主要是成本優(yōu)化。 很多業(yè)務(wù)方申請(qǐng)了很多云服務(wù)器資源。 在使用過程中，他們發(fā)現(xiàn)有些機(jī)器雖然用得不多，或者CPU使用率比較低，但是卻造成了資源的浪費(fèi)。 Zeus運(yùn)維系統(tǒng)通過成本管理的建設(shè)，將成本管理的意識(shí)傳遞給業(yè)務(wù)方，推動(dòng)業(yè)務(wù)方完成成本優(yōu)化。

在成本管理的思路上，我們主要通過事前的卡點(diǎn)和活動(dòng)期間的分賬能力來實(shí)現(xiàn)。 首先，在申請(qǐng)資源的時(shí)候，做一個(gè)審批檢查點(diǎn)。 如果請(qǐng)求的資源大小很高，會(huì)給出一些提示詢問資源申請(qǐng)是否合理。 費(fèi)用分?jǐn)偟较鄳?yīng)的部門和項(xiàng)目組，定期向業(yè)務(wù)方提供賬單。 財(cái)務(wù)部門對(duì)部門的賬單進(jìn)行分析，確定哪些項(xiàng)目是超出手段的，同時(shí)也鼓勵(lì)業(yè)務(wù)方優(yōu)化資源使用。 . 比如是否切換到彈性伸縮來優(yōu)化成本，調(diào)整資源分配大小來優(yōu)化等，促進(jìn)業(yè)務(wù)端從成本的角度進(jìn)行優(yōu)化。

總結(jié)

本文主要介紹Zeus運(yùn)維系統(tǒng)在阿里經(jīng)濟(jì)上云過程中如何高效管理云上資源的經(jīng)驗(yàn)。 這里給遇到同樣問題的運(yùn)維人員一些參考。

會(huì)議推薦

2021年4月22-24日，QCon全球軟件開發(fā)大會(huì)（廣州站）再次恢復(fù)3天。 大會(huì)規(guī)模將在2000人左右，嘉賓陣容和話題關(guān)注度會(huì)越來越強(qiáng)。 目前，會(huì)議已確定12個(gè)技術(shù)議題和73位演講嘉賓。 會(huì)議內(nèi)容將持續(xù)更新，感興趣的伙伴敬請(qǐng)關(guān)注。

掃描右側(cè)二維碼或點(diǎn)擊【閱讀原文】，直接進(jìn)入大會(huì)官網(wǎng)。 更多問題請(qǐng)咨詢客戶總監(jiān)環(huán)：（同陌陌）