上云后需要運(yùn)維嗎？答案是：其實(shí)是必須的。

上云確實(shí)簡化了部分運(yùn)維工作。比如傳統(tǒng)IT中服務(wù)器的日常運(yùn)維，都是由云服務(wù)商完成的。但隨著云產(chǎn)品類型的不斷豐富和規(guī)模的不斷擴(kuò)大，如何高效運(yùn)維云資源正逐漸成為運(yùn)維人員面臨的挑戰(zhàn)。

在剛剛結(jié)束的QCon全球軟件開發(fā)大會（北京站）2020“彈性工程與運(yùn)維”專題中，阿里云中級技術(shù)專家趙宇（巴厘島）分享了阿里經(jīng)濟(jì)云運(yùn)維的話題。本文整理了整體上云后，如何在云上實(shí)現(xiàn)數(shù)十萬臺ECS實(shí)例手動運(yùn)維的實(shí)踐和經(jīng)驗(yàn)。

阿里巴巴云中級技術(shù)專家趙宇

云運(yùn)維的四大挑戰(zhàn)

隨著云測算的普及和發(fā)展，越來越多的企業(yè)選擇上云。近年來，阿里巴巴的經(jīng)濟(jì)已經(jīng)全面融入云端，云上運(yùn)維與大多數(shù)企業(yè)遇到的問題類似?？偨Y(jié)起來主要來自以下四個方面：

首先，存在規(guī)模問題。傳統(tǒng)的 和腳本管理方法在資源少的情況下運(yùn)行良好，但在規(guī)模較大時就失敗了。幾十臺機(jī)器和幾萬臺機(jī)器的人肉管理是完全不同的概念。此外，云上資源的種類不斷豐富，云上資源管理和運(yùn)維的復(fù)雜度呈指數(shù)級增長。

第二，安全問題。阿里巴巴經(jīng)濟(jì)云遷移涉及數(shù)百個業(yè)務(wù)方，涉及眾多運(yùn)維人員。如何更好地控制權(quán)限、審核和批準(zhǔn)既復(fù)雜又極其重要。數(shù)據(jù)和資源是公司的資產(chǎn)。過多的運(yùn)維權(quán)限會增加出錯的風(fēng)險，而過少的權(quán)限會增加管理成本。如何安全地使用云賬號和資源給管理者帶來了極大的挑戰(zhàn)。

第三，效率問題。隨著資源規(guī)模的縮小，如何高效地管理運(yùn)維，提高開發(fā)者的效率，也是云運(yùn)維必須考慮的問題。

第四，成本問題。業(yè)務(wù)方對成本優(yōu)化的需求很大，包括資源用戶和財務(wù)人員。希望也能提供不同維度的資源使用賬單，為成本優(yōu)化措施提供依據(jù)。

我們知道，在傳統(tǒng)方式下，專門的資源運(yùn)營團(tuán)隊(duì)負(fù)責(zé)資源的配置，項(xiàng)目開發(fā)團(tuán)隊(duì)只負(fù)責(zé)資源的使用。而隨著業(yè)務(wù)規(guī)模的不斷擴(kuò)大，這些管理方式基本不可行。這時候，基本的配置管理權(quán)限就必須通過去中心化的方式交給業(yè)務(wù)項(xiàng)目組，而這些運(yùn)維模式的改造會影響到企業(yè)云。資源管理也帶來了挑戰(zhàn)。

實(shí)際上，阿里經(jīng)濟(jì)云運(yùn)維也經(jīng)歷了人肉運(yùn)維到標(biāo)準(zhǔn)化、數(shù)據(jù)化、流程化運(yùn)維的過程。直到2016年，內(nèi)部云資源管理平臺“宙斯運(yùn)維系統(tǒng)”原型基本制作完成，實(shí)現(xiàn)運(yùn)維能力和體驗(yàn)的標(biāo)準(zhǔn)化、流程化、系統(tǒng)化。隨著資源管理規(guī)模的不斷擴(kuò)大和需求的多樣化，宙斯運(yùn)維系統(tǒng)立即接管了云上資源的管控。

如何高效運(yùn)維數(shù)十萬臺云服務(wù)器？

目前，宙斯運(yùn)維系統(tǒng)管理著阿里巴巴集團(tuán)內(nèi)數(shù)百個業(yè)務(wù)方的20多種云產(chǎn)品和資源，包括數(shù)十萬個ECS實(shí)例。除了為各業(yè)務(wù)方提供資源管理和運(yùn)維能力外，還提供成本剖析和補(bǔ)救能力。

圖：宙斯運(yùn)維平臺整體架構(gòu)

一般來說，宙斯運(yùn)維平臺包括五個模塊：資源管理、系統(tǒng)運(yùn)維、應(yīng)用運(yùn)維、監(jiān)控管理和成本分析。向下通過控制臺為業(yè)務(wù)方提供服務(wù)，向上依托阿里云平臺的云監(jiān)控、資源編排、運(yùn)維編排、標(biāo)簽系統(tǒng)、彈性伸縮、運(yùn)維通道、財務(wù)系統(tǒng)管理日志服務(wù)和云服務(wù)器，網(wǎng)絡(luò)、對象存儲和許多其他云資源。

賬戶管理

由于歷史原因，宙斯運(yùn)維平臺支持獨(dú)立大賬戶和托管賬戶兩種賬戶模式并存。獨(dú)立大賬號是阿里云平臺宙斯系統(tǒng)運(yùn)維平臺的服務(wù)賬號。賬戶管理著業(yè)務(wù)方的大量資源。業(yè)務(wù)方將所有運(yùn)維功能托管給 Zeus。由于它可以減少很多后期工作，所以它是獨(dú)立的。大客戶是我們推薦商務(wù)聚會的方式。另外，由于是服務(wù)賬號，不允許業(yè)務(wù)方直接登錄，業(yè)務(wù)方只能通過崩潰入口進(jìn)行操作，降低了操作出錯的風(fēng)險。

對于托管賬戶，是宙斯運(yùn)維平臺之前的存量運(yùn)維賬戶。為了幫助業(yè)務(wù)方更好地管理這個股票賬戶，宙斯運(yùn)維平臺提供賬戶托管服務(wù)。該股票賬戶被授予宙斯服務(wù)賬戶的管理員權(quán)限，由于托管賬戶的主子賬戶與集團(tuán)的登錄系統(tǒng)相連，運(yùn)維人員可以直接登錄管理。

權(quán)限管理

權(quán)限管理的主要思想是對應(yīng)用程序進(jìn)行分組。應(yīng)用分組用于按角色區(qū)分權(quán)限，并將角色分配給相應(yīng)應(yīng)用中的人。

我們賦予應(yīng)用Owner、開發(fā)、運(yùn)維、安全等角色，對不同的角色賦予不同的權(quán)限。 Owner角色擁有應(yīng)用下資源管理的神圣權(quán)限，同時負(fù)責(zé)審批工作；開發(fā)者負(fù)責(zé)日常的CI工作，以及日常和發(fā)布前的環(huán)境測試工作；運(yùn)維人員具備在線發(fā)布和審批能力；安全人員主要負(fù)責(zé)系統(tǒng)運(yùn)行維護(hù)工作，包括安全掃描、掃碼等安全工作。

這里所有的云資源都通過標(biāo)簽附加到相應(yīng)的應(yīng)用程序上。通過這樣的權(quán)限管理，管理員不僅可以在人的維度上看到有權(quán)限的應(yīng)用，還可以在應(yīng)用的維度上看到。授權(quán)人。

資源分組

Zeus運(yùn)維系統(tǒng)基于阿里云的標(biāo)注系統(tǒng)，支持按部門、環(huán)境等多維度對資源進(jìn)行分類，Zeus運(yùn)維系統(tǒng)對創(chuàng)建的資源進(jìn)行相應(yīng)的標(biāo)注，方便業(yè)務(wù)各方進(jìn)行資源搜索、管理和運(yùn)維，通過標(biāo)簽管理模式，可以很好地對無序資源進(jìn)行運(yùn)維和監(jiān)控，甚至可以進(jìn)行資源核算。

對于托管賬戶，可以通過API進(jìn)行操作，系統(tǒng)可以解析離線云監(jiān)控消息通知，從而按照一定的規(guī)范設(shè)置業(yè)務(wù)方的標(biāo)簽，竊聽數(shù)據(jù)變化后, 會同步到 Zeus 和 CMDB。

資源交付

對于資源交付來說，最大的挑戰(zhàn)是云資源部署在多個區(qū)域和類型。阿里云平臺目前擁有數(shù)百種資源類型。如果每個資源都通過寫代碼和API來操作，會很復(fù)雜，效率低下。而且，大部分業(yè)務(wù)場景都不是單字符下發(fā)，如果一個一個組合起來，時間會很長。業(yè)務(wù)端通常需要基于場景的交付。大多數(shù)業(yè)務(wù)場景都有一個規(guī)范化的通用范式，通過場景化交付可以極大地改進(jìn)資源交付形式。

對于這種基于場景的交付需求，雖然一開始是用腳本來操作的，但是耗費(fèi)了大量的精力和人力，效率也比較低。 Zeus運(yùn)維系統(tǒng)為了應(yīng)對各種類型的資源分配場景，引入了機(jī)制進(jìn)行資源調(diào)度，開源也是同樣的思路。

這里宙斯運(yùn)維系統(tǒng)使用阿里云提供的ROS資源編排工具，引入群審批流程來規(guī)范和處理資源部署。 Zeus運(yùn)維系統(tǒng)為常見場景下的具象成本資源安排模板，通過模板實(shí)現(xiàn)一鍵一鍵場景下發(fā)資源，極大的提升了我們的資源下發(fā)效率，降低了新資源的訪問門檻。

運(yùn)維管理

從運(yùn)維工作的類型來看，運(yùn)維也是分層的。系統(tǒng)級的補(bǔ)丁管理、安全掃描、安全防護(hù)等能力是平臺的能力，業(yè)務(wù)方不需要關(guān)心。 Zeus運(yùn)維系統(tǒng)將這個能力可視化，提供統(tǒng)一的管理機(jī)制。

在應(yīng)用層面，主要涉及資源運(yùn)維和CI/CD。 Zeus運(yùn)維系統(tǒng)應(yīng)用資源運(yùn)維，將常用運(yùn)維動作可視化為運(yùn)維編排模板，使用阿里云運(yùn)維編排服務(wù)進(jìn)行工作流編排，定義常用運(yùn)維場景，支持業(yè)務(wù)側(cè)自定義運(yùn)維操作。這樣，運(yùn)維過程就可以積累和復(fù)制。此外，借助底層能力，支持定時、告警、事件觸發(fā)運(yùn)維操作，進(jìn)一步提升運(yùn)維操作效率。

在CI/CD部分，宙斯運(yùn)維系統(tǒng)主要采用阿里巴巴集團(tuán)的Aone（云效）系統(tǒng)，支持基于軟件包和鏡像的批量發(fā)布服務(wù)器運(yùn)維，并允許自定義操作。

監(jiān)控警報

從信息源的角度來看，告警和監(jiān)控可以分為資源監(jiān)控、應(yīng)用監(jiān)控、業(yè)務(wù)監(jiān)控。級別越高，監(jiān)測報警的準(zhǔn)確率越高，但普遍性越低。 Zeus運(yùn)維系統(tǒng)實(shí)現(xiàn)了多種告警處理方式。通過與監(jiān)控系統(tǒng)的集成，通過郵件、釘釘?shù)刃畔⒎纸M聯(lián)系人進(jìn)行告警分發(fā)；對于手動場景，通過連接彈性伸縮和運(yùn)維編排觸發(fā)手動操作，實(shí)現(xiàn)手動運(yùn)維工作，完成手動閉環(huán)。

診斷與修復(fù)

隨著越來越多的資源和服務(wù)被使用，內(nèi)部業(yè)務(wù)方就ECS實(shí)例和網(wǎng)絡(luò)等問題進(jìn)行咨詢的次數(shù)與日俱增。為了提高解決問題的效率，運(yùn)維平臺也必須具備證明自己清白的能力。 因此，通過與阿里云內(nèi)部ECS、網(wǎng)絡(luò)、操作系統(tǒng)等團(tuán)隊(duì)共建，借助歷史數(shù)據(jù)生成案例庫和知識庫，再加上專家經(jīng)驗(yàn)，積累了診斷和修復(fù)能力，一鍵診斷。幫助業(yè)務(wù)方快速定位具體問題。針對一些常見問題，將常用的打補(bǔ)丁腳本可視化，提供一鍵打補(bǔ)丁能力。

以ECS實(shí)例為例，通過對實(shí)例的監(jiān)控，我們可以診斷和定位問題的根源。同時服務(wù)器運(yùn)維，我們提供自動補(bǔ)丁解決方案。同時，我們還提供使用運(yùn)維編排的一鍵手動打補(bǔ)丁能力。此過程支持快照回滾。 通過這部分的建設(shè)，我們?nèi)粘Ｖ蛋嗟姆?wù)量大幅增加。

成本管理

成本管理的主要目標(biāo)是成本優(yōu)化。很多業(yè)務(wù)方申請了很多云服務(wù)器資源，發(fā)現(xiàn)雖然有些機(jī)器用處不大或者CPU使用率比較低，但是這樣就造成了資源的浪費(fèi)。 Zeus運(yùn)維系統(tǒng)通過成本管理的建設(shè)，將成本管理意識傳遞給業(yè)務(wù)方，推動業(yè)務(wù)方完成成本優(yōu)化。

在成本管理的思路上，我們主要通過事前的卡點(diǎn)和活動期間的分賬能力來實(shí)現(xiàn)。首先，在申請資源時做一個審批卡點(diǎn)。如果申請的資源量很大，會提示詢問資源申請是否合理；然后，在資源使用過程中，借助標(biāo)簽和應(yīng)用分組能力，對資源進(jìn)行分組。使用費(fèi)用平均分配給相應(yīng)的部門和項(xiàng)目組，并定期向業(yè)務(wù)方提供賬單。財務(wù)部門根據(jù)部門對賬單進(jìn)行分析，確定哪些項(xiàng)目是入不敷出的，同時也提示業(yè)務(wù)方優(yōu)化資源使用。 比如是否切換到彈性伸縮來優(yōu)化成本，調(diào)整資源分配大小進(jìn)行優(yōu)化等，從成本的角度推動業(yè)務(wù)方進(jìn)行優(yōu)化。

總結(jié)

本文主要介紹在阿里巴巴經(jīng)濟(jì)上云的過程中，宙斯運(yùn)維系統(tǒng)如何高效管理云上資源的經(jīng)驗(yàn)。供在云運(yùn)維中遇到同樣問題的運(yùn)維人員參考。