歡迎來(lái)到騰訊云技術(shù)社區(qū)服務(wù)器運(yùn)維技術(shù)，獲取更多騰訊海量技術(shù)實(shí)踐干貨~

作者：知云平臺(tái)團(tuán)隊(duì)，騰訊SNG社交平臺(tái)業(yè)務(wù)運(yùn)維團(tuán)隊(duì)，負(fù)責(zé)QQ空間、微云、QQ相冊(cè)、天天Ptu、優(yōu)圖等產(chǎn)品的技術(shù)運(yùn)營(yíng)。致力于服務(wù)質(zhì)量?jī)?yōu)化、服務(wù)保障、自動(dòng)化運(yùn)維體系建設(shè)等工作。經(jīng)歷了農(nóng)牧場(chǎng)、紅包、“軍裝”P(pán)圖等諸多活動(dòng)。團(tuán)隊(duì)一直在進(jìn)行自動(dòng)化運(yùn)維、智能化運(yùn)維探索與實(shí)踐。

前言

這兩天人民日?qǐng)?bào)+騰訊云聯(lián)合運(yùn)營(yíng)的“軍裝合影”活動(dòng)，想必炸了你的朋友圈。在這場(chǎng)營(yíng)銷(xiāo)盛宴的背后，還有另外一個(gè)海量運(yùn)維能力：4000臺(tái)設(shè)備、峰值24G帶寬、5次自動(dòng)運(yùn)維擴(kuò)展。

這種由社會(huì)關(guān)系引爆的運(yùn)營(yíng)事件，對(duì)于騰訊SNG的運(yùn)維團(tuán)隊(duì)來(lái)說(shuō)，并不新鮮。從全民農(nóng)牧場(chǎng)、全民紅包、甄嬛傳記、軍裝照片，SNG運(yùn)維團(tuán)隊(duì)已經(jīng)應(yīng)對(duì)了業(yè)務(wù)突發(fā)事件。變化是智云智能運(yùn)維平臺(tái)的核心能力。今天，就讓我們一起來(lái)探索智云智能運(yùn)維平臺(tái)的關(guān)鍵技術(shù)和核心功能。

智云智能運(yùn)維平臺(tái)1、標(biāo)準(zhǔn)化運(yùn)維

智云智能支撐平臺(tái)管理著10萬(wàn)多臺(tái)服務(wù)器，24小時(shí)為上萬(wàn)個(gè)功能提供服務(wù)，但運(yùn)維人員卻寥寥無(wú)幾。一個(gè)人維護(hù)了近萬(wàn)臺(tái)服務(wù)器，當(dāng)軍裝事件來(lái)臨時(shí)，4000臺(tái)服務(wù)器可以快速無(wú)誤地上線(xiàn)。它的依據(jù)是什么？主要的好處是智云長(zhǎng)期貫徹的標(biāo)準(zhǔn)化服務(wù)和運(yùn)維的理念和要求。智云平臺(tái)提供的統(tǒng)一包框架、集中配置管理、統(tǒng)一路由、統(tǒng)一組件等標(biāo)準(zhǔn)化技術(shù)手段，幫助運(yùn)維研發(fā)質(zhì)量等多個(gè)團(tuán)隊(duì)完成高效協(xié)同、標(biāo)準(zhǔn)交付、和快速反應(yīng)。標(biāo)準(zhǔn)化的運(yùn)維體系，幫助我們隨時(shí)快速響應(yīng)各種突發(fā)業(yè)務(wù)需求。

2、強(qiáng)大的 IAAS 供應(yīng)基礎(chǔ)

依托騰訊云海量資源，智云可提供秒級(jí)IAAS供給能力，結(jié)合自動(dòng)變擴(kuò)縮技術(shù)，快速響應(yīng)萬(wàn)級(jí)服務(wù)資源線(xiàn)上供給需求。

3、CMDB應(yīng)用配置介紹

智云CMDB的設(shè)計(jì)以模塊為管理節(jié)點(diǎn)（模塊：提供單一功能服務(wù)的集群）。相關(guān)配置信息將被記錄，包括：硬件配置、軟件配置、操作設(shè)置、軟件包、配置文件、腳本、流程、測(cè)試用例等自動(dòng)化依賴(lài)的關(guān)鍵系統(tǒng)。

日常P圖業(yè)務(wù)CMDB應(yīng)用配置示意圖如下。

4、 自動(dòng)化流程簡(jiǎn)介

智云倡導(dǎo)的自動(dòng)化理念是：標(biāo)準(zhǔn)化->配置->自動(dòng)化，讓企業(yè)的常用操作固化成流程工具。不要依賴(lài)容易過(guò)時(shí)的文檔，也不要依賴(lài)容易流失的人的經(jīng)驗(yàn)。

參照持續(xù)交付的原則“為軟件發(fā)布創(chuàng)建可重復(fù)且可靠的流程”，為解決人類(lèi)操作體驗(yàn)差異的問(wèn)題，運(yùn)維團(tuán)隊(duì)利用流程DIY編排能力，實(shí)現(xiàn)標(biāo)準(zhǔn)化操作的固化. “軍裝合影”活動(dòng)擴(kuò)容，任何運(yùn)維人員只需執(zhí)行每日P圖的擴(kuò)容功能即可實(shí)現(xiàn)擴(kuò)容，云織過(guò)程將自動(dòng)完成整個(gè)業(yè)務(wù)部署和上線(xiàn)運(yùn)營(yíng)。（如下所示）

5、 關(guān)鍵技術(shù)點(diǎn)：

(1）智云路由：L5

調(diào)用對(duì)象 IP 和端口被抽象為名稱(chēng)服務(wù)。調(diào)用時(shí)，調(diào)用者不需要關(guān)注實(shí)際被調(diào)用的服務(wù)器，只需要確定名稱(chēng)服務(wù)ID即可。這樣，被調(diào)整方的IP變更對(duì)主調(diào)整者來(lái)說(shuō)是完全透明的。

由于部分轉(zhuǎn)入的服務(wù)器存在差異，存在計(jì)算能力不一致的可能?？梢詾椴煌膫鬏攲?duì)象配置不同的權(quán)重。智云 Beam可以根據(jù)服務(wù)器的處理能力和容量自動(dòng)配置權(quán)重，達(dá)到負(fù)載均衡的目的。.

當(dāng)鏈路或機(jī)房環(huán)境發(fā)生故障時(shí)，可能導(dǎo)致單臺(tái)服務(wù)器故障的概率很高。智云L5具備主動(dòng)檢測(cè)調(diào)機(jī)能力，主動(dòng)將故障機(jī)踢出轉(zhuǎn)機(jī)，故障機(jī)恢復(fù)后自動(dòng)添加回轉(zhuǎn)機(jī)。簇。在發(fā)生大規(guī)模機(jī)房故障時(shí)服務(wù)器運(yùn)維技術(shù)，也可以借助L5調(diào)度功能將整體調(diào)整對(duì)象切換到其他機(jī)房。

(2）大并發(fā)傳輸

如何在運(yùn)維平臺(tái)上實(shí)現(xiàn)文件的快速分發(fā)，智云平臺(tái)的技術(shù)實(shí)現(xiàn)主要有兩個(gè)技術(shù)點(diǎn)：

(3）活動(dòng)平臺(tái)：自動(dòng)縮放

社交運(yùn)營(yíng)活動(dòng)是騰訊SNG的常態(tài)，智云專(zhuān)門(mén)針對(duì)這類(lèi)活動(dòng)業(yè)務(wù)的特點(diǎn)：快上快下，定義了活動(dòng)平臺(tái)的功能來(lái)支持。

自動(dòng)伸縮功能支持定時(shí)伸縮和低負(fù)載伸縮，不同的策略觸發(fā)自動(dòng)化運(yùn)維流程?！盾娧b照》4000臺(tái)設(shè)備活動(dòng)結(jié)束后，運(yùn)維人員可以設(shè)置自動(dòng)伸縮策略，實(shí)現(xiàn)自動(dòng)伸縮，無(wú)需人工干預(yù)。（收縮操作如下圖）

容量監(jiān)測(cè)方法

1、 高低負(fù)載日常管理

運(yùn)維工作要盡量減少消防任務(wù)，鼓勵(lì)有計(jì)劃有準(zhǔn)備的工作，把容量管理變成重要的、非緊急的工作。因此，我們傾向于將這部分工作例行化，將容量管理從計(jì)劃外任務(wù)變?yōu)橛?jì)劃任務(wù)。

以騰訊SNG的生產(chǎn)環(huán)境容量管理計(jì)量方法為例，智云平臺(tái)提供統(tǒng)計(jì)數(shù)據(jù)（以模塊為管理單位）：

2、 容量異常處理

在騰訊SNG運(yùn)維的日常工作中，與容量相關(guān)的運(yùn)維對(duì)象有：?jiǎn)螜C(jī)、模塊、SET。

（1）利用智云L5路由服務(wù)的請(qǐng)求權(quán)重調(diào)度能力（參考開(kāi)源nginx、、LVS等）解決集群IP負(fù)載不均的問(wèn)題。

(2）利用云一致性管理能力解決應(yīng)用或配置文件部署不一致的問(wèn)題。

λ SET容量管理，結(jié)合壓力測(cè)試尋找SET的性能短句柄，保持SET容量模型在關(guān)鍵時(shí)刻調(diào)度可靠。

3、 實(shí)時(shí)模塊容量監(jiān)控

在模塊內(nèi)IP容量相同的情況下，智云監(jiān)控實(shí)時(shí)采集單機(jī)硬件性能指標(biāo)，并可匯總計(jì)算模塊實(shí)時(shí)容量指標(biāo)，進(jìn)行自動(dòng)決策。

智云主機(jī)監(jiān)控技術(shù)的技術(shù)架構(gòu)如下圖所示，支持10W設(shè)備主機(jī)性能數(shù)據(jù)采集，為騰訊社交業(yè)務(wù)提供精準(zhǔn)高效的基礎(chǔ)監(jiān)控能力。

寫(xiě)在最后

在騰訊云和智云平臺(tái)的協(xié)助下，SNG社交平臺(tái)業(yè)務(wù)運(yùn)維團(tuán)隊(duì)為人民日?qǐng)?bào)“軍照”運(yùn)營(yíng)活動(dòng)提供了強(qiáng)有力的運(yùn)維支持。雖然運(yùn)維在聚光燈下并不常見(jiàn)，但我們依然為騰訊的產(chǎn)品感到自豪，為我們的運(yùn)維工作感到自豪！

閱讀建議

“云+未來(lái)”峰會(huì)北京站，開(kāi)發(fā)者專(zhuān)場(chǎng)報(bào)名開(kāi)啟

深度探索（一）

是的，騰訊投票已經(jīng)擁抱騰訊云

本文已獲得作者授權(quán)在騰訊云技術(shù)社區(qū)發(fā)布。轉(zhuǎn)載請(qǐng)注明文章出處。

原文鏈接：///