數(shù)據(jù)庫(kù)性能優(yōu)化、云時(shí)代的數(shù)據(jù)庫(kù)、NoSQL技術(shù)進(jìn)步、大數(shù)據(jù)云服務(wù)、數(shù)據(jù)分析與挖掘、機(jī)器學(xué)習(xí)……不同于“曇花一現(xiàn)”的技術(shù)分享會(huì)，盛拓組織的2017年會(huì)議媒體與IT168 2018中國(guó)數(shù)據(jù)庫(kù)技術(shù)大會(huì)（)大會(huì)第二天依舊干貨滿滿。

12日上午的數(shù)據(jù)分析與挖掘?qū)?chǎng)迎來(lái)了技術(shù)嘉賓——聯(lián)想大數(shù)據(jù)研發(fā)經(jīng)理張成松。他從零開(kāi)始體驗(yàn)了聯(lián)想大數(shù)據(jù)平臺(tái)的發(fā)展。一路上，他踩過(guò)很多坑，過(guò)很多河。明天，張成松將為我們帶來(lái)題為《 Spark to MPP - Large-scale -Class Rooms》的演講。

▲聯(lián)想大數(shù)據(jù)研發(fā)經(jīng)理張成松

隨著業(yè)務(wù)急劇下滑，數(shù)據(jù)越來(lái)越多，很多企業(yè)經(jīng)常會(huì)面臨這樣的困擾：數(shù)據(jù)查詢(xún)和數(shù)據(jù)分析越來(lái)越慢，運(yùn)行半小時(shí)往往出不來(lái)；沒(méi)有了，維護(hù)成本和費(fèi)用越來(lái)越高； T+1數(shù)據(jù)處理太慢，很難知道下一秒的業(yè)務(wù)是否有問(wèn)題；不僅是傳統(tǒng)的商業(yè)數(shù)據(jù)，智能、可穿戴設(shè)備數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)也越來(lái)越多。

在這種情況下，傳統(tǒng)的企業(yè)級(jí)數(shù)據(jù)庫(kù)機(jī)房勢(shì)必會(huì)向大數(shù)據(jù)平臺(tái)轉(zhuǎn)變。張成松覺(jué)得，在這個(gè)轉(zhuǎn)型過(guò)程中，需要解決三個(gè)問(wèn)題。一是傳統(tǒng)數(shù)據(jù)應(yīng)用問(wèn)題，涉及歷史數(shù)據(jù)遷移、與傳統(tǒng)數(shù)據(jù)庫(kù)機(jī)房和應(yīng)用工具的無(wú)縫集成、對(duì)原有業(yè)務(wù)處理邏輯的適配、數(shù)據(jù)支持等。 CRUD，支持存儲(chǔ)過(guò)程；二是大數(shù)據(jù)預(yù)估，涉及PB級(jí)數(shù)據(jù)預(yù)估、結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、應(yīng)用、大數(shù)據(jù)場(chǎng)景數(shù)據(jù)分析、大數(shù)據(jù)環(huán)境下的數(shù)據(jù)修復(fù)；第三個(gè)是實(shí)時(shí)數(shù)據(jù)處理問(wèn)題，涉及實(shí)時(shí)數(shù)據(jù)采集、流技術(shù)、實(shí)時(shí)估計(jì)、交互、多維數(shù)據(jù)分析探索。

張成松表示，企業(yè)級(jí)大數(shù)據(jù)實(shí)施平臺(tái)分為三類(lèi)，一類(lèi)是兩套框架MPP+，數(shù)據(jù)獨(dú)立存儲(chǔ)，集群間數(shù)據(jù)同步，缺點(diǎn)是資源浪費(fèi)；系統(tǒng)，數(shù)據(jù)獨(dú)立存儲(chǔ)，具體接入服務(wù)，可按需選擇估算引擎；三是一套/框架it技術(shù)支持，既支持大數(shù)據(jù)估計(jì)，也支持傳統(tǒng)的數(shù)據(jù)庫(kù)機(jī)房。導(dǎo)出歷史數(shù)據(jù)后it技術(shù)支持，同意保存數(shù)據(jù)。

張成松現(xiàn)場(chǎng)分享了他們?cè)谏系南嚓P(guān)操作：

張成松表示，實(shí)現(xiàn)數(shù)據(jù)CRUD操作，支持存儲(chǔ)過(guò)程、游標(biāo)、函數(shù)、變量等邏輯，只是Spark架構(gòu)中實(shí)現(xiàn)MPP功能的第一步。為了提高執(zhí)行效率和性能，還需要從不同層面對(duì)引擎進(jìn)行優(yōu)化。

聯(lián)想的大數(shù)據(jù)企業(yè)級(jí)分析平臺(tái)最初是為了支持其手機(jī)業(yè)務(wù)而設(shè)計(jì)的。經(jīng)過(guò)6年的持續(xù)投入和300余名研發(fā)人員，聯(lián)想在上海、成都、香港擁有3個(gè)研發(fā)中心，擁有200余名大數(shù)據(jù)開(kāi)發(fā)人員。工程師，60多位大數(shù)據(jù)平臺(tái)運(yùn)維工程師。目前聯(lián)想總數(shù)據(jù)容量12PB，總數(shù)據(jù)10PB，日新增數(shù)據(jù)30TB，日處理數(shù)據(jù)4.3PB。

此外，聯(lián)想大數(shù)據(jù)企業(yè)級(jí)分析平臺(tái)由數(shù)據(jù)采集與轉(zhuǎn)換套件、大數(shù)據(jù)估算平臺(tái)、數(shù)據(jù)能力開(kāi)放平臺(tái)、業(yè)務(wù)分析套件、數(shù)據(jù)資產(chǎn)管理平臺(tái)和系統(tǒng)運(yùn)營(yíng)平臺(tái)六大部分組成維度監(jiān)控中心。

,