對(duì)于非專業(yè)人士，數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師和數(shù)據(jù)工程師的角色可能沒(méi)有什么不同。但實(shí)際上，這三個(gè)位置是完全不同的。數(shù)據(jù)工程師的稱號(hào)在數(shù)據(jù)科學(xué)領(lǐng)域正在興起。

過(guò)去，數(shù)據(jù)工程師的角色通常由商業(yè)智能開(kāi)發(fā)人員擔(dān)任，但隨著數(shù)據(jù)規(guī)模和復(fù)雜性的不斷增加，工作量已經(jīng)遠(yuǎn)遠(yuǎn)超出了簡(jiǎn)單的開(kāi)發(fā)人員所能處理的范圍。

什么是數(shù)據(jù)工程師？

雖然數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師也從事數(shù)據(jù)挖掘和洞察收集工作，但數(shù)據(jù)工程師從事更多基礎(chǔ)性工作。數(shù)據(jù)工程師面臨過(guò)度簡(jiǎn)化的風(fēng)險(xiǎn)，收集、開(kāi)發(fā)和構(gòu)建數(shù)據(jù)科學(xué)家和分析師分析的數(shù)據(jù)和基礎(chǔ)設(shè)施。

數(shù)據(jù)工程師首先是設(shè)計(jì)和維護(hù)系統(tǒng)、收集和整合來(lái)自不同來(lái)源的數(shù)據(jù)并創(chuàng)建有意義的數(shù)據(jù)集的軟件工程師。數(shù)據(jù)工程師不參與機(jī)器學(xué)習(xí)或其他分析任務(wù)的開(kāi)發(fā)，但他們負(fù)責(zé)制作這些實(shí)現(xiàn)的查詢功能，并確保數(shù)據(jù)收集的完整和準(zhǔn)確。簡(jiǎn)單地說(shuō)，數(shù)據(jù)工程師負(fù)責(zé)計(jì)算和其他分析發(fā)生的底層系統(tǒng)的所有方面。

通常，數(shù)據(jù)工程師具有工程、計(jì)算機(jī)科學(xué)或軟件開(kāi)發(fā)方面的背景，具有數(shù)據(jù)庫(kù)開(kāi)發(fā)和管理以及工程實(shí)踐方面的知識(shí)。大多數(shù)人擁有大專學(xué)歷，并具有實(shí)際工作經(jīng)驗(yàn)。一般來(lái)說(shuō)，軟件工程師需要具備以下能力it工程師，包括但不限于數(shù)據(jù)庫(kù)管理（尤其是數(shù)據(jù)清洗和確保數(shù)據(jù)集準(zhǔn)確）、擴(kuò)展、構(gòu)建容錯(cuò)數(shù)據(jù)管道、系統(tǒng)監(jiān)控和錯(cuò)誤管理。

為什么數(shù)據(jù)工程師如此重要？

數(shù)據(jù)科學(xué)一再被各界人士和媒體定義為未來(lái)最重要的行業(yè)之一，《哈佛商業(yè)評(píng)論》曾將數(shù)據(jù)科學(xué)稱為“21世紀(jì)最性感的工作”。但這些陳述通常是關(guān)于數(shù)據(jù)分析，或從數(shù)據(jù)中獲取可操作性的實(shí)際過(guò)程。

例如，我們經(jīng)常聽(tīng)到零售商分析客戶的購(gòu)買模式，也許我們從未向商家透露我們已經(jīng)有了孩子，但我們?cè)谕扑椭惺盏搅四虿純?yōu)惠券。

如果沒(méi)有數(shù)據(jù)工程師，大多數(shù)分析都是不可能的。因?yàn)槭褂靡郧暗姆椒▌?chuàng)建了很多數(shù)據(jù)it工程師，所以保持相關(guān)性很重要。數(shù)據(jù)工程是大數(shù)據(jù)新世界的基本組成部分，不僅增加了收集的數(shù)據(jù)量，而且確保數(shù)據(jù)清晰、一致和高質(zhì)量。雖然數(shù)據(jù)科學(xué)工作有時(shí)是無(wú)形的，但如果沒(méi)有這個(gè)過(guò)程，企業(yè)就無(wú)法從數(shù)據(jù)收集和分析中獲得可靠的結(jié)果。

一個(gè)沒(méi)有數(shù)據(jù)工程師的世界？不可能

面對(duì)日益增長(zhǎng)的使用數(shù)據(jù)收集的監(jiān)管要求，數(shù)據(jù)工程師也是保持合規(guī)性的重要組成部分。通過(guò)從工程角度呈現(xiàn)數(shù)據(jù)流，用戶可以更全面地滿足審核員的要求并準(zhǔn)確地提供必要的信息。

大數(shù)據(jù)世界日益復(fù)雜的意義在于，獲得洞察力不僅需要一套基本的算法，還需要對(duì)分析原理有基本的了解。分層角色確保對(duì)流程的各個(gè)方面進(jìn)行準(zhǔn)確和適當(dāng)?shù)墓芾?，利用每個(gè)學(xué)科的優(yōu)勢(shì)和能力。數(shù)據(jù)工程師將繼續(xù)成為這一過(guò)程的重要組成部分，開(kāi)發(fā)和實(shí)施將塑造數(shù)據(jù)驅(qū)動(dòng)未來(lái)的新技術(shù)。