對于非專業(yè)人士，數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師和數(shù)據(jù)工程師的角色可能沒有什么不同。但實際上，這三個位置是完全不同的。數(shù)據(jù)工程師的稱號在數(shù)據(jù)科學(xué)領(lǐng)域正在興起。

過去，數(shù)據(jù)工程師的角色通常由商業(yè)智能開發(fā)人員擔(dān)任，但隨著數(shù)據(jù)規(guī)模和復(fù)雜性的不斷增加，工作量已經(jīng)遠遠超出了簡單的開發(fā)人員所能處理的范圍。

什么是數(shù)據(jù)工程師？

雖然數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師也從事數(shù)據(jù)挖掘和洞察收集工作，但數(shù)據(jù)工程師從事更多基礎(chǔ)性工作。數(shù)據(jù)工程師面臨過度簡化的風(fēng)險，收集、開發(fā)和構(gòu)建數(shù)據(jù)科學(xué)家和分析師分析的數(shù)據(jù)和基礎(chǔ)設(shè)施。

數(shù)據(jù)工程師首先是設(shè)計和維護系統(tǒng)、收集和整合來自不同來源的數(shù)據(jù)并創(chuàng)建有意義的數(shù)據(jù)集的軟件工程師。數(shù)據(jù)工程師不參與機器學(xué)習(xí)或其他分析任務(wù)的開發(fā)，但他們負(fù)責(zé)制作這些實現(xiàn)的查詢功能，并確保數(shù)據(jù)收集的完整和準(zhǔn)確。簡單地說，數(shù)據(jù)工程師負(fù)責(zé)計算和其他分析發(fā)生的底層系統(tǒng)的所有方面。

通常，數(shù)據(jù)工程師具有工程、計算機科學(xué)或軟件開發(fā)方面的背景，具有數(shù)據(jù)庫開發(fā)和管理以及工程實踐方面的知識。大多數(shù)人擁有大專學(xué)歷，并具有實際工作經(jīng)驗。一般來說，軟件工程師需要具備以下能力it工程師，包括但不限于數(shù)據(jù)庫管理（尤其是數(shù)據(jù)清洗和確保數(shù)據(jù)集準(zhǔn)確）、擴展、構(gòu)建容錯數(shù)據(jù)管道、系統(tǒng)監(jiān)控和錯誤管理。

為什么數(shù)據(jù)工程師如此重要？

數(shù)據(jù)科學(xué)一再被各界人士和媒體定義為未來最重要的行業(yè)之一，《哈佛商業(yè)評論》曾將數(shù)據(jù)科學(xué)稱為“21世紀(jì)最性感的工作”。但這些陳述通常是關(guān)于數(shù)據(jù)分析，或從數(shù)據(jù)中獲取可操作性的實際過程。

例如，我們經(jīng)常聽到零售商分析客戶的購買模式，也許我們從未向商家透露我們已經(jīng)有了孩子，但我們在推送中收到了尿布優(yōu)惠券。

如果沒有數(shù)據(jù)工程師，大多數(shù)分析都是不可能的。因為使用以前的方法創(chuàng)建了很多數(shù)據(jù)it工程師，所以保持相關(guān)性很重要。數(shù)據(jù)工程是大數(shù)據(jù)新世界的基本組成部分，不僅增加了收集的數(shù)據(jù)量，而且確保數(shù)據(jù)清晰、一致和高質(zhì)量。雖然數(shù)據(jù)科學(xué)工作有時是無形的，但如果沒有這個過程，企業(yè)就無法從數(shù)據(jù)收集和分析中獲得可靠的結(jié)果。

一個沒有數(shù)據(jù)工程師的世界？不可能

面對日益增長的使用數(shù)據(jù)收集的監(jiān)管要求，數(shù)據(jù)工程師也是保持合規(guī)性的重要組成部分。通過從工程角度呈現(xiàn)數(shù)據(jù)流，用戶可以更全面地滿足審核員的要求并準(zhǔn)確地提供必要的信息。

大數(shù)據(jù)世界日益復(fù)雜的意義在于，獲得洞察力不僅需要一套基本的算法，還需要對分析原理有基本的了解。分層角色確保對流程的各個方面進行準(zhǔn)確和適當(dāng)?shù)墓芾?，利用每個學(xué)科的優(yōu)勢和能力。數(shù)據(jù)工程師將繼續(xù)成為這一過程的重要組成部分，開發(fā)和實施將塑造數(shù)據(jù)驅(qū)動未來的新技術(shù)。