什麽是數據工(gōng)程師？

數據工(gōng)程師設計、構建和優化大規模數據收集、存儲、訪問和分(fēn)析系統。它們創建數據科(kē)學(xué)家、以數據為(wèi)中(zhōng)心的應用(yòng)程序和其他(tā)數據消費者使用(yòng)的數據管道。

這個IT角色需要大量的技(jì )術技(jì )能(néng)，包括SQL數據庫設計和多(duō)種編程語言的深入知識。數據工(gōng)程師還需要溝通技(jì )能(néng)，以便跨部門工(gōng)作(zuò)，了解業務(wù)領導者希望從公(gōng)司的大型數據集中(zhōng)獲得什麽。

數據工(gōng)程師通常負責構建訪問原始數據的算法，但要做到這一點，他(tā)們需要了解公(gōng)司或客戶的目标，因為(wèi)使數據策略與業務(wù)目标相一緻非常重要，尤其是在涉及大型複雜數據集和數據庫時。

數據工(gōng)程師還必須知道如何優化數據檢索，以及如何為(wèi)利益相關者開發儀表闆、報告和其他(tā)可(kě)視化。根據組織的不同，數據工(gōng)程師也可(kě)能(néng)負責傳達數據趨勢。較大的組織通常有(yǒu)多(duō)個數據分(fēn)析師或科(kē)學(xué)家來幫助理(lǐ)解數據，而較小(xiǎo)的公(gōng)司可(kě)能(néng)會依賴數據工(gōng)程師來擔任這兩個角色。

數據工(gōng)程師的角色

根據Dataquest，數據工(gōng)程師可(kě)以扮演三個主要角色。這些措施包括：

多(duō)面手：通常為(wèi)小(xiǎo)團隊或小(xiǎo)公(gōng)司工(gōng)作(zuò)的數據工(gōng)程師作(zuò)為(wèi)公(gōng)司中(zhōng)為(wèi)數不多(duō)的“以數據為(wèi)中(zhōng)心”的人之一，身兼數職。這些通才通常負責數據處理(lǐ)的每一步，從管理(lǐ)數據到分(fēn)析數據。Dataquest表示，對于任何希望從數據科(kē)學(xué)過渡到數據工(gōng)程的人來說，這都是一個很(hěn)好的角色，因為(wèi)小(xiǎo)型企業通常不需要為(wèi)規模而設計。

以管道為(wèi)中(zhōng)心：通常在中(zhōng)型公(gōng)司中(zhōng)，以管道為(wèi)核心的數據工(gōng)程師與數據科(kē)學(xué)家一起工(gōng)作(zuò)，幫助利用(yòng)他(tā)們收集的數據。Dataquest稱，以管道為(wèi)中(zhōng)心的數據工(gōng)程師需要“對分(fēn)布式系統和計算機科(kē)學(xué)的深入了解”。

以數據庫為(wèi)中(zhōng)心：在大型組織中(zhōng)，管理(lǐ)數據流是一項全職工(gōng)作(zuò)，數據工(gōng)程師專注于分(fēn)析數據庫。以數據庫為(wèi)中(zhōng)心的數據工(gōng)程師跨多(duō)個數據庫使用(yòng)數據倉庫，并負責開發表模式。

數據工(gōng)程師職位描述

數據工(gōng)程師負責管理(lǐ)和組織數據，同時關注可(kě)能(néng)影響業務(wù)目标的趨勢或不一緻性。這是一個技(jì )術性很(hěn)強的職位，需要編程、數學(xué)和計算機科(kē)學(xué)等領域的經驗和技(jì )能(néng)。但是，數據工(gōng)程師還需要軟技(jì )能(néng)來向組織中(zhōng)的其他(tā)人傳達數據趨勢，并幫助企業利用(yòng)其收集的數據。數據工(gōng)程師最常見的職責包括：

開發、構建、測試和維護體(tǐ)系結構

使體(tǐ)系結構與業務(wù)需求保持一緻

數據采集

開發數據集流程

使用(yòng)編程語言和工(gōng)具(jù)

确定提高數據可(kě)靠性、效率和質(zhì)量的方法

對行業和商(shāng)業問題進行研究

使用(yòng)大型數據集解決業務(wù)問題

部署複雜的分(fēn)析程序、機器學(xué)習和統計方法

為(wèi)預測性和規範性建模準備數據

使用(yòng)數據查找隐藏模式

使用(yòng)數據發現可(kě)以自動化的任務(wù)

基于分(fēn)析向利益相關者提供更新(xīn)

數據工(gōng)程師vs.數據科(kē)學(xué)家

數據工(gōng)程師和數據科(kē)學(xué)家經常密切合作(zuò)，但發揮着截然不同的作(zuò)用(yòng)。數據工(gōng)程師負責開發、測試和維護數據管道和數據架構。數據科(kē)學(xué)家利用(yòng)數據科(kē)學(xué)從大量結構化和非結構化數據中(zhōng)發現見解，以塑造或滿足特定的業務(wù)需求和目标。

數據工(gōng)程師vs.數據架構師

數據工(gōng)程師和數據架構師的角色密切相關，經常混淆。數據架構師是将業務(wù)需求轉化為(wèi)技(jì )術需求并定義數據标準和原則的高級幻想家。他(tā)們可(kě)視化并設計組織的企業數據管理(lǐ)框架。數據工(gōng)程師與數據架構師合作(zuò)創建該願景，構建和維護數據架構商(shāng)的數據框架指定的數據系統。