大數(shù)據(jù)工程師有很多細(xì)分的方向,不同的方向需要具有不同的知識(shí)結(jié)構(gòu),通常2-3年的時(shí)間,一個(gè)基礎(chǔ)BI開(kāi)發(fā)者就足以掌握以上五個(gè)方面的能力,關(guān)鍵在于我們是否有這樣的意識(shí)來(lái)提升和改變自己。下面就讓小編來(lái)給大家分享一下 BI 開(kāi)發(fā)人員是做什么的,讓我們一起來(lái)看看吧。
BI 開(kāi)發(fā)人員應(yīng)該具備什么樣的能力
分析歷史、預(yù)測(cè)未來(lái)、優(yōu)化選擇,這是大數(shù)據(jù)工程師在“玩數(shù)據(jù)”時(shí)最重要的三大任務(wù):
找出過(guò)去事件的特征:
大數(shù)據(jù)工程師一個(gè)很重要的工作,就是通過(guò)分析數(shù)據(jù)來(lái)找出過(guò)去事件的特征。找出過(guò)去事件的特征,最大的作用是可以幫助企業(yè)更好地認(rèn)識(shí)消費(fèi)者。通過(guò)分析用戶以往的行為軌跡,就能夠了解這個(gè)人,并預(yù)測(cè)他的行為。
預(yù)測(cè)未來(lái)可能發(fā)生的事情:
通過(guò)引入關(guān)鍵因素,大數(shù)據(jù)工程師可以預(yù)測(cè)未來(lái)的消費(fèi)趨勢(shì)。
找出最優(yōu)化的結(jié)果:
根據(jù)不同企業(yè)的業(yè)務(wù)性質(zhì),大數(shù)據(jù)工程師可以通過(guò)數(shù)據(jù)分析來(lái)達(dá)到不同的目的。
在工作崗位上,大數(shù)據(jù)工程師需要基于Hadoop,Spark等構(gòu)建數(shù)據(jù)分析平臺(tái),進(jìn)行設(shè)計(jì)、開(kāi)發(fā)分布式計(jì)算業(yè)務(wù)。負(fù)責(zé)大數(shù)據(jù)平臺(tái)(Hadoop,HBase,Spark等)集群環(huán)境的搭建,性能調(diào)優(yōu)和日常維護(hù)。負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì),數(shù)據(jù)ETL的設(shè)計(jì)、開(kāi)發(fā)和性能優(yōu)化。參與構(gòu)建大數(shù)據(jù)平臺(tái),依托大數(shù)據(jù)技術(shù)建設(shè)用戶畫像。
除開(kāi)以上是需要負(fù)責(zé)處理的工作,還需要負(fù)責(zé)分析新的數(shù)據(jù)需求,完成數(shù)據(jù)處理的設(shè)計(jì)(文檔)和實(shí)現(xiàn)。對(duì)大數(shù)據(jù)應(yīng)用產(chǎn)品設(shè)計(jì)及解決方案設(shè)計(jì),通過(guò)大數(shù)據(jù)挖掘用戶需求。負(fù)責(zé)數(shù)據(jù)處理程序設(shè)計(jì)框架改善,數(shù)據(jù)處理性能優(yōu)化, 系統(tǒng)數(shù)據(jù)處理的能力提高等
由于國(guó)內(nèi)的大數(shù)據(jù)工作還處在一個(gè)有待開(kāi)發(fā)的階段,因此能從其中挖掘出多少價(jià)值完全取決于工程師的個(gè)人能力。
已經(jīng)身處這個(gè)行業(yè)的專家給出了一些人才需求的大體框架,包括要有計(jì)算機(jī)編碼能力、數(shù)學(xué)及統(tǒng)計(jì)學(xué)相關(guān)背景;學(xué)歷并不是最主要的因素,能有大規(guī)模處理數(shù)據(jù)的經(jīng)驗(yàn)并且有喜歡在數(shù)據(jù)海洋中尋寶的好奇心會(huì)更適合這個(gè)工作。此之,一個(gè)優(yōu)秀的大數(shù)據(jù)工程師要具備一定的邏輯分析能力,并能迅速定位某個(gè)商業(yè)問(wèn)題的關(guān)鍵屬性和決定因素。
學(xué)習(xí)能力能幫助大數(shù)據(jù)工程師快速適應(yīng)不同的項(xiàng)目,并在短時(shí)間內(nèi)成為這個(gè)領(lǐng)域的數(shù)據(jù)專家;溝通能力則能讓他們的工作開(kāi)展地更順利,因?yàn)榇髷?shù)據(jù)工程師的工作主要分為兩種方式:由市場(chǎng)部驅(qū)動(dòng)和由數(shù)據(jù)分析部門驅(qū)動(dòng),前者需要常常向產(chǎn)品經(jīng)理了解開(kāi)發(fā)需求,后者則需要找運(yùn)營(yíng)部了解數(shù)據(jù)模型實(shí)際轉(zhuǎn)化的情況。
大數(shù)據(jù)應(yīng)用開(kāi)發(fā)工程師是大數(shù)據(jù)領(lǐng)域一個(gè)比較熱門的崗位,有大量的傳統(tǒng)應(yīng)用需要進(jìn)行大數(shù)據(jù)改造,因此大數(shù)據(jù)應(yīng)用開(kāi)發(fā)崗位有較多的人才需求。這個(gè)崗位需要掌握的知識(shí)結(jié)構(gòu)包括大數(shù)據(jù)平臺(tái)體系結(jié)構(gòu),比如目前常見(jiàn)的Hadoop、Spark平臺(tái),以及眾多組件的功能和應(yīng)用,另外還需要掌握至少一門編程語(yǔ)言,比如Java、Python、Scala等。
大數(shù)據(jù)分析工程師是大數(shù)據(jù)領(lǐng)域非常重要的崗位,因?yàn)榇髷?shù)據(jù)的核心之一是數(shù)據(jù)價(jià)值化,而數(shù)據(jù)價(jià)值化的核心則在于數(shù)據(jù)的分析和應(yīng)用。大數(shù)據(jù)分析工程師需要掌握的知識(shí)結(jié)構(gòu)包括算法設(shè)計(jì)、編程語(yǔ)言以及呈現(xiàn)工具,算法設(shè)計(jì)是大數(shù)據(jù)分析師需要掌握的重點(diǎn)內(nèi)容,而編程語(yǔ)言的作用則是完成算法的實(shí)現(xiàn)。另外,大數(shù)據(jù)分析師還需要掌握一些常見(jiàn)的分析工具。
大數(shù)據(jù)運(yùn)維工程師的主要工作內(nèi)容是搭建大數(shù)據(jù)平臺(tái)、部署大數(shù)據(jù)功能組件、配置網(wǎng)絡(luò)環(huán)境和硬件環(huán)境、維護(hù)大數(shù)據(jù)平臺(tái),大數(shù)據(jù)運(yùn)維工程師需要具備的知識(shí)結(jié)構(gòu)包括計(jì)算機(jī)網(wǎng)絡(luò)、大數(shù)據(jù)平臺(tái)體系結(jié)構(gòu)、編程語(yǔ)言(編寫運(yùn)維腳本)等,通常情況下,大數(shù)據(jù)運(yùn)維工程師也需要對(duì)數(shù)據(jù)庫(kù)有深入的了解。
為什麼要這么要求大家,因?yàn)橐粋€(gè)高質(zhì)量的BI項(xiàng)目的實(shí)施真的是非常具有挑戰(zhàn)性,所以我們要努力改變,努力提升。對(duì)于我們的客戶以及我們的團(tuán)隊(duì)來(lái)說(shuō)。以上就是小編為大家分享的關(guān)于“ BI 開(kāi)發(fā)人員是做什么的 ”的全部?jī)?nèi)容啦,希望能給大家?guī)?lái)幫助哦。
[免責(zé)聲明]
文章標(biāo)題: BI 開(kāi)發(fā)人員是做什么的
文章內(nèi)容為網(wǎng)站編輯整理發(fā)布,僅供學(xué)習(xí)與參考,不代表本網(wǎng)站贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。如涉及作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)及時(shí)溝通。發(fā)送郵件至36dianping@36kr.com,我們會(huì)在3個(gè)工作日內(nèi)處理。