作(zuò)者：紅(hóng)掌網絡 訪問量：432 發布時(shí)間(jiān)：2020-05-25 07:22
想要成為(wèi)一(yī)名合格的大數據研發工程師（Bigdataresearchanddevelopmentengineers），首先就(jiù)要了(le)解大數據軟件開發這(zhè)個(gè)職業，大數據非傳統型的互聯網數據信息，大數據也(yě)包含了(le)很多新(xīn)的特征。互聯網時(shí)代的發展，每天都産生(shēng)各種各樣的數據信息，數據來(lái)源很廣，每天都有從各方面來(lái)臨的數據信息，大數據格式多種多樣，非結構化(huà)數據（Unstructureddata）、結構化(huà)數據（structureddata）、excel文件等等，而且大數據數量很大，至少要是TB級别的，甚至會達到PB級别的。既然數據總量如(rú)此之多，又各種類型的都有，增長數據也(yě)很快(kuài)，那數據該如(rú)何彙總并且轉化(huà)運用成自己所需要的數據信息呢(ne)?這(zhè)就(jiù)誕生(shēng)了(le)大數據研發工程師，大數據研發工程師在充分(fēn)了(le)解行情的基礎之上(shàng)，發揮其自身(shēn)所具備的專業技能(néng)。
先扯一(yī)下(xià)大數據的4V特征：
1：數據量大，TB->PB
2：數據類型繁多，結構化(huà)、非結構化(huà)文本、日志、視(shì)頻、圖片、地理(lǐ)位置等；
（datatypeisvarious,structuredandunstructuredtext,logs,video,images,thegeographicalposition,etc.;）
3：商(shāng)業價值高，但(dàn)是這(zhè)種價值需要在海量數據之上(shàng)，通過數據分(fēn)析與機器(qì)學習更快(kuài)速的挖掘出來(lái)；
（highcommercialvalue,butthisvaluetakeonhugeamountsofdata,throughdataanalysisandmachinelearningmorerapidexcavation;）
4：處理(lǐ)時(shí)效性高，海量數據的處理(lǐ)需求不再局限在離線計算(suàn)當中。
（processingtimelinessishigh,therequirementofthehugeamountsofdataprocessingisnolongerlimitedinoff-linecalculation.）
大數據軟件開發工程師需要學什(shén)麽呢(ne)？
我們從全國幾個(gè)大城市(shì)招聘信息來(lái)了(le)解，大數據軟件開發工程師到底需要學什(shén)麽及相應的月(yuè)薪。
大數據開發工程師杭州（20000-40000元/月(yuè))
1、熟悉java或scala開發語言，了(le)解python或go等語言，有3年以上(shàng)開發經驗2、了(le)解hadoop生(shēng)态，Hadoop，hive，HBase，Spark等，了(le)解實時(shí)計算(suàn)技術，包括storm,kafka，flume，druid等3、熟悉linux各項基本操作(zuò)4、熟悉數據結構，對常用算(suàn)法有所了(le)解，有良好(hǎo)的數據思維5、有大規模數據分(fēn)析、推薦、廣告相關(guān)研發經驗的優先6、有BI數據平台、數據倉庫、日志采集，多維實時(shí)分(fēn)析平台設計、開發、架構經驗優先。
崗位職責(responsibility)：
1、負責大數據平台基礎組件功能(néng)設計、研發及維護工作(zuò)；2、負責大數據采集、清洗、整合等工作(zuò)；3、負責大數據平台文本挖掘分(fēn)析等工作(zuò)；4、負責相關(guān)功能(néng)設計文檔撰寫；5、負責BI及報(bào)表開發。任職要求：1、深厚的Java功底，多年的并發編程經驗；2、參與過分(fēn)布式高性能(néng)服務(wù)的設計開發過程，有大規模分(fēn)布式系統的實踐經驗；3、熟悉HDFS/HBase/Hive/MapReduce/Storm/Spark等相關(guān)技術,有 MapReduce 程序的實戰開發經驗；4、熟悉Hadoop運行監控及調優技術；5、熟悉常見存儲技術（Sqlserver ,Oracle, Mysql, NosqlDB、Redis、ElasticSearch），WebService/WebAPI（SOAP/json）；6、熟悉Scala語言優先；7、計算(suàn)機、軟件工程及相關(guān)專業本科或以上(shàng)學曆，3年以上(shàng)相關(guān)項目開發經驗；
大數據開發工程師安徽合肥(5000-10000元/月(yuè))
崗位職責(responsibility)：
1、大數據平台的産品及解決方案設計、開發，實現(xiàn)大數據存儲、查詢、分(fēn)析、挖掘的目标；
3、對大數據（雲計算(suàn)）的主流技術、産品跟蹤研究，設計适合公司業務(wù)的、有競争力的方案和産品；
3、具體(tǐ)工作(zuò)包括技術預研、方案設計、構件選型、開發、集成、優化(huà)等；
4、能(néng)根據公司産品和業務(wù)特征不斷提出改進建議(yì)，持續創新(xīn)、開發新(xīn)産品及方案。
任職資格(responsibility)：
1.計算(suàn)機或者相關(guān)專業本科以上(shàng)學曆，1年實際工作(zuò)經驗
2.精通java。熟悉shell/perl/python任意一(yī)門腳本語言，有紮實的編程功底。
3.熟悉Hadoop+spark+hbase生(shēng)态和常見的開源分(fēn)布式計算(suàn)/存儲相關(guān)技術
4.精通SQL，有較好(hǎo)的SQL性能(néng)調優經驗，理(lǐ)解Hive/Mysql基本原理(lǐ)和調優策略；有開源貢獻者優先
5.有文檔編制基礎，能(néng)夠流暢編寫技術方案及實施方案
大數據開發工程師北京(15001-20000元/月(yuè))
崗位職責:
1、負責公司級的通用數據平台和分(fēn)析型産品，服務(wù)于全公司各個(gè)用戶産品線；
2、面向PB級超大規模數據問題，每天處理(lǐ)千億增量的用戶行為(wèi)數據；
3、為(wèi)大數據的全生(shēng)命周期提供服務(wù)，覆蓋數據産生(shēng)，傳輸，計算(suàn)，建模，統計分(fēn)析，實驗評估，可視(shì)化(huà)的全流程；
4、構建設計良好(hǎo)的數據流、數據倉庫、調度系統、kv存儲，查詢引擎，數據服務(wù)、分(fēn)析系統、流程規範，數據工具/産品，降低(dī)數據的使用門檻，保證系統穩定高效運行，以實現(xiàn)數據的最大價值。
任職資格:
1、熟悉linux編程環境，有較強的開發能(néng)力（java/scala/c++/python等);
2、強悍的編碼能(néng)力，對新(xīn)技術有強烈的學習熱情；
3、加分(fēn)，熟悉一(yī)項或多項大數據處理(lǐ)/分(fēn)析相關(guān)的工具/框架，e、g、azkaban,hadoop,Hive,Spark,kylin,druid,flume,kafka,hbase,mesos,kubernets,redisetc。
4.對數據建模有一(yī)定了(le)解。
