400-885-9898
更新于 11月27日
智聯(lián)APPAPP
舉報

大數(shù)據(jù)開發(fā)工程師(A20387)

1.5萬-2.5萬
  • 東莞
  • 3-5年
  • 本科
  • 全職
  • 招1人

職位描述

數(shù)據(jù)中臺開發(fā)數(shù)據(jù)庫開發(fā)數(shù)據(jù)架構
職位描述：
（1）大數(shù)據(jù)開發(fā)
1、負責大數(shù)據(jù)離線開發(fā)，使用Sqoop等組件開發(fā)每日離線數(shù)據(jù)采集任務，使用Hive/Spark SQL編寫ETL作業(yè)過程，處理各種復雜的業(yè)務邏輯，根據(jù)業(yè)務邏輯配置合理的調度順序；
2、負責大數(shù)據(jù)實時開發(fā)，使用Flink/Spark實時計算引擎開發(fā)實時流作業(yè)，讀取接口/文本/數(shù)據(jù)庫日志/消息隊列中間件等數(shù)據(jù)源，經(jīng)過業(yè)務邏輯加工處理后寫入大數(shù)據(jù)平臺；
3、保障數(shù)據(jù)產出時效穩(wěn)定，每天監(jiān)控數(shù)據(jù)產出時間，采取調度鏈路優(yōu)化，作業(yè)優(yōu)化，SQL優(yōu)化等手段，提升數(shù)據(jù)產出效率。
（2）集團數(shù)據(jù)資產建設
1、根據(jù)各個業(yè)務領域項目推進過程中沉淀的數(shù)據(jù)分析體系，維護成可方便檢索，查找和應用的數(shù)據(jù)資產，包含業(yè)務口徑，出數(shù)頻率，數(shù)據(jù)樣例等關鍵業(yè)務和技術元數(shù)據(jù)；
2、根據(jù)數(shù)據(jù)分析師提供的數(shù)據(jù)質量規(guī)則，開發(fā)相應的數(shù)據(jù)校驗程序，確保跑數(shù)完成后即刻校驗，確保高質量的數(shù)據(jù)資產；
3、生成相應的數(shù)據(jù)服務接口，可供前端應用，BI工具和業(yè)務系統(tǒng)調用。
（3）數(shù)據(jù)倉庫模型設計
1、根據(jù)業(yè)務領域數(shù)據(jù)特征以及維度建模的方法，橫向劃分數(shù)據(jù)倉庫分析主題域，縱向劃分層次，達成數(shù)據(jù)重復利用率高且能快速開發(fā)數(shù)據(jù)需求的目的；
2、定義各個數(shù)倉分層，考慮數(shù)據(jù)寫入和查詢的性能，提升作業(yè)的運行速度，報表查詢數(shù)據(jù)時的高復用性和易擴展性；
3、通過合理的數(shù)據(jù)模型設計，提高數(shù)據(jù)的查詢性能和分析效率，降低維護成本。
（4）制定規(guī)范
1、制定公司數(shù)據(jù)倉庫架構設計原則，輸出數(shù)據(jù)倉庫模型設計的基本原則；
2、制定公司數(shù)據(jù)開發(fā)的開發(fā)規(guī)范。
職位要求：
（1）教育程度：
本科畢業(yè)3年以上，計算機，信息工程，數(shù)學等相關專業(yè)畢業(yè)；
（2）相關經(jīng)驗：
具有3年以上大數(shù)據(jù)開發(fā)相關經(jīng)驗；
（3）專業(yè)能力：
1.具備數(shù)據(jù)倉庫架構和設計能力，熟悉維度建模的方法；
2.良好的溝通和邏輯思維能力，能夠對業(yè)務需求進行抽象并據(jù)此進行架構設計；
3.有過數(shù)據(jù)資產目錄建設和維護的經(jīng)驗；
4.熟悉大數(shù)據(jù)離線和實時開發(fā)使用的組件，Hive、Spark、Flink等，熟悉分布式計算和存儲的相關原理及高可用機制原理，并可獨立排查故障問題；
5.熟練使用Dataworks，DolphiScheduler，kettle或其它數(shù)據(jù)開發(fā)工具中的一種；
6.熟悉SQL的執(zhí)行原理，具備優(yōu)化復雜SQL的能力；
7.掌握shell，python，java等編程語言中的一種；
8.具有很好的溝通表達能力，勤奮好學，具有很好的團隊合作意識。

工作地點

玖龍環(huán)球(中國)投資集團有限公司

職位發(fā)布者

余先生/招聘專員

三日內活躍
立即溝通
公司Logo玖龍紙業(yè)（控股）有限公司
玖龍紙業(yè)成立于1995年，總部位于廣東東莞，2006年在香港上市，是世界知名的環(huán)保造紙集團，中國造紙龍頭企業(yè)（主要產品為各類環(huán)保包裝紙）。集團在東莞、蘇州（太倉）、重慶、天津、泉州、沈陽、唐山、樂山及海外越南建立造紙基地，配套熱電聯(lián)產、環(huán)保水處理及物流運輸系統(tǒng)。2018年收購美國四家漿紙一體化工廠，2019年收購馬來西亞一家漿紙廠。集團2020年先后在湖北荊州、廣西北海、湖北咸寧、馬來西亞雪蘭莪建設大型造紙新基地。玖龍不僅在上游擁有國內外完備的再生資源回收體系，在下游亦積極布局多個智能化包裝公司，分別位于東莞、太倉、天津、成都和重慶，實現(xiàn)了造紙全產業(yè)鏈發(fā)展。集團現(xiàn)有年總產能約1800萬噸，2019年營收總額約680億元，總資產約820億元，國內員工約1.7萬人，2020年名列中國民營企業(yè)500強第111位。
公司主頁