崗位職責(zé)
1.負(fù)責(zé)大數(shù)據(jù)平臺(tái)建設(shè)。包括數(shù)據(jù)管理平臺(tái)、數(shù)據(jù)治理平臺(tái)、能力門(mén)戶(hù)等的設(shè)計(jì)、開(kāi)發(fā)維護(hù)、技術(shù)方案確認(rèn)、架構(gòu)設(shè)計(jì)；
2.負(fù)責(zé)項(xiàng)目的技術(shù)方案制定與審核，調(diào)研與比較不同技術(shù)方案的優(yōu)缺點(diǎn)，并根據(jù)實(shí)際條件選擇合理的技術(shù)方案；
3.決策智能的實(shí)時(shí)和離線(xiàn)數(shù)據(jù)體系建設(shè)和技術(shù)鏈路架構(gòu)，制定數(shù)據(jù)技術(shù)和服務(wù)的策略，并構(gòu)建實(shí)時(shí)數(shù)倉(cāng)和離線(xiàn)數(shù)倉(cāng)，并參與數(shù)倉(cāng)管理；
4.提供數(shù)據(jù)采集、計(jì)算、存儲(chǔ)、產(chǎn)品化全鏈路數(shù)據(jù)解決方案，并參與方案建設(shè)。包括流數(shù)據(jù)、批處理場(chǎng)景；
5.協(xié)助建立完善的研發(fā)流程，通過(guò)優(yōu)化研發(fā)過(guò)程以提高研發(fā)質(zhì)量和研發(fā)效率。
崗位要求
1.本科以上學(xué)歷，5年以上大數(shù)據(jù)相關(guān)工作經(jīng)驗(yàn)，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)優(yōu)先；
2.熟悉hadoop部署和搭建過(guò)程，精通hadoop生態(tài)各類(lèi)組件，包括hdfs/hive/clickhouse/spark/flink等，精通編寫(xiě)shell、hivesql、flink腳本；
3.精通各類(lèi)數(shù)據(jù)采集、轉(zhuǎn)化工具，如kettle、dataX、flume、kafka等，熟悉SQL語(yǔ)言
4.了解分布式調(diào)度工具，如oozie、azkaban等
5.精通Java語(yǔ)言，具有扎實(shí)的面向?qū)ο箝_(kāi)發(fā)經(jīng)驗(yàn)，熟悉分布式系統(tǒng)和相關(guān)性能調(diào)優(yōu)思想；
6.熟悉大數(shù)據(jù)平臺(tái)發(fā)展趨勢(shì)，前沿技術(shù)；
7.有數(shù)據(jù)分析,數(shù)據(jù)挖掘，算法相關(guān)經(jīng)驗(yàn)者優(yōu)先。