崗位職責:
1.負責參與公司大數(shù)據(jù)平臺,設計和開發(fā)。
2. 負責數(shù)據(jù)模型的設計、搭建和優(yōu)化,確保數(shù)據(jù)的質(zhì)量和準確性。
3. 負責編寫和維護高質(zhì)量的代碼,確保代碼的可讀性、可維護性和可擴展性。
4. 負責數(shù)據(jù)倉庫和數(shù)據(jù)湖的建設和維護,包括數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)。
5. 負責實時數(shù)據(jù)處理和分析,包括數(shù)據(jù)流的處理和實時報表的生成。
6. 負責監(jiān)控和維護大數(shù)據(jù)平臺的穩(wěn)定性和性能,及時解決出現(xiàn)的問題。
7. 負責與業(yè)務部門和技術(shù)團隊密切合作,理解業(yè)務需求并將其轉(zhuǎn)化為技術(shù)方案。
8. 跟蹤和研究大數(shù)據(jù)技術(shù)的最新進展,不斷優(yōu)化和完善大數(shù)據(jù)平臺。
9. 參與制定和執(zhí)行大數(shù)據(jù)團隊的工作計劃和目標,推動團隊的持續(xù)改進和發(fā)展。
任職要求:
1. 本科及以上學歷,大數(shù)據(jù)、計算機相關(guān)專業(yè)優(yōu)先,3年及以上大數(shù)據(jù)開發(fā)、搭建數(shù)倉工作經(jīng)驗。
2. 精通常見數(shù)據(jù)庫sql python 熟悉集群環(huán)境搭建,熟悉掌握大數(shù)據(jù)框架,包括但不限于 Hadoop、Spark、Flink等。
3. 熟練掌握至少一種主流的編程語言,如 Java、Python或 Scala。
4. 深入理解離線數(shù)倉和實時數(shù)據(jù)開發(fā)的概念和技術(shù),包括但不限于 Hive、Presto、Kafka、Doris、ES等。
5. 具備較強的數(shù)據(jù)結(jié)構(gòu)和算法能力,能夠解決復雜的數(shù)據(jù)處理問題。
6. 具有良好的團隊協(xié)作和溝通能力,能夠與業(yè)務部門和技術(shù)團隊有效溝通,有快速學習和適應新技術(shù)和工具的能力。
8. 具備數(shù)據(jù)敏感性和分析能力,能夠從海量數(shù)據(jù)中提取有價值的信息。
9. 具備一定的項目管理和推進能力,能夠獨立負責項目的開發(fā)和實施。