崗位職責(zé)：
1.負(fù)責(zé)大數(shù)據(jù)應(yīng)用產(chǎn)品的代碼研發(fā)、重構(gòu)和優(yōu)化；
2.在技術(shù)深度、架構(gòu)設(shè)計(jì)、數(shù)據(jù)處理能力和業(yè)務(wù)敏感性之間保持良好的平衡；
3.關(guān)注并研究大數(shù)據(jù)生態(tài)最新的前沿技術(shù)，推動(dòng)產(chǎn)品技術(shù)革新；
4.能夠?yàn)槠髽I(yè)提供全方位的數(shù)據(jù)支撐和創(chuàng)新驅(qū)動(dòng)力。
任職要求：
1.精通至少一種編程語言（如 Java、Python、Scala），熟悉其在大數(shù)據(jù)生態(tài)系統(tǒng)中的應(yīng)用。掌握腳本語言（如 Shell、Bash），能夠編寫自動(dòng)化腳本進(jìn)行數(shù)據(jù)處理和運(yùn)維。
2.深入理解操作系統(tǒng)、計(jì)算機(jī)網(wǎng)絡(luò)和分布式系統(tǒng)原理。熟悉常見的數(shù)據(jù)結(jié)構(gòu)和算法，能夠高效處理大規(guī)模數(shù)據(jù)。
3.熟練使用關(guān)系型數(shù)據(jù)庫（如 MySQL、PostgreSQL）及優(yōu)化技巧。熟悉 NoSQL 數(shù)據(jù)庫（如 HBase、Cassandra、MongoDB）和列式存儲(chǔ)（如 Parquet、ORC）的特點(diǎn)及適用場景。備數(shù)據(jù)建模能力，能夠針對(duì)業(yè)務(wù)需求設(shè)計(jì)高效的數(shù)據(jù)存儲(chǔ)方案。
4.掌握大數(shù)據(jù)技術(shù)棧。精通 Hadoop 生態(tài)（HDFS、YARN、MapReduce）。熟練使用 Spark、Flink 等分布式計(jì)算框架，能夠?qū)崿F(xiàn)高效的數(shù)據(jù)處理。熟悉批處理與流處理架構(gòu)，能夠靈活應(yīng)用場景優(yōu)化計(jì)算性能。熟悉數(shù)據(jù)采集工具（如 Kafka、Flume、Sqoop），能夠設(shè)計(jì)高效的數(shù)據(jù)流動(dòng)方案。熟練掌握數(shù)據(jù)倉庫（如 Hive、ClickHouse、Snowflake）的架構(gòu)和查詢優(yōu)化方法。深刻理解分布式文件系統(tǒng)（如 HDFS、Ceph）的設(shè)計(jì)原理與應(yīng)用。熟悉存儲(chǔ)優(yōu)化技術(shù)（如冷熱數(shù)據(jù)分層存儲(chǔ)、多副本策略、數(shù)據(jù)壓縮等）。
5.良好的數(shù)據(jù)分析與挖掘能力。精通 SQL，能夠編寫高效、復(fù)雜的查詢語句。具備數(shù)據(jù)清洗、轉(zhuǎn)換和特征工程的能力，熟悉 ETL 流程及優(yōu)化技巧。熟悉機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)基本概念，能夠使用常見工具（如 Pandas、Scikit-learn）進(jìn)行數(shù)據(jù)分析與建模。
6.具備分布式系統(tǒng)設(shè)計(jì)與性能優(yōu)化能力。熟悉 CAP 理論、數(shù)據(jù)一致性和分布式事務(wù)處理，能夠設(shè)計(jì)高可用、高吞吐的系統(tǒng)架構(gòu)。能夠根據(jù)業(yè)務(wù)需求進(jìn)行合理的技術(shù)選型（如 Lambda 架構(gòu)、Kappa 架構(gòu)）。優(yōu)化分布式計(jì)算任務(wù)的性能（如 Spark Shuffle 調(diào)優(yōu)、分區(qū)策略優(yōu)化）。熟悉集群資源管理和任務(wù)調(diào)度工具（如 Kubernetes、YARN）。
7.具有 DevOps 實(shí)踐經(jīng)驗(yàn)，熟悉 CI/CD 工具（如 Jenkins、GitLab CI），能夠構(gòu)建大數(shù)據(jù)開發(fā)與部署流水線。掌握容器化技術(shù)（如 Docker）和大數(shù)據(jù)環(huán)境的容器化部署。熟悉大數(shù)據(jù)集群監(jiān)控工具（如 Prometheus、Grafana），能夠快速定位和解決性能瓶頸。
8.具備強(qiáng)烈的業(yè)務(wù)敏感性，能夠根據(jù)業(yè)務(wù)需求設(shè)計(jì)高效的數(shù)據(jù)處理流程和分析模型。善于在數(shù)據(jù)中發(fā)現(xiàn)價(jià)值，并提供可行的技術(shù)解決方案支持業(yè)務(wù)決策。
9.良好的創(chuàng)新與解決問題能力，善于分析業(yè)務(wù)場景，主動(dòng)發(fā)現(xiàn)優(yōu)化點(diǎn)并提出技術(shù)解決方案。
10.能與團(tuán)隊(duì)緊密協(xié)作，跨部門推動(dòng)數(shù)據(jù)平臺(tái)建設(shè)和業(yè)務(wù)落地。參與過大規(guī)模數(shù)據(jù)處理或?qū)崟r(shí)分析項(xiàng)目，能夠展示關(guān)鍵技術(shù)突破點(diǎn)和項(xiàng)目成果。