崗位職責(zé):
1.負(fù)責(zé)大數(shù)據(jù)基礎(chǔ)架構(gòu)平臺(tái)(Hadoop/hive/spark/kafka/presto/impala)的規(guī)劃、部署、管理、擴(kuò)容和優(yōu)化,保障平臺(tái)穩(wěn)定可靠高效運(yùn)行,深入調(diào)優(yōu)Hadoop及其生態(tài)組件的各項(xiàng)參數(shù),以提升集群性能
2.負(fù)責(zé)線上數(shù)據(jù)平臺(tái)的運(yùn)維,發(fā)現(xiàn)并解決性能瓶頸,支撐業(yè)務(wù)和數(shù)據(jù)量的快速增長(zhǎng),保障服務(wù)的穩(wěn)定性和可用性;
3.研究大數(shù)據(jù)前沿技術(shù),改進(jìn)現(xiàn)有系統(tǒng)的運(yùn)維架構(gòu),提升系統(tǒng)的運(yùn)維效率,大數(shù)據(jù)計(jì)算方向的關(guān)鍵技術(shù)研究、難點(diǎn)攻克;
4.指導(dǎo)并解決團(tuán)隊(duì)成員技術(shù)問(wèn)題;
任職要求:
1、具有5年以上大數(shù)據(jù)平臺(tái)實(shí)施和(Hadoop/hive/spark/kafka/presto/impala)運(yùn)維經(jīng)驗(yàn);
2、熟悉Hadoop生態(tài)系統(tǒng)核心組件的特點(diǎn),豐富的Hadoop集群運(yùn)維、故障解決、性能調(diào)優(yōu)經(jīng)驗(yàn);
3.能夠設(shè)計(jì)實(shí)時(shí)數(shù)據(jù)、離線數(shù)據(jù)處理架構(gòu)并搭建實(shí)現(xiàn)框架;熟練使用Shell(必備)、精能Python或java;
4.深入理解系統(tǒng)安全及審計(jì)日志分析,有過(guò)自動(dòng)化監(jiān)控運(yùn)維經(jīng)驗(yàn);
5、具備較好邏輯思維能力,有較強(qiáng)的抗壓能力,對(duì)解決挑戰(zhàn)性問(wèn)題充滿熱情,善于解決問(wèn)題和分析問(wèn)題。
6、有大數(shù)據(jù)應(yīng)用產(chǎn)品開(kāi)發(fā)、數(shù)倉(cāng)架構(gòu),相關(guān)建設(shè)工作優(yōu)先。,