崗位職責(zé)：
AWS EMR集群管理：
o部署、配置和管理AWS EMR集群，確保最佳性能和可擴(kuò)展性。
o安裝、配置和維護(hù)在EMR集群上運(yùn)行的應(yīng)用程序，如Hadoop、Spark和Hive。
o監(jiān)控集群性能和資源利用率，實(shí)施調(diào)優(yōu)策略以優(yōu)化EMR集群的性能和成本效益。
o實(shí)施和管理電子病歷數(shù)據(jù)和配置的備份和恢復(fù)過程。
o開發(fā)和維護(hù)用于自動(dòng)化EMR集群和應(yīng)用程序的部署和管理的腳本。
o診斷并解決與EMR集群、應(yīng)用程序和數(shù)據(jù)處理作業(yè)相關(guān)的問題。
o與數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家和其他利益相關(guān)者密切合作，支持他們的大數(shù)據(jù)處理需求。
AWS服務(wù)管理：
o管理各種AWS服務(wù)，包括AWS Glue、Amazon Redshift、AWS Lambda、Amazon S3、Amazon MSK（Kafka）、KMS和Secrets Manager，以支持?jǐn)?shù)據(jù)處理、存儲(chǔ)、安全和計(jì)算需求。
o實(shí)施AWS Step Functions來編排工作流，并集成Lambda和Glue等服務(wù)以實(shí)現(xiàn)端到端自動(dòng)化。
o配置、管理和優(yōu)化S3存儲(chǔ)桶以實(shí)現(xiàn)高效的數(shù)據(jù)存儲(chǔ)，包括設(shè)置生命周期策略和訪問控制。
性能優(yōu)化和自動(dòng)化：
o通過持續(xù)監(jiān)控和最佳實(shí)踐優(yōu)化AWS Lambda、Glue和Redshift部署的性能和成本效益。
o使用Terraform自動(dòng)化基礎(chǔ)設(shè)施配置和管理。
o利用AWS CloudWatch監(jiān)控性能指標(biāo)、設(shè)置警報(bào)，并對(duì)擴(kuò)展事件或故障實(shí)施自動(dòng)響應(yīng)。
協(xié)作與支持：
o與開發(fā)和數(shù)據(jù)工程團(tuán)隊(duì)合作，使用Redshift、Glue和S3設(shè)計(jì)和實(shí)施可擴(kuò)展的數(shù)據(jù)管道和分析解決方案。
o為解決與AWS服務(wù)、性能瓶頸和數(shù)據(jù)不一致相關(guān)的問題提供運(yùn)營支持。
o通過主動(dòng)監(jiān)控、修補(bǔ)和維護(hù)確保關(guān)鍵系統(tǒng)的高可用性和可靠性。
文件和最佳實(shí)踐：
o記錄架構(gòu)設(shè)計(jì)、配置和安全策略，以維護(hù)基礎(chǔ)設(shè)施的全面知識(shí)庫。
o及時(shí)了解AWS的最新發(fā)展，并就系統(tǒng)、服務(wù)和工作流的改進(jìn)提出建議。
o向團(tuán)隊(duì)成員介紹AWS在安全性、可擴(kuò)展性和成本優(yōu)化方面的最佳實(shí)踐。
崗位要求：
?計(jì)算機(jī)科學(xué)、信息技術(shù)或相關(guān)領(lǐng)域的學(xué)士學(xué)位。
?在AWS服務(wù)方面擁有豐富的經(jīng)驗(yàn)，特別是EMR、EC2、S3和IAM。
?在管理Hadoop、Spark、Hive和Presto等大數(shù)據(jù)技術(shù)方面擁有深厚的背景。
?有Linux/Unix系統(tǒng)管理經(jīng)驗(yàn)。
?AWS服務(wù)經(jīng)驗(yàn)，包括Glue、Redshift、Lambda、Step Functions、S3、Kafka、KMS、Secrets Manager、IAM
?對(duì)AWS安全最佳實(shí)踐有深入了解，包括管理IAM角色、KMS、Secrets Manager和加密標(biāo)準(zhǔn)。
?使用AWS Lambda和Step Functions的無服務(wù)器架構(gòu)經(jīng)驗(yàn)。
?熟悉使用AWS Glue和MSK（Kafka）的數(shù)據(jù)處理、ETL管道和實(shí)時(shí)數(shù)據(jù)流。
?有基礎(chǔ)設(shè)施作為代碼工具（如Terraform）經(jīng)驗(yàn)者優(yōu)先。
-**技能**：
?對(duì)AWS網(wǎng)絡(luò)概念、安全協(xié)議和最佳實(shí)踐有深入了解。
?精通Python、Shell等腳本語言，用于自動(dòng)化任務(wù)。
?具有AWS CloudWatch和日志/警報(bào)服務(wù)等監(jiān)控工具的實(shí)踐經(jīng)驗(yàn)。
?良好的溝通和協(xié)作能力，能夠與跨職能團(tuán)隊(duì)合作。