崗位職責(zé)：主要負(fù)責(zé)數(shù)據(jù)架構(gòu)設(shè)計、數(shù)據(jù)建模、數(shù)據(jù)清洗、數(shù)據(jù)傳輸?shù)确矫娴墓ぷ鳎?br>1、負(fù)責(zé)制定數(shù)據(jù)處理和業(yè)務(wù)個性化規(guī)范；

2、負(fù)責(zé)數(shù)據(jù)采集與清洗，從各種數(shù)據(jù)源收集數(shù)據(jù)，并進(jìn)行清洗和預(yù)處理，以確保數(shù)據(jù)的質(zhì)量和可用性，使用數(shù)據(jù)采集工具和清洗工具進(jìn)行數(shù)據(jù)的提取、去重、修正錯誤；

3、負(fù)責(zé)數(shù)據(jù)倉庫搭建與管理，設(shè)計和實施數(shù)據(jù)倉庫，制定ETL（提取、轉(zhuǎn)換、加載）相關(guān)的設(shè)計方案和開發(fā)計劃。評估數(shù)據(jù)源的格式、訪問方式和數(shù)據(jù)質(zhì)量，并制定相應(yīng)的數(shù)據(jù)抽取策略，確保數(shù)據(jù)在傳輸過程中保持一致性和完整性，并通過合理的設(shè)計優(yōu)化數(shù)據(jù)存儲和訪問性能。

4、數(shù)據(jù)管道設(shè)計與維護(hù)構(gòu)建和維護(hù)數(shù)據(jù)管道，確保數(shù)據(jù)能夠高效地從源頭傳輸?shù)侥繕?biāo)存儲系統(tǒng)。設(shè)計和實施數(shù)據(jù)管道的各個環(huán)節(jié)，如提取、轉(zhuǎn)換和加載數(shù)據(jù)，并解決數(shù)據(jù)管道中的復(fù)雜性和可擴(kuò)展性問題。使用自動化工具和持續(xù)監(jiān)控來優(yōu)化數(shù)據(jù)流和處理流程，確保數(shù)據(jù)的實時性和準(zhǔn)確性。

5、負(fù)責(zé)針對的業(yè)務(wù)數(shù)據(jù)抽取和DW、DM建模，負(fù)責(zé)ETL鏈路的開發(fā)與數(shù)據(jù)處理；
6、負(fù)責(zé)數(shù)據(jù)倉庫數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)管理的規(guī)劃設(shè)計；
7、理解業(yè)務(wù)需求，負(fù)責(zé)數(shù)據(jù)采集、清洗、存儲程序以及實時數(shù)據(jù)計算的開發(fā)以及相應(yīng)優(yōu)化工作；
8、參與需求分析、并完成需求設(shè)計相應(yīng)文檔的編寫；
9、優(yōu)化數(shù)據(jù)查詢算法及數(shù)據(jù)庫性能調(diào)優(yōu)。

任職要求：
1、本科以上學(xué)歷，計算機(jī)相關(guān)專業(yè)；
2、五年以上相關(guān)大數(shù)據(jù)開發(fā)工作經(jīng)驗，參與過大型數(shù)據(jù)處理項目，熟悉從數(shù)據(jù)收集、清洗、轉(zhuǎn)換到存儲和分析的整個流程；

3、精通SQL開發(fā)， MySQL、PostgreSQL、Oracle等關(guān)系型數(shù)據(jù)庫，靈活運用SQL實現(xiàn)海量數(shù)據(jù)ETL加工處理；能夠直接利用NoSQL ,GIS處理數(shù)據(jù)；
4、熟練掌握一門或多門編程語言，并有大型項目建設(shè)經(jīng)驗者優(yōu)先，重點考察Java、Python；
5、精通數(shù)據(jù)倉庫領(lǐng)域知識和技能者優(yōu)先，包括但不局限于：元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理;
6、精通hadoop/kafka/hive/spark/flink等大數(shù)據(jù)生態(tài)組件，熟悉其運行機(jī)制和體系結(jié)構(gòu)；
7、有豐富數(shù)據(jù)清洗、指標(biāo)開發(fā)經(jīng)驗，熟悉數(shù)據(jù)倉庫模型設(shè)計與ETL開發(fā)經(jīng)驗，掌握維度建模設(shè)計方法，具備海量數(shù)據(jù)處理經(jīng)驗；具備數(shù)據(jù)倉庫模型設(shè)計與ETL開發(fā)經(jīng)驗，掌握維度建模設(shè)計方法；
6、熟悉Linux系統(tǒng)處理命令，能夠靈活運用shell做的文本處理和系統(tǒng)操作的優(yōu)先;
7、具備大數(shù)據(jù)分析處理、機(jī)器學(xué)習(xí)建模分析的優(yōu)先；

8、熟悉數(shù)據(jù)可視化工具，如Tableau、Power BI等，能夠?qū)?fù)雜數(shù)據(jù)轉(zhuǎn)化為直觀的圖表和報告；
9、邏輯思維能力強(qiáng)，對數(shù)據(jù)關(guān)系敏感，有較強(qiáng)的學(xué)習(xí)能力和創(chuàng)新思維；有良好的責(zé)任感，具備較強(qiáng)的問題分析和團(tuán)隊溝通協(xié)作能力