崗位職責(zé)：會(huì)python 、java 、爬蟲
1、負(fù)責(zé)研究網(wǎng)站特質(zhì)，數(shù)據(jù)要素分析、提取、整合，網(wǎng)頁(yè)信息抓取、解析、數(shù)據(jù)清洗等研發(fā)和優(yōu)化工作；
2、參與爬蟲相關(guān)數(shù)據(jù)存儲(chǔ)機(jī)制設(shè)計(jì)，參與設(shè)計(jì)數(shù)據(jù)有效利用策略，從數(shù)據(jù)合理性、完整性角度提供建議
3、維護(hù)現(xiàn)有網(wǎng)絡(luò)爬蟲系統(tǒng)，完成數(shù)據(jù)采集與爬取、解析處理、入庫(kù)等數(shù)據(jù)日常工作，跟進(jìn)技術(shù)熱點(diǎn)，及時(shí)更新新的爬蟲功能；
4、完成上級(jí)領(lǐng)導(dǎo)臨時(shí)安排的工作任務(wù)。
崗位要求：
1、計(jì)算機(jī)相關(guān)專業(yè)、至少會(huì)一種python的web框架,熟悉數(shù)據(jù)結(jié)構(gòu),常用算法,設(shè)計(jì)模式有良好的編碼習(xí)慣。
2、熟練使用sql和nosql類型數(shù)據(jù)庫(kù),最少2種。
3、有豐富的數(shù)據(jù)處理經(jīng)驗(yàn),熟悉常用數(shù)據(jù)庫(kù)處理工具。
4、熟悉linux和docekr。
5、了解rabbitmq，kafka，redis，ElasticSearch等相關(guān)領(lǐng)域知識(shí)優(yōu)先
6、會(huì)java等多種語(yǔ)言者優(yōu)先