崗位職責(zé):
1. 根據(jù)現(xiàn)有架構(gòu)完善公司未來業(yè)務(wù)規(guī)劃需求;
2. 根據(jù)產(chǎn)品設(shè)計(jì)的業(yè)務(wù)模型進(jìn)行功能設(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì);
3. 通過系統(tǒng)建設(shè),降低業(yè)務(wù)數(shù)據(jù)獲取門檻,提升數(shù)據(jù)價(jià)值發(fā)現(xiàn)的能力和效率;
4.優(yōu)化系統(tǒng)架構(gòu),提高服務(wù)性能和穩(wěn)定性、提升研發(fā)質(zhì)量和效率;
5.能夠快速支持業(yè)務(wù)需求,進(jìn)行重點(diǎn)難點(diǎn)技術(shù)攻關(guān)、及時(shí)解決線上問題。
6. 研究各種網(wǎng)頁、app接口,實(shí)現(xiàn)多通道抓取;
7. 負(fù)責(zé)爬蟲系統(tǒng)的核心技術(shù)研究,不斷滿足精細(xì)化運(yùn)營需求,在保證抓取系統(tǒng)不斷前進(jìn)的基礎(chǔ)上,完成日常抓取與解析任務(wù),對數(shù)據(jù)的穩(wěn)定性負(fù)責(zé)。
任職要求:
1. 3年以上相關(guān)經(jīng)驗(yàn),熟悉 Java技術(shù)棧,熟悉分布式系統(tǒng)的設(shè)計(jì)和應(yīng)用,參與過大型項(xiàng)目;
2. 熟練掌握 Java 語言:熟悉面向?qū)ο?、多線程、反射;了解Jvm調(diào)優(yōu)、類加載、Nio/Aio等更佳;
3. 熟悉 mysql、mongoDB、redis 等數(shù)據(jù)庫配置、部署、優(yōu)化;
4. 熟悉常用中間件,包括但不限于消息隊(duì)列、分庫分表組件、定時(shí)調(diào)度、分布式配置等;
5. 熟練使用常用研發(fā)工具,包括但不限于依賴管理打包管理工具 Maven、版本控制工具 Git 等;
6. 熟悉軟件工程和編程規(guī)范,熱愛技術(shù),代碼規(guī)范較好者、有過開放平臺相關(guān)研發(fā)經(jīng)驗(yàn)者優(yōu)先;
7.熟悉任意一種開源爬蟲框架,比如scrapy等,有開發(fā)爬蟲框架經(jīng)驗(yàn)優(yōu)先;