400-885-9898
更新于 今天
智聯(lián)APPAPP
舉報(bào)

高級爬蟲工程師

2萬-3.5萬
  • 北京海淀區(qū)
  • 5-10年
  • 本科
  • 全職
  • 招1人

職位描述

Python數(shù)據(jù)清洗數(shù)據(jù)采集爬蟲開發(fā)分布式爬蟲反爬蟲
職位描述
1、負(fù)責(zé)爬蟲需求分析，分布式網(wǎng)絡(luò)爬蟲系統(tǒng)的開發(fā)和優(yōu)化
2、負(fù)責(zé)實(shí)時(shí)監(jiān)控爬蟲的運(yùn)行狀態(tài)和預(yù)警處理
3、負(fù)責(zé)海量數(shù)據(jù)的爬取、清洗、解析、入庫
4、負(fù)責(zé)持續(xù)維護(hù)爬蟲系統(tǒng)的正常運(yùn)行

職位要求
1、對于常見網(wǎng)站的反爬技術(shù)如js加密混淆等有分析應(yīng)用；
2、5年以上爬蟲經(jīng)驗(yàn)，精通python語言，熟悉正則表達(dá)式，熟悉html；
3、熟悉分布式系統(tǒng)；
4、熟悉Linux平臺開發(fā)，并且熟悉多線程多進(jìn)程編程、網(wǎng)絡(luò)編程，熟悉HTTP、TCP/UDP協(xié)議；
5、熟悉mysql，redis，mongo等數(shù)據(jù)庫的使用。
6、熟悉以下消息隊(duì)列的一種、如kafka、pulsar、rocketmq

加分項(xiàng)
1、熟悉APP攻防逆向，包括但不限于：逆向分析、虛擬多開等
2、對scrapy,pyppeteer,appinum或者其他爬蟲框架有研究了解；
3、對大規(guī)模存儲了解
4、熟悉golang

工作地點(diǎn)

中國農(nóng)大國際創(chuàng)業(yè)園1

職位發(fā)布者

吳女士/HRBP

剛剛活躍
立即溝通
公司Logo深圳市萬氪睿速科技有限公司
公司主頁