職位內(nèi)容：
1.負(fù)責(zé)業(yè)務(wù)所涉及(社交媒體APP及WEB等)數(shù)據(jù)的爬取，清洗，結(jié)構(gòu)化，入庫，并持續(xù)運(yùn)營(yíng)維護(hù)。 2.設(shè)計(jì)、開發(fā)、維護(hù)、重構(gòu)單獨(dú)及分布式網(wǎng)絡(luò)爬蟲； 3.對(duì)采集到的數(shù)據(jù)進(jìn)行清洗和管理。 4.能夠獨(dú)立部署爬蟲程序，維護(hù)爬蟲服務(wù)器； 5.負(fù)責(zé)爬蟲的性能優(yōu)化和穩(wěn)定性優(yōu)化； 6.對(duì)常見的反爬、屏蔽、風(fēng)控規(guī)則對(duì)抗研究。 7.模擬觸控，實(shí)現(xiàn)對(duì)某個(gè)app的自動(dòng)化控制 8.編寫開發(fā)文檔，可供其他開發(fā)同事進(jìn)行后續(xù)開發(fā)支持;
任職要求：
1.熟練掌握C#、python、java、golang其中至少一門語言 精通動(dòng)態(tài)網(wǎng)頁抓取、瀏覽器模擬抓取、APP抓取等技術(shù)
2熟悉使用各類抓包工具 精通頁面信息抽取的方法，如：正則表達(dá)式、CSS選擇器、XPATH
3. 熟悉javascript,對(duì)常見的javascript混淆加密對(duì)抗有一定經(jīng)驗(yàn)，熟悉常見的瀏覽器指紋追蹤和對(duì)抗方法 熟悉常見數(shù)據(jù)庫的操作、基本的數(shù)據(jù)結(jié)構(gòu)、使用和優(yōu)化
4.熟悉Linux操作系統(tǒng)的基本操作和維護(hù) 了解常見的網(wǎng)絡(luò)協(xié)議格式，如protobuf、https等協(xié)議 有開發(fā)爬蟲框架經(jīng)驗(yàn)
5.熟悉反爬蟲、驗(yàn)證碼識(shí)別技術(shù) 具備良好的溝通能力和團(tuán)隊(duì)協(xié)作能力
備注：
有小紅書APP、抖音APP、快手APP、微信、微博、********、知乎采集經(jīng)驗(yàn)的優(yōu)先 有移動(dòng)端app數(shù)據(jù)采集經(jīng)驗(yàn)，掌握xposed、frida等工具框架優(yōu)先 有selenium、puppeteer、appium等自動(dòng)化測(cè)試工具使用經(jīng)驗(yàn)，能夠快速編寫uiautomation等RPA腳本優(yōu)先
6.985 211優(yōu)先 計(jì)算機(jī)專業(yè)