崗位職責(zé):
1、負責(zé)爬蟲核心技術(shù)的設(shè)計和開發(fā);
2、設(shè)計爬取、調(diào)度和抽取算法,優(yōu)化系統(tǒng);
3、設(shè)計爬蟲策略和防屏蔽規(guī)則,提升網(wǎng)頁抓取的效率和質(zhì)量;
4、對指定網(wǎng)站、移動端App進行數(shù)據(jù)抓取工作;
5、及時解決爬蟲抓取過程中出現(xiàn)的問題并不斷維護、優(yōu)化程序。
任職要求:
1、本科及以上學(xué)歷,計算機相關(guān)專業(yè);
2、5年以上爬蟲開發(fā)經(jīng)驗;熟悉MySQL數(shù)據(jù)庫,能協(xié)助檢查數(shù)據(jù)入庫環(huán)節(jié);有多線程開發(fā)經(jīng)驗;會處理電商或其他網(wǎng)站反爬問題者優(yōu)先;
3、熟悉整個爬蟲的設(shè)計及實現(xiàn)流程,精通網(wǎng)頁抓取原理及技術(shù),精通正則表達式、HTML,JS,AJAX等網(wǎng)頁信息抽取技術(shù),從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
4、有海量數(shù)據(jù)爬取經(jīng)驗者優(yōu)先,有大數(shù)據(jù)量、大并發(fā)項目經(jīng)驗者優(yōu)先,有互聯(lián)網(wǎng)、電商平臺、移動端數(shù)據(jù)爬取技術(shù)經(jīng)驗者優(yōu)先;
5、有良好的代碼編寫習(xí)慣、溝通、協(xié)作能力,有責(zé)任心。