更新于 12月27日

高級數(shù)據(jù)采集工程師

1.5萬-2萬·14薪
  • 南京雨花臺區(qū)
  • 5-10年
  • 本科
  • 全職
  • 招1人

職位描述

數(shù)據(jù)爬蟲反爬蟲分布式爬蟲SQLHTML
崗位職責(zé):
1、負責(zé)爬蟲核心技術(shù)的設(shè)計和開發(fā);
2、設(shè)計爬取、調(diào)度和抽取算法,優(yōu)化系統(tǒng);
3、設(shè)計爬蟲策略和防屏蔽規(guī)則,提升網(wǎng)頁抓取的效率和質(zhì)量;
4、對指定網(wǎng)站、移動端App進行數(shù)據(jù)抓取工作;
5、及時解決爬蟲抓取過程中出現(xiàn)的問題并不斷維護、優(yōu)化程序。

任職要求:
1、本科及以上學(xué)歷,計算機相關(guān)專業(yè);
2、5年以上爬蟲開發(fā)經(jīng)驗;熟悉MySQL數(shù)據(jù)庫,能協(xié)助檢查數(shù)據(jù)入庫環(huán)節(jié);有多線程開發(fā)經(jīng)驗;會處理電商或其他網(wǎng)站反爬問題者優(yōu)先;
3、熟悉整個爬蟲的設(shè)計及實現(xiàn)流程,精通網(wǎng)頁抓取原理及技術(shù),精通正則表達式、HTML,JS,AJAX等網(wǎng)頁信息抽取技術(shù),從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
4、有海量數(shù)據(jù)爬取經(jīng)驗者優(yōu)先,有大數(shù)據(jù)量、大并發(fā)項目經(jīng)驗者優(yōu)先,有互聯(lián)網(wǎng)、電商平臺、移動端數(shù)據(jù)爬取技術(shù)經(jīng)驗者優(yōu)先;
5、有良好的代碼編寫習(xí)慣、溝通、協(xié)作能力,有責(zé)任心。

工作地點

楚翹城

職位發(fā)布者

白女士/HRBP

三日內(nèi)活躍
立即溝通
公司Logo小西科技(南京)有限責(zé)任公司
小西科技成立于2014年,是一家專注于移動互聯(lián)網(wǎng)生態(tài)建設(shè)的領(lǐng)先科技公司。自成立以來,公司一直致力于通過創(chuàng)新技術(shù)和卓越服務(wù)推動行業(yè)發(fā)展。小西科技集團下設(shè)靈狐數(shù)據(jù)、莫邪互娛和神龍云計算三大核心業(yè)務(wù)板塊,并在上海、南京、成都、馬來西亞、北京和徐州設(shè)有多個辦公點,形成了覆蓋全球的業(yè)務(wù)網(wǎng)絡(luò)。靈狐數(shù)據(jù)靈狐數(shù)據(jù)是小西科技旗下專注于為中小型企業(yè)賦能智慧營銷的綜合服務(wù)平臺。依托人工智能和大數(shù)據(jù)分析技術(shù),靈狐數(shù)據(jù)為客戶提供全面、創(chuàng)新、數(shù)據(jù)驅(qū)動的營銷解決方案,整合了移動應(yīng)用數(shù)據(jù)分析、廣告智能優(yōu)化、數(shù)字營銷和品牌整合營銷等多元業(yè)務(wù),助力企業(yè)在競爭激烈的市場中脫穎而出。靈狐數(shù)據(jù)以應(yīng)用商店情報分析、廣告行情分析和市場情報分析為核心,打造專業(yè)的移動應(yīng)用數(shù)據(jù)分析平臺,幫助企業(yè)精準定位市場機會,優(yōu)化決策,推動業(yè)務(wù)增長。同時,靈狐數(shù)據(jù)旗下的FoxAdvert品牌專注于數(shù)字廣告營銷、內(nèi)容創(chuàng)意和社交媒體管理等服務(wù),通過數(shù)據(jù)驅(qū)動的策略制定和高效執(zhí)行,幫助品牌精準觸達目標受眾,提升品牌價值與市場影響力。以“智慧賦能、數(shù)據(jù)驅(qū)動”為核心理念,靈狐數(shù)據(jù)通過技術(shù)創(chuàng)新與專業(yè)服務(wù)為企業(yè)帶來精準、高效的營銷解決方案,從市場洞察到廣告優(yōu)化再到品牌推廣,全方位助力全球客戶提升競爭力,開創(chuàng)商業(yè)新機遇。我們的團隊由經(jīng)驗豐富的數(shù)據(jù)科學(xué)家和營銷專家組成,他們不斷優(yōu)化算法和策略,以確保客戶的投資回報率最大化。神龍云計算神龍云計算是小西科技集團的重要業(yè)務(wù)板塊,專注于為客戶提供全面的云計算解決方案。我們不僅僅是一個云計算服務(wù)提供商,更是客戶數(shù)字化轉(zhuǎn)型的戰(zhàn)略伙伴。神龍云計算在國內(nèi)和海外建立了強大的云基礎(chǔ)設(shè)施,支持大數(shù)據(jù)處理、數(shù)據(jù)分析、網(wǎng)絡(luò)加速、跨境網(wǎng)絡(luò)解決方案等多種服務(wù)。通過云手機、指紋瀏覽器等創(chuàng)新產(chǎn)品,我們?yōu)榭蛻籼峁└踩⒏咝У臄?shù)字體驗。神龍云計算提供的解決方案涵蓋從數(shù)據(jù)采集與分析到網(wǎng)絡(luò)加速的多個方面,幫助企業(yè)在全球市場中實現(xiàn)卓越的業(yè)務(wù)表現(xiàn)。我們的技術(shù)團隊不斷創(chuàng)新,確保每一項服務(wù)都能滿足客戶的多樣化需求,為客戶的全球業(yè)務(wù)發(fā)展提供堅實的技術(shù)支持。通過與國內(nèi)外多個行業(yè)的企業(yè)合作,神龍云計算不斷提升服務(wù)質(zhì)量,以滿足不同客戶的需求。莫邪互娛莫邪互娛是全球領(lǐng)先的手游服務(wù)提供商之一,服務(wù)覆蓋全球近2億用戶。我們專注于研發(fā)和發(fā)行卡牌游戲及休閑游戲,整合了豐富的娛樂資源和個性化服務(wù)。我們自創(chuàng)立以來,憑借先進的技術(shù)、創(chuàng)新的游戲設(shè)計和卓越的用戶體驗贏得了全球玩家的信任與支持。我們的產(chǎn)品不僅在國內(nèi)市場取得了顯著的成功,也在國際市場上獲得了廣泛的好評。莫邪互娛致力于為用戶提供多樣化的網(wǎng)絡(luò)游戲和互動娛樂體驗。從最初的單機游戲拓展至網(wǎng)絡(luò)游戲,從國內(nèi)市場拓展至海外市場,從依托渠道商到自建發(fā)行渠道,從傳統(tǒng)模式到AI探索,公司發(fā)展緊跟時代,在前行的路上已逐步形成了自己的理念與特色。我們不斷推陳出新,結(jié)合最新的技術(shù)趨勢和用戶需求,推出具有市場競爭力的精品游戲。通過與國內(nèi)外多家一線游戲發(fā)行公司建立深度合作關(guān)系,讓莫邪互娛在全球市場上占據(jù)了重要的地位。企業(yè)愿景與使命小西科技以“創(chuàng)新驅(qū)動未來,技術(shù)改變世界”為企業(yè)愿景,致力于通過技術(shù)創(chuàng)新為全球客戶創(chuàng)造更大的價值。我們始終堅持以客戶為中心,秉承誠信、專業(yè)、創(chuàng)新的企業(yè)精神,不斷提升自身的技術(shù)實力和服務(wù)水平。未來,小西科技將繼續(xù)在科技領(lǐng)域深耕細作,為推動全球科技進步貢獻力量。小西科技的成功離不開每一位員工的努力和每一位合作伙伴的支持。我們將繼續(xù)攜手并進,共同迎接未來的機遇與挑戰(zhàn)。通過不斷的創(chuàng)新和突破,小西科技將繼續(xù)引領(lǐng)行業(yè)潮流,成為全球科技領(lǐng)域的佼佼者。我們將不斷探索新的技術(shù)前沿,為客戶和社會創(chuàng)造更多的價值和可能性。我們深知,科技的進步不僅僅是技術(shù)的提升,更是對人類生活方式的改變。小西科技將繼續(xù)關(guān)注社會責(zé)任,通過技術(shù)創(chuàng)新改善人類生活質(zhì)量。我們期待與更多的合作伙伴攜手,共同創(chuàng)造一個更加智能、更加互聯(lián)的未來。
公司主頁