更新于 1月3日

開源數(shù)據(jù)采集工程師

1.2萬-2.4萬
  • 廈門思明區(qū)
  • 3-5年
  • 碩士
  • 全職
  • 招3人

職位描述

反爬蟲分布式爬蟲數(shù)據(jù)爬蟲SPIDER-FLOWWebMagicScrapyPythonJavaGO
一、崗位職責(zé)
1、基于內(nèi)部采集框架,熟悉采集架構(gòu),熟悉開源數(shù)據(jù)采集程序方法策略,設(shè)計采集策略和防屏蔽規(guī)則,提升開源數(shù)據(jù)采集效率和質(zhì)量,能夠進(jìn)行論壇、網(wǎng)站等平臺信息的抓取和分析
2、深入了解采集平臺數(shù)據(jù)獲取邏輯,完成數(shù)據(jù)采集、解析處理、數(shù)據(jù)入庫等數(shù)據(jù)日常工作,完成數(shù)據(jù)采集規(guī)則編寫和維護(hù)
3、把握開源數(shù)據(jù)采集核心技術(shù)研究方向,研究優(yōu)化平臺,提升采集程序的穩(wěn)定性、可擴(kuò)展性,支撐相關(guān)單位的數(shù)據(jù)需求
二、任職要求
1、具備良好的計算機(jī)專業(yè)只是,有開源數(shù)據(jù)采集項目經(jīng)驗(yàn)
2、熟悉開源數(shù)據(jù)采集原理,負(fù)責(zé)或參與過日采集數(shù)據(jù)量過十萬規(guī)模的采集系統(tǒng)
3、熟悉scrapy、webmagic、spider-flow等開源數(shù)據(jù)采集框架
4、有較強(qiáng)的逆襲和解決問題能力,具備良好的溝通和團(tuán)隊寫作能力
5、特別優(yōu)秀人才,學(xué)歷可放寬至本科。
三、加分項
1、熟悉go語言,能夠使用golang開發(fā)應(yīng)用

工作地點(diǎn)

福建省廈門市

職位發(fā)布者

劉先生/人事經(jīng)理

三日內(nèi)活躍
立即溝通
公司Logo公安部第一研究所
公安部第一研究所是從事公安科學(xué)技術(shù)研究,為公安業(yè)務(wù)部門和社會公共安全領(lǐng)域提供技術(shù)、產(chǎn)品、工程和服務(wù)的綜合性研究所,建立于1960年初,至今走過了近50年的歷程,已發(fā)展成為公安部最大的直屬研究所,業(yè)務(wù)領(lǐng)域覆蓋安全檢查、安全防范與警用信息集成、證件與防偽、技術(shù)偵查、警用通信與指揮系統(tǒng)集成、特種警用裝備、信息安全、標(biāo)準(zhǔn)化與檢測等方面。進(jìn)入21世紀(jì),科學(xué)技術(shù)迅猛發(fā)展,面對新形勢、新任務(wù)、新期待,我所進(jìn)一步明確定位,堅持以“科技強(qiáng)警”為己任,以公安業(yè)務(wù)一線的需求為導(dǎo)向,積極開展科技創(chuàng)新,注重提高和完善公安技術(shù)手段與公共安全裝備技術(shù),加大科技成果推廣力度,開發(fā)生產(chǎn)了大量用于公安和社會公共安全領(lǐng)域的高新技術(shù)產(chǎn)品,為維護(hù)社會穩(wěn)定和預(yù)防打擊犯罪做出了積極貢獻(xiàn)。作為一個現(xiàn)代化的研究所,我們非常重視開展國內(nèi)外技術(shù)交流與合作,與眾多的科研院所和高等院校建立了廣泛的學(xué)術(shù)交流和技術(shù)研發(fā)合作渠道。目前,我所擁有一支年齡、知識、專業(yè)結(jié)構(gòu)合理,富有朝氣的人才隊伍,為我所各項工作的全面發(fā)展奠定了堅實(shí)的基礎(chǔ)。希望通過網(wǎng)站這個窗口,可以使您在第一時間了解我們,分享我所研究人員的科研成果,了解我所的學(xué)術(shù)交流和新產(chǎn)品動態(tài),得到及時的信息服務(wù)。在此,真誠希望社會各界對我們的工作繼續(xù)給予關(guān)心和指導(dǎo),期盼與國內(nèi)外同仁開展全方位多層次的交流與合作。
公司主頁