爬蟲工程師崗位職責

　　在現(xiàn)在社會，崗位職責使用的頻率越來越高，制定崗位職責可以有效規(guī)范操作行為。那么你真正懂得怎么制定崗位職責嗎？以下是小編精心整理的爬蟲工程師崗位職責，希望能夠幫助到大家。

爬蟲工程師崗位職責1

　　職責描述：

　　1、負責公司產品的爬蟲架構設計與開發(fā)，以及爬蟲策略優(yōu)化等工作；

　　2、根據數(shù)據產品需求，負責對網頁等大規(guī)模文本數(shù)據抓取、清洗、存儲等設計開發(fā)工作；

　　任職要求：

　　1、計算機、數(shù)學或統(tǒng)計等相關專業(yè)本科及以上學歷，1年以上爬蟲相關工作經驗；

　　2、熟悉linux平臺，熟練掌握python或java爬蟲開發(fā)工作；

　　3、熟悉靜態(tài)、動態(tài)網頁等大規(guī)模文本數(shù)據的高效信息抽取、清洗、存儲等技術；

　　4、有反爬相關問題處理經驗，精通常用的爬蟲技術及架構設計，并能快速開發(fā)實現(xiàn)；

　　5、具備良好的編程習慣和算法基礎；

　　6、善于學習，熱愛技術開發(fā)，善于團隊協(xié)作，能積極主動地參與公司產品研發(fā)等相關工作。職責描述：

　　1、負責公司產品的爬蟲架構設計與開發(fā)，以及爬蟲策略優(yōu)化等工作；

　　2、根據數(shù)據產品需求，負責對網頁等大規(guī)模文本數(shù)據抓取、清洗、存儲等設計開發(fā)工作；

爬蟲工程師崗位職責2

　　職位描述：

　　負責設計和開發(fā)分布式網絡爬蟲系統(tǒng)

　　應用多種技術對各平臺進行數(shù)據采集

　　設計數(shù)據采集策略，提升數(shù)據采集效率及質量

　　與各行業(yè)分析師溝通，分析項目的可行性和討論抓取方案。

　　兩年以上爬蟲開發(fā)相關經驗，本科及以上學歷，計算機相關專業(yè)為佳

　　熟練掌握c#或java開發(fā)語言為佳

　　了解tcp/ip，http及相關網絡協(xié)議

　　熟悉js / html / xpath / json /正則表達式等網頁相關技術

　　熟悉分布式、多線程、緩存、消息隊列等互聯(lián)網技術

　　熟悉手機應用的數(shù)據抓取，手機app開發(fā)經驗，加/脫殼經驗為佳

　　良好的溝通技能，注重細節(jié)，抗壓性強

　　良好的英語溝通技能為佳

爬蟲工程師崗位職責3

　　崗位職責

　　1、熟悉線程池、并發(fā)機制、鎖機制、線程安全原理；

　　2、java體系知識：網絡io、設計模式、linux、jvm、java類加載機制、java內存模型；

　　3、爬蟲經驗：webmagic、adsl撥號、正則表達式、脫殼技術、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpclient、分詞、分布式爬蟲調度、數(shù)據質量監(jiān)控、代理ip調度算法、配置化爬蟲、授權爬蟲、輿情、應用市場、反爬；

　　4、熟悉http/http、tcp/ip、socket等通訊協(xié)議；

　　5、6年以上軟件開發(fā)經驗，至少2年爬蟲開發(fā)經驗。

　　任職要求

　　1、采集、清洗、監(jiān)控、配置化、調度、反爬、數(shù)據爬取、分詞、檢索等數(shù)據采集研發(fā)；

　　2、較強的邏輯思維和發(fā)散思維；

　　3、計算機或相關專業(yè)本科及以上學歷。

爬蟲工程師崗位職責4

　　職位描述：

　　1、開發(fā)網頁自動化腳本。

　　2、負責商品信息結構化，編寫自動化腳本解析網頁信息。

　　3、商品索引系統(tǒng)：億級sku的庫存價格實時跟蹤同步，并對商品進行智能分類、本地化、圖片處理和去重。

　　4、設計、開發(fā)、測試、部署以及維護并改進各子系統(tǒng)；

　　5、管理項目優(yōu)先級并按時交付。

　　職位要求：

　　1、全日制統(tǒng)招本科、碩士畢業(yè)，1年以上軟件開發(fā)工作經驗；

　　2、熟悉至少一門通用靜態(tài)編譯編程語言，c/c++/java/c#/go；

　　3、熟悉web端基礎標準，包括html、css、javascript、json等；

　　4、熟悉python或其他腳本語言，有興趣和能力根據需求學習其他編程語言；

　　5、熟悉unix/linux環(huán)境，memcache/redis/mongodb等存儲系統(tǒng)，能獨立設計開發(fā)包括前后端交互的業(yè)務子系統(tǒng)；

　　6、熟悉常見的'設計模式、單元測試、持續(xù)開發(fā)集成、code review，并能在日常工作踐行；

　　7、了解搜索引擎、電子商務、社交類應用的系統(tǒng)基本架構，能對已有的子系統(tǒng)進行優(yōu)化調整的優(yōu)先；

　　8、活躍的開源項目貢獻者優(yōu)先。

爬蟲工程師崗位職責5

　　職位描述：

　　1、參與爬蟲系統(tǒng)的架構設計與開發(fā)；

　　2、負責執(zhí)行和開發(fā)分布式網絡爬蟲系統(tǒng)，進行多平臺信息的抓取和分析；

　　3、負責網頁信息和app數(shù)據抽取、清洗、消重等工作，提升平臺的抓取效率；

　　4、參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調度策略；

　　5、實時監(jiān)控爬蟲的進度和警報反饋。

　　任職要求：

　　1、本科以上學歷，3年以上爬蟲開發(fā)相關經驗，熟練使用python或java進行開發(fā)；

　　2、熟練使用正則表達式、css path、xpath等，能夠從結構化的和非結構化的數(shù)據中獲取信息；

　　3、熟練使用mysql數(shù)據庫，掌握redis、mongodb、hive等常用nosql技術并具有實戰(zhàn)經驗；

　　4、熟悉各種抓取技術，包括代理、phantomjs/selenium、驗證碼處理；

　　5、熟悉整個爬蟲的設計及實現(xiàn)流程，有從事網絡爬蟲、網頁信息抽取開發(fā)經驗，熟悉反爬蟲技術，有分布式爬蟲架構經驗；

　　6、具有數(shù)據挖掘、自然語言處理、信息檢索、機器學習背景者優(yōu)先；

　　7、快速學習能力，工作積極主動，有創(chuàng)業(yè)熱情和良好的團隊協(xié)助能力；

　　8、需要有大量數(shù)據爬取以及高難度反爬經驗，沒有相關經驗的勿擾。

爬蟲工程師崗位職責6

　　工作內容：

　　1、基礎系統(tǒng)架構、模塊、庫和組件的研發(fā)；

　　2、分布式海量數(shù)據存儲和分析系統(tǒng)的研發(fā)和調優(yōu)；

　　3、統(tǒng)計分析、報表、saas業(yè)務等系統(tǒng)研發(fā)；

　　4、crm、財務結算、工作流等內部管理系統(tǒng)的研發(fā)。

　　能力要求：

　　1、至少使用php/java/python等一門以上語言，開發(fā)過不算太小的項目；

　　2、熟悉數(shù)據結構、db、os、web開發(fā)等相關知識，對linux相關的各類技術情有獨鐘；

　　3、有大規(guī)模、高性能互聯(lián)網網站系統(tǒng)相關的設計和開發(fā)經驗者優(yōu)先；

　　4、具備良好的學習能力和成長潛力，渴望和團隊一起快速成長。

爬蟲工程師崗位職責7

　　崗位職責：

　　1、參與app爬蟲項目的架構設計、研發(fā)工作，改進和提升爬蟲效率；

　　2、攻破各種反爬策略；

　　3、解決各類技術疑難問題，包括網絡問題、app分析、反編譯等；

　　4、與大數(shù)據工程師對接，完成實時數(shù)據與離線數(shù)據的爬取與對接；

　　任職資格：

　　1、計算機及相關專業(yè)本科及以上學歷，兩年以上相關工作經驗；

　　2、精通至少一種開發(fā)語言，如python、java；

　　3、熟練掌握一種開源爬蟲框架，如scrapy、webmagic，有研發(fā)爬蟲框架經驗者優(yōu)先；

　　4、熟悉appium、selenium等技術；

　　5、善于獨立分析并解決核心問題，如javascript反爬、爬蟲策略、防屏蔽規(guī)則、app爬取、驗證碼識別技術等；

　　6、熟悉mysql，？mongodb，？redis，？elasticsearch等數(shù)據庫；

　　7、對爬蟲有濃厚的興趣，責任感強，有較好的交流溝通能力和團隊合作能力；

　　8、有app安全、逆向等領域經驗的優(yōu)先；

爬蟲工程師崗位職責8

　　崗位職責：

　　1、負責網絡爬蟲的架構設計、開發(fā)與優(yōu)化；

　　2、負責抓取數(shù)據的清洗、落地、分析；

　　3、抓取策略算法的更新維護，以及確保數(shù)據抽取準確、高效。

　　任職要求：

　　1、兩年及以上互聯(lián)網或軟件行業(yè)工作經驗；

　　2、理解http協(xié)議，熟悉html、dom、xpath；

　　3、熟悉linux開發(fā)環(huán)境，至少熟悉python/go/java/node、js中的一種編程語言；

　　4、有爬蟲、信息抽取、文本分類、大數(shù)據處理相關經驗優(yōu)先；

　　5、有自然語言處理、機器學習經驗優(yōu)先；

　　6、熟悉瀏覽器內核、渲染機制優(yōu)先；

　　7、工作認真，細心，有條理，積極性高；良好的溝通能力及團隊合作精神。

爬蟲工程師崗位職責9

　　職責描述：

　　1、負責網絡爬蟲系統(tǒng)的設計與開發(fā)

　　2、對爬取的網頁信息進行數(shù)據抽取，清洗和去重等工作

　　任職要求：

　　1、2年及以上網絡爬蟲開發(fā)經驗，本科及大專學歷，計算機相關專業(yè)，

　　2、積極、溝通順暢，工作認真負責

　　3、扎實的編程能力，熟悉常用算法和數(shù)據結構等基礎知識

　　4、熟練掌握開發(fā)語言java或c/c++，熟悉腳本語言和正則表達式

爬蟲工程師崗位職責10

　　職位描述：

　　1、負責設計和開發(fā)分布式網絡爬蟲系統(tǒng)，進行多平臺信息的抓取和分析工作；

　　2、負責網頁信息和app數(shù)據抽取、清洗、消重等工作，提升平臺的抓取效率；

　　3、參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調度策略；

　　4、實時監(jiān)控爬蟲的進度和警報反饋。

　　任職要求：

　　1、有扎實的算法和數(shù)據結構能力；

　　2、熟悉爬蟲原理，熟悉常見的反爬蟲技術，有爬蟲相關項目開發(fā)經驗者優(yōu)先；

　　3、掌握http協(xié)議，熟悉html、dom、xpath等常見的數(shù)據抽取技術；

　　4、有大規(guī)模數(shù)據處理、數(shù)據挖掘、信息提取等經驗者優(yōu)先。

爬蟲工程師崗位職責11

　　職位要求

　　1、計算機相關專業(yè)，本科及以上學歷，3年以上爬蟲相關工作經驗；

　　2、對爬蟲編程有強烈愛好，熟練精通掌握至少1種語言java、python，在需要的情況下能快速上手新語言切換；

　　3、深入理解tpc/ip、http、以及web登錄認證的機制，有成功破解復雜驗證碼的經驗；

　　4、有通用分布式爬蟲系統(tǒng)架構和開發(fā)經驗，能快速部署新的爬蟲應用；

　　5、已有2年以上網絡爬蟲或搜索引擎工作經驗，參與過大規(guī)模數(shù)據爬蟲優(yōu)先考慮；

　　6、有app安全、逆向等領域的經驗；

　　7、具有良好的溝通、團隊協(xié)作、計劃能力，有過1—2人的團隊管理經驗。

　　崗位職責

　　1、建設完善分布式爬蟲系統(tǒng)；

　　2、建立通用的爬蟲框架，能夠快速適應新的爬蟲需求；

　　3、快速完成對目標資源的數(shù)據抓取、處理。

爬蟲工程師崗位職責12

　　職位描述：

　　1、負責廣告素材線索和垂直類產品爬蟲系統(tǒng)的設計、開發(fā)

　　2、抓取數(shù)據的清洗、落地、分析

　　3、抓取策略算法的更新維護，以及確保數(shù)據抽取準確、高效

　　任職要求：

　　1、具備強悍的編碼能力、扎實的數(shù)據結構和算法功底

　　2、熟悉tcp，http協(xié)議原理；熟悉ajax工作原理；精通python編程，熟悉一種開源爬蟲框架和源碼；

　　3、有爬蟲、信息抽取、文本分類、大數(shù)據處理相關經驗優(yōu)先

　　4、有自然語言處理、機器學習經驗優(yōu)先

【爬蟲工程師崗位職責】相關文章：

《小爬蟲》閱讀答案01-09

小爬蟲的啟示作文11-24

小爬蟲閱讀答案10-06

無處不在的爬蟲散文06-12

小爬蟲的道理課文原文11-01

《小爬蟲的道理》閱讀答案09-24

小爬蟲給我的啟示小學作文05-19

《爬蟲歷險記》讀后感02-17

工程師崗位職責11-03