崗位描述1：

1、參與大規模框架系統的相關架構和開發；

2、負責框架系統模塊設計和開發，包括服務端和客戶端，以及日常升級和維護

3、協助完成需求收集、分析，系統設計，測試和部署，編寫開發過程中涉及的相關文檔

任職資格

1. 3年以上Java開發經驗，熟悉Java core和開源項目，有互聯網開發經驗者優先

2. 具備面向對象的設計思路和經驗，熟悉軟件開發流程、體系結構，具備較好的文檔能力及良好的編碼風格；

3. 具備良好的表達和溝通能力，能充分理解用戶需求和功能描述，設計并開發軟件系統；

4、熟悉SOA、Messaging，socket、線程、并發等開發知識，有后臺框架開發經驗者優先

5、熟悉應用服務器， 熟悉Tomcat、Netty、Apache的配置及其優化

6. 熟悉數據庫知識，具有數據庫設計能力，熟悉SQL Server/Oracle/MySql相關技術及工具

7熟悉HTTP傳輸協議，精通網頁抓取原理及技術，能模擬瀏覽器操作爬蟲；

8、責任心強，熱愛爬蟲工作，有爬蟲項目經驗優先。

9. 具備極強的團隊精神和合作精神，對工作有熱情，能夠在一定壓力下工作

10.全日制本科、碩士及以上學歷，計算機、數學、物理及其他理工科專業畢業。

崗位描述2：

1、參與爬蟲系統的架構設計與開發；

2、具有實際爬蟲開發、內容提取工作經驗2年以上；

3、負責設計和開發分布式網絡爬蟲系統，進行多平臺信息的抓取和分析；

4、設計爬蟲策略和防屏蔽規則，提升網頁抓取的效率和質量；

5、能獨立解決實際開發過程碰到的各類問題；

崗位要求：

1、熟悉linux平臺開發，3年以上Java、python或C/C++開發經驗；

2、精通信息抓取和整合技術，從結構化的和非結構化的數據中獲取信息；

3、熟悉Mysql，redis，mongdb三者至少之一，有過數據庫調優和海量數據存儲經驗優先；

4、具有搜索相關技術研發經驗者優先；

5、具有數據挖掘、自然語言處理、信息檢索、機器學習背景者優先；

6、有nutch，heritrix抓取經驗或者分布式抓取經驗者優先；

7、熟悉搜索引擎和個性化推薦相關技術，精通主流分詞算法、分類、提取摘要、大規模網頁聚類、索引、檢索等相關開發經驗者優先。

職位描述3：

1、精通爬蟲相關技術，如：httpClient/jSoup/xpath/正則表達式/驗證碼加密處理/代理池等

2、精通Core Java相關知識，如：常用集合類/泛型/反射/IO/注解/多線程等

3、掌握常用開源框架，如：Spring、MyBatis、Spring Boot等

4、掌握常用數據庫（如：MySQL）及相應DDL/DML，熟悉索引及常規SQL調優

5、掌握常用開發管理工具及應用服務器，如：Eclipser、Maven、Git/SVN、Tomcat、Nginx等

6、熟悉行為驗證碼識別、模擬登陸、數據清洗、去重、入庫等

7、熟悉HTTP協議，掌握HTML/CSS/JS/JQUERY/AJAX等相關知識

8、熟悉MQ、Zookeeper、Redis等分布式和NoSQL技術

9、了解Linux系統及Linux常用命令

10、了解Hadoop、HBase、HDFS、KAFKA等大數據相關知識

11、有運營商網站爬取或逆向經驗尤佳

職位描述4：

1、參與數據層建設，專注于垂直領域數據爬取，進行多平臺信息的抓取和分析；

2、參與爬蟲系統的架構設計與開發；

3、實現數據提取、清洗、結構化、入庫、統計分析等需求；

4、研究優化算法，提升爬蟲系統的穩定性、可擴展性；

5、設計爬蟲策略和防屏蔽規則，提升網頁抓取的效率和質量；

6、能獨立解決實際開發過程碰到的各類問題。

崗位要求：

1、全日制本科以上學歷，計算機等專業；

2、有扎實的計算機基礎、熟悉常用數據結構，具有實際爬蟲開發經驗；

3、至少熟練掌握Java／Python其中一種語言，良好的編碼風格及編碼能力；

4、熟悉高并發、高性能的分布式系統的設計及應用，熟悉常用數據存儲，各種數據處理技術優先；

5、有3年以上編程開發經驗，有豐富的爬蟲和反爬蟲經驗者優先。