1.負(fù)責(zé)爬蟲軟件工具和爬蟲技術(shù)的選??;
2.負(fù)責(zé)爬蟲采集器設(shè)計(jì)、開發(fā)、優(yōu)化;
3.實(shí)現(xiàn)各種互聯(lián)網(wǎng)來源的數(shù)據(jù)標(biāo)準(zhǔn)化處理入庫。
任職要求
1.本科及以上學(xué)歷,能力優(yōu)秀者可放寬到大專學(xué)歷;
2.精通HTTP協(xié)議,熟悉各種WEB認(rèn)證機(jī)制,掌握nutch\\solr\\lucene\\heritrix等工具優(yōu)先考慮;
3.一年以上JAVA/PYTHON使用開發(fā)經(jīng)驗(yàn),熟悉數(shù)據(jù)庫架構(gòu),在PDF文本化、表格提取、圖像OCR、文本清理、智能識別某一方面有一定的特長;
4.工作認(rèn)真負(fù)責(zé),能夠快速學(xué)習(xí)各種新技術(shù),有強(qiáng)烈的專研精神和獨(dú)立解決問題能力。
2.負(fù)責(zé)爬蟲采集器設(shè)計(jì)、開發(fā)、優(yōu)化;
3.實(shí)現(xiàn)各種互聯(lián)網(wǎng)來源的數(shù)據(jù)標(biāo)準(zhǔn)化處理入庫。
任職要求
1.本科及以上學(xué)歷,能力優(yōu)秀者可放寬到大專學(xué)歷;
2.精通HTTP協(xié)議,熟悉各種WEB認(rèn)證機(jī)制,掌握nutch\\solr\\lucene\\heritrix等工具優(yōu)先考慮;
3.一年以上JAVA/PYTHON使用開發(fā)經(jīng)驗(yàn),熟悉數(shù)據(jù)庫架構(gòu),在PDF文本化、表格提取、圖像OCR、文本清理、智能識別某一方面有一定的特長;
4.工作認(rèn)真負(fù)責(zé),能夠快速學(xué)習(xí)各種新技術(shù),有強(qiáng)烈的專研精神和獨(dú)立解決問題能力。
職位類別: 數(shù)據(jù)庫工程師
舉報
- 所屬行業(yè):網(wǎng)絡(luò)其它
- 所在地區(qū):上海-楊浦區(qū)
- 聯(lián)系人:陳小姐
- 手機(jī):會員登錄后才可查看
- 郵箱:會員登錄后才可查看
- 郵政編碼:
工作地址
- 地址:






