職責(zé)描述：
1、設(shè)計工商和金融類的主流網(wǎng)站反扒解決方案
2、負責(zé)分布式爬蟲系統(tǒng)的核心技術(shù)研究、架構(gòu)設(shè)計和落地指導(dǎo)
3、負責(zé)爬蟲算法的策略優(yōu)化，提升網(wǎng)頁抓取的效率和動態(tài)增量更新
任職要求：
1、計算機相關(guān)專業(yè)，三年以上網(wǎng)頁，APP和微博類爬取等相關(guān)工作經(jīng)驗優(yōu)先
2、熟悉反爬機制，有能力解決圖片驗證碼、IP訪問限制和增量更新問題。
3、負責(zé)指導(dǎo)爬蟲工程師進行技術(shù)驗證，核心技術(shù)問題的攻關(guān)，解決爬取過程中的難題
4、熟悉MongoDB、Mysql、Oracle等數(shù)據(jù)庫操作，具有數(shù)據(jù)庫應(yīng)用軟件的開發(fā)經(jīng)驗
5、熟悉JAVA，Python等語言，掌握爬蟲框架（如Scrapy，WebMagic）的設(shè)計和優(yōu)化
6、熟悉網(wǎng)絡(luò)編程和多線程機制，具有http網(wǎng)絡(luò)編程項目經(jīng)驗
7、邏輯思維嚴謹，具有良好的溝通能力和團隊協(xié)作精神

北京知因智慧數(shù)據(jù)科技有限公司，是一家致力于行業(yè)大數(shù)據(jù)和知識圖譜的金融科技企業(yè)。即利用機器學(xué)習(xí)和知識圖譜技術(shù)，結(jié)合金融行業(yè)咨詢經(jīng)驗，為金融企業(yè)的風(fēng)險管理、精準營銷、客戶價值、供應(yīng)鏈金融等領(lǐng)域提供全新的數(shù)據(jù)服務(wù)和產(chǎn)品運營。
知因智慧，是IBM和中國科學(xué)院大數(shù)據(jù)團隊的跨界融合，創(chuàng)始人是中國最早一批從事金融大數(shù)據(jù)挖掘，利用知識圖譜分析企業(yè)風(fēng)險的專家團隊。此外，知因智慧的團隊來自咨詢公司金融領(lǐng)域?qū)＜遥L期服務(wù)于銀監(jiān)會、央行、工商銀行、建設(shè)銀行、中國銀行、國家開發(fā)銀行、交通銀行、中信銀行等各大金融機構(gòu)，具有豐富大數(shù)據(jù)分析背景和金融行業(yè)的服務(wù)經(jīng)驗，將在中國提供具有高水準的數(shù)據(jù)服務(wù)。
　早在2006年，知因智慧的創(chuàng)始團隊即在中國銀監(jiān)會利用中國最大的十九家銀行的跨行客戶信貸數(shù)據(jù)，分析集團客戶、信貸客戶的企業(yè)關(guān)系圖譜，并研發(fā)了中國第一個該領(lǐng)域的模型——OSCAR客戶風(fēng)險預(yù)警模型，成功應(yīng)用于我國監(jiān)管機構(gòu)，并推廣至眾多大型國有銀行、股份制銀行、城市商業(yè)銀行，取得了巨大經(jīng)濟效益。