上海 python 招聘（工資待遇要求）

一、崗位職責
1. 負責分布式企業數據采集系統的架構設計、開發與持續迭代，確保系統在高并發場景下的穩定性、可用性與可橫向擴展能力。
2. 面向 工商信息、司法案件、經營風險、企業輿情、知識產權等企業數據業務場景，設計并開發高穩定爬蟲，實現全量采集、增量更新與數據質量保障。
3. 突破和應對復雜反爬機制（參數加密、復雜登錄、驗證碼、IP 輪換、限頻、動態渲染、JS 逆向等），確保采集任務長期穩定運行。
4. 負責構建和優化企業數據的 抽取、清洗、結構化、標準化、入庫流程，支撐企業級數據中臺建設。
5. 參與千萬級以上企業數據的日常增量更新方案設計與性能優化，通過調度、分片、并發控制、緩存與差量比對等手段保障任務按 SLA 完成。
6. 負責爬蟲任務的 監控、報警、部署、故障處理和性能調優，確保系統穩定可靠。

二、任職要求
1. 本科及以上學歷，計算機相關專業，4 年以上 Python 開發經驗，熟悉分布式采集、反爬和逆向技術。
2. 精通 Python，熟練掌握 httpClient、JSoup、XPath、正則表達式等爬蟲核心技術，熟悉代理池、驗證碼識別、加密參數處理、JS 逆向等關鍵技術。
3. 熟悉 Linux 環境、消息隊列、分布式架構，對高并發采集、高可用調度、限流與任務拆分有實踐經驗。
4. 熟悉企業數據的結構特點，能從網頁、API、PDF、異構源中準確提取關鍵字段。
5. 具備良好的工程化能力、數據質量意識，能推動采集鏈路持續優化與穩定性提升。
6. 有處理日均千萬級數據采集 / 更新任務經驗者優先。