爬虫开发工程师

岗位职责：
爬虫系统开发：构建分布式爬取架构，实现对千万级数据的高效采集，应对反爬机制（如验证码、IP封锁、接口加密），持续优化采集速度与系统稳定性。
数据处理流程：规划数据清洗、去重及存储策略，建立自动化采集链路与监控体系，确保数据准确性与采集时效。
系统监控维护：实时跟踪爬虫运行情况，及时发现并处理采集故障，保障系统高可用与持续运行能力。
反爬策略研究：深入分析目标站点防护逻辑，制定合规可行的应对方案，确保数据获取过程合法稳定。

任职要求：
1.精通python语言，熟悉scrapy、requests等主流爬虫工具。
2.熟练掌握js语言，具备扎实的js逆向实战经验。
3.拥有大量数据抓取实践经历，具备客户端逆向开发能力，熟练运用各类抓包、反编译、hook技术工具。
4.能够有效应对多种验证码类型，包括字符类、滑块类等常见形式。
5.具备良好的协作精神，工作积极主动，自我驱动力强。

基本要求：
大专及以上学历，计算机相关专业优先，具备爬虫开发背景者优先考虑。
具有较强的团队配合意识和技术探索热情。