Python高级数据采集工程师

【岗位职责】
1、参与分布式网络爬虫系统及其数据库的架构设计与开发工作；
2、聚焦爬虫核心算法的策略优化，研究并制定高效的爬虫调度方案与反屏蔽机制，合理调配资源，提升多媒体数据采集的效率与准确性；
3、主导数据平台的搭建，完成数据清洗、加工与管理，提供稳定的数据服务支持；
4、深入理解大数据业务场景，分析需求并设计可行的技术实现方案，推动项目落地；
5、响应各业务线在使用数据平台过程中遇到的问题，进行问题排查并提出有效的改进措施；

【任职要求】
1、初始学历为本科及以上；
2、职业经历中不得包含任何外包性质的工作经验；
3、具备3年以上使用Python进行爬虫开发的实际经验，曾开展过抖音视频、快手视频或小红书等任一平台的数据采集工作；
4、拥有Web逆向相关经验，熟悉主流Web反爬手段，掌握多种破解技术，如hook、Js防护绕过、代码混淆分析、逆向调试、App防破解、防逆向及加固等能力；
5、精通http协议，熟练运用xpath、csspath、正则表达式等数据提取技术；
6、具备自主开发算法或借助第三方工具实现验证码自动识别与通过的实践经验；
7、能够熟练使用Python对接MySQL、MongoDB、Redis等数据库，并熟悉RabbitMQ、Kafka等常用消息队列组件；
8、初始学历为211高校及以上者优先考虑；