python数据采集工程师

岗位职责：
1. 针对目标网站实施页面抓取、信息提取及反爬机制破解；
2. 负责多平台数据抽取、清洗、存储与服务化等环节的研发与性能优化；
3. 参与分布式网络爬虫系统的开发与架构设计，完成数据采集与分析任务；
4. 持续优化爬虫算法，提升系统稳定性与可扩展能力；
5. 独立应对开发过程中各类实际数据需求及接口对接问题。

任职要求：
1. 本科及以上学历，计算机相关专业，具备3年以上相关领域工作经验；
2. 深入掌握网页抓取原理与技术，熟练运用正则表达式，能高效提取结构化与非结构化数据；
3. 精通JAVA/PYTHON编程语言，熟悉数据库调优及主流缓存技术与策略；
4. 熟练使用一种主流开源爬虫框架，具备反爬对抗、验证码识别经验者优先；
5. 熟悉互联网常见技术方案与通用解决方案，有源码级理解或开源项目贡献经历者优先；
6. 具备出色的逻辑思维能力，热衷于攻克复杂技术难题，擅长问题分析与落地解决；
7. 掌握脱壳、逆向工程、反编译、解密等相关技术者优先考虑。

加分项：
1）具备App端数据采集背景，或拥有机票行业相关经验；
2）有Airflow、DolphinScheduler、xxl-job等开源调度工具部署经验；
3）具备浏览器插件方式进行数据采集的实践经验；