爬虫开发工程师

岗位职责：
1、负责公司数据采集任务的代码开发，完成多平台信息的抓取、清洗及存储等流程；
2、负责爬虫系统的集成与部署，执行任务调度相关工作；
3、负责项目中数据抽取、清洗、结构化处理及入库管理；
4、保障现有爬虫系统的稳定性与持续运维；

任职要求：
1、具备大规模数据抓取经验者优先考虑；
2、至少掌握mysql、mongodb、redis、clickhouse等数据库中的其中一种；
3、熟悉scrapy-redis或其它分布式爬虫框架，掌握网页数据采集原理与技术，熟练运用正则、Xpath等数据解析方法；
4、具备较强的逻辑分析与问题解决能力，可独立完成爬虫程序编写及服务部署；
5、精通python语言，熟练应用多线程编程技术；
6、掌握linux服务器常用命令，具备规范的编码习惯。