爬虫

岗位职责：
1、负责完成公司的数据采集任务代码编写，进行多平台信息的采集、清洗、入库等操作；
2、负责爬虫项目的集成、部署，任务调度等工作；
3、负责管理项目工程数据提取、清洗、结构化、入库等工作；
4、维护及稳定现有的爬虫相关工作；
任职要求：
1、有大规模数据采集经验优先；
2、至少熟悉mysql、mongodb、redis、clickhouse等数据库；
3、熟悉scrapy-redis或其他分布式爬虫框架、了解网页数据采集原理及技术，正则、Xpath等数据提取技术；
4、具备良好的分析解决能力，能独立完成爬虫代码编写以及服务部署爬虫；
5、熟悉python编程，熟练使用多线程编程。
6、熟悉服务器linux命令，有良好的编码习惯。