爬虫开发工程师

岗位职责：
1、负责公司数据采集任务的代码开发，完成多平台信息抓取、数据清洗及存储入库等相关工作；
2、负责爬虫项目的整合、部署与任务调度管理；
3、负责项目中数据抽取、清洗、结构化处理及数据库写入等流程的实施；
4、保障现有爬虫系统的稳定运行，及时进行维护与优化。

任职要求：
1、具备大规模数据采集实践经验者优先考虑；
2、至少熟练掌握mysql、mongodb、redis、clickhouse等数据库中的其中一种；
3、熟悉scrapy-redis或其它分布式爬虫框架，掌握网页数据采集原理与技术，能熟练运用正则、Xpath等数据解析方法；
4、具备较强的逻辑分析与问题解决能力，可独立完成爬虫程序编写及服务部署；
5、精通python语言，熟练应用多线程编程技术；
6、熟悉linux系统常用服务器命令，具备良好的编程规范与代码习惯。