爬虫工程师

职位描述：
-根据业务需求，负责构建与维护分布式网络爬虫架构，并完成数据清洗与信息提取；
-制定高效的爬取策略及反屏蔽机制，优化页面抓取速度与数据准确性；
-独立分析并处理开发过程中出现的各类技术难题；

任职资格：
-计算机相关专业本科及以上学历，具备2年以上爬虫系统开发经历；
-精通Python及计算机网络知识，掌握多线程编程，熟练运用Scrapy等主流爬虫框架；
-熟悉Linux环境操作，掌握正则表达式、Mysql、MongoDB、Redis等常用数据库与缓存技术；
-具备应对账号封禁、IP限制、验证码破解、图像解析等反爬问题的实战能力；
-拥有良好的沟通技巧和团队协作精神；
-需具备群控系统的实际项目经验；

加分项：
-掌握docker容器化技术者优先；
-有php/nodejs/go等其他语言实际开发经验者优先；