高级爬虫工程师

岗位职责：
负责主流媒体平台（如抖音、快手、小红书等）的数据抓取与解析，搭建高效稳定的爬虫架构，保障数据的实时获取与完整存储。
深入分析各平台动态反爬策略，设计应对验证码、请求限流、IP封锁等问题的技术方案，提高爬虫执行成功率。
构建智能调度机制，集成代理池管理、动态UA切换、Cookies模拟、Session保持等反爬手段，增强数据采集稳定性。
持续优化爬虫性能，提升抓取效率、并发处理能力及数据存储结构，支撑大规模分布式爬虫系统运行。
研发针对动态渲染页面、JavaScript加载内容的解析方法，实现浏览器指纹模拟及前端加密逻辑破解。
与数据分析、产品团队密切配合，准确理解业务需求，提供可靠数据支撑，并协同合规部门确保数据采集过程符合《网络安全法》《个人信息保护法》等相关法规要求。

任职要求：
本科及以上学历，计算机、软件工程、数据科学等相关专业，具备3年以上爬虫开发工作经验。
熟练使用Python语言，掌握Scrapy、Playwright、Selenium、Httpx、Requests等主流爬虫框架与工具。
熟悉异步编程模型、多进程开发模式及分布式爬虫体系结构，具有大规模数据采集与存储实战经验。
深刻理解各类反爬机制，熟练运用代理池、IP轮换、验证码识别、动态页面解析、JavaScript渲染内容抓取等技术。
拥有丰富的网页访问限制突破经验，包括浏览器指纹模拟、Cookies控制、会话维持及前端加密逆向分析能力。
了解常见数据存储技术，如MongoDB、Redis、Elasticsearch、PostgreSQL等，能根据场景合理选型。
具备出色的逻辑思维与问题解决能力，拥有良好的团队协作意识和沟通表达能力。

加分项：
在实际项目中成功应对过复杂反爬机制并实现稳定数据采集。
熟悉云平台（如AWS、GCP、阿里云）上的爬虫部署流程与自动化运维方案。