python爬虫开发工程师

一、岗位职责​
爬虫架构设计与优化：主导公司现有爬虫系统的技术迭代，优化数据采集架构，提升系统稳定性、扩展性及运行效率，解决大规模采集场景下的技术瓶颈。​
数据采集策略规划：结合业务需求（如采购决策分析、市场趋势洞察），制定长期数据采集方案，确保获取数据的高价值、高时效性，支撑业务核心决策。​
反爬机制突破与应对：深度分析目标网站反爬策略（如IP封锁、验证码、动态渲染），输出可落地的规避方案，包括代理池管理、验证码识别集成、动态页面解析等。​
数据质量全流程管控：建立数据完整性、准确性、一致性的校验标准，提供数据清洗、存储方案及索引优化建议，保障数据资产的可用性。​
分布式爬取性能优化：设计并落地分布式爬虫解决方案，优化任务调度逻辑，降低服务器资源消耗，提升大规模并发采集的任务执行速度。​
技术迭代与经验分享：持续跟踪爬虫领域前沿技术（如AI辅助反爬、高效解析框架），结合业务场景引入先进方案；定期开展技术分享，提升团队整体爬虫开发能力。​
合规与安全保障：熟悉爬虫相关法律法规（如数据安全法、个人信息保护法），确保数据采集流程合法合规，规避法律风险，提供合规性技术建议。​
二、任职要求​
技术基础扎实：具备深厚的爬虫开发经验，精通Python编程语言，熟练运用Scrapy、Selenium、BeautifulSoup、Playwright等主流爬虫框架及工具。​
反爬攻防能力突出：深入理解各类反爬机制（代理IP、UA伪装、JavaScript动态加载、滑块验证码等），有成熟的反爬突破案例经验。​
数据处理与存储经验：具备大规模数据处理能力，熟悉MySQL、MongoDB、Elasticsearch、Redis等数据库的使用与优化，能针对性设计数据存储与查询方案。​
分布式技术能力：熟悉Celery、Kafka、RabbitMQ等分布式任务调度工具，有大规模高并发数据采集项目的性能优化经验。​
团队协作与沟通：具备良好的跨部门沟通能力和团队协作意识，能清晰输出技术方案，高效指导工程师团队落地执行，提升团队技术水平。​
行业经验优先：有电子元器件等行业数据采集经验者优先，能结合行业特性设计针对性爬取方案。​
合规意识强烈：了解爬虫相关法律法规，有合法合规开展数据采集工作的项目经验，能主动规避法律风险。​
三、优先考虑条件​
有大型数据采集平台、市场分析平台的架构设计或核心开发经验；​
具备机器学习或数据挖掘基础，能从采集数据中提取高价值业务信息（如用户行为洞察、市场需求预测）；​
有海外电商、外贸数据采集经验，熟悉国际市场信息收集方法及海外网站爬取特性。​
四、投递须知​
若您符合上述要求，且能接受在广州全职办公，欢迎投递简历！我们期待与您一起打造高效、合规的数据采集体系，为业务增长提供核心技术支撑～