Python数据爬取

岗位职责
1、负责公司软件功能开发
1、电商平台店铺数据挖掘提取，自动化操作
（1）负责设计分布式对各电商平台店铺的数据挖掘，分析，聚合；
（2）应对反爬机制（IP封锁、验证码、动态加载），使用代理IP、DrissionPage，Selenium模拟浏览器等技术突破限制；
（3）优化爬虫性能，包括并行化爬取、数据去重、异步IO等技术提升效率
（4）数据清洗与解析与，数据库存储设计与优化，精通MySQL/MongoDB等数据库；掌握java
2、参与自动化系统开发（如商品自动化，订单自动化，售后跟踪自动化，运营自动化，报表抓取统计），结合自动化操作业务需求提升效率；
3、维护软件运行，监控任务调度与报警反馈，确保系统稳定性
4、具备数据挖掘经验，自动化应用，善用热门AI构建用户行为分析或个性化推荐系统优先考虑


任职要求
1、技术能力
（1）精通Python开发，熟悉Pyside6框架及DrissionPage、Requests、Selenium等常用自动化框架；
（2）掌握HTML/CSS/JS解析技术（XPath、正则表达式），熟悉分析页面结构，API监控读取，异步加载处理，高效分析页面内容；
（3）熟悉数据库优化（MySQL、MongoDB）及分布式存储原理；
（4）了解HTTP协议、抓包工具（Fiddler、Charles）及逆向工程（JS解密）；
2、经验要求
（1）3年以上Python开发经验，2年以上数据爬取实战经验
3、软性要求
（1）计算机相关专业本科及以上学历
（2）良好的编码规范，能独立解决问题并优化系统性能
（3）适应高强度工作，具备团队协作与跨部门沟通能力