Python项目开发工程师

岗位职责
1、负责公司软件功能开发
1、电商平台店铺数据挖掘提取，自动化操作
（1）负责设计分布式对各电商平台店铺的数据挖掘，分析，聚合；
（2）应对反爬机制（IP封锁、验证码、动态加载），使用代理IP、DrissionPage，Selenium模拟浏览器等技术突破限制；
（3）优化爬虫性能，包括并行化爬取、数据去重、异步IO等技术提升效率
（4）数据清洗与解析与，数据库存储设计与优化，精通MySQL/MongoDB等数据库；
2、参与自动化系统开发（如商品自动化，订单自动化，售后跟踪自动化，运营自动化，报表抓取统计），结合自动化操作业务需求提升效率；
3、维护软件运行，监控任务调度与报警反馈，确保系统稳定性
4、具备数据挖掘经验，自动化应用，善用热门AI构建用户行为分析或个性化推荐系统优先考虑


任职要求
1、技术能力
（1）精通Python开发，熟悉Pyside6框架及DrissionPage、Requests、Selenium等常用自动化框架；
（2）掌握HTML/CSS/JS解析技术（XPath、正则表达式），熟悉分析页面结构，API监控读取，异步加载处理，高效分析页面内容；
（3）熟悉数据库优化（MySQL、MongoDB）及分布式存储原理；
（4）了解HTTP协议、抓包工具（Fiddler、Charles）及逆向工程（JS解密）；
2、经验要求
（1）3年以上Python开发经验，2年以上数据爬取实战经验
3、软性要求
（1）计算机相关专业本科及以上学历
（2）良好的编码规范，能独立解决问题并优化系统性能
（3）适应高强度工作，具备团队协作与跨部门沟通能力
职位名称：Python项目开发工程师
核心要求：各电商平台店铺用户可登录保存状态（电商店铺如拼多多浏览器登录是充许直接保存cookies，然后启动时直接插入cookies生效的），要求软件有完整控制浏览器（浏览器可考虑用CEF、chrome核心版等各类，不要直接使用系统安装的浏览器这种普通版，要做到启动的浏览器占用系统资源最小化，因为一台电脑用户可能会有几十个店铺在管理的，但也要要具有支持自动化CDP核心，方便Pyhton等调用实现自动化）。

关于店铺数据自动化、手动抓取数据汇总
1、用户登录一批店铺后，是需要集中查看店铺数据，店铺数据是分散在店铺后台（网页）各个地方，需要定时去快速抓取数据（API抓JSON或页面直接读取等方式）进行汇总保存。用户在各个功能页面上（如店铺数据，上架列表，订单管理，售后管理中），可以随时查询已读取记录，和即时运行抓取汇总
2、具体实现页面：
要求：这个核心还是店铺浏览器操作，可以在内存中无头启动浏览器读取数据或将浏览器显示出来读取操作

软件店铺功能管理常规页面功能需求：
1.店铺中心（用户可添加、删除店铺、可直接打开店铺后台）
2.店铺数据（每天店铺数据汇总，可实时拉取）
3.商品管理（每天更新店铺商品信息，可实时拉取）
4.订单管理（每天查询店铺订单列表，如待发，快超时等，可实时拉取）
5.推广助手（每天读取店铺推广数据进行保存，可实时拉取）
6.售后助手（店铺评价，商家举证，负反馈申诉等拉取按指定条件提交申诉）
7.财务模块：每日报表、周报月报分析
8.管理模块：企业用户管理（对用户会员开通，权限设置）
9.管理模块：版本权限管理（对各功能模块按会员权限可独立设置）
10.数据库管理：支持专用服务器和客户自定服务器数据库

三、店铺自动化操作
1、根据实际需求，我们会开发很多Python自动化操作的模块，每个模块实现一个功能。需要一个工作流编辑界面，将这些模块用现在流行的工作流搭建界面显示出来（支持线条自由链接，自由分支走向），由用户自由搭建执行流程,配置每一个模块的参数。可以保存，修改，导入结果JSON，导出结果JSON。这个自动化工作流，
2、工作流有一个执行器，用户配置好的工作流，在执行器管理下，可以按指定的店铺执行工作流操作，操作是以店铺浏览器+商品ID为核心，每一个模块是操作商品，然后工作流每一块结果进行分流走向，每一步传递之前的商品操作结果进行传递。直至工作流执行完成，记录结果日志。