数据开发工程师

岗位职责

1.负责项目数据采集模块的数据源评估、采集流程及处理需求的分析工作；
重构省级Kafka至地市局Flink的实时回流链路，解决消息积压与资源分配失衡问题
设计T+1离线数据同步机制（基于DataX与大数据集群），确保地市局数据完整入库

2.负责数据处理任务调度、数据质量核查等作业的方案设计与落地实施；
构建覆盖表级和字段级的数据质量监控体系（如Griffin），贯穿数据采集、加工到API输出全流程
建立缺失数据自动预警机制，制定标准化数据修正操作流程

3.推动数据治理规范在项目中的实际落地执行；
主导编制《数据采集规范》《ETL开发标准》，统一元数据管理定义
协同推进政府侧数据元管理工作，严格管控外部厂商数据接入合规性

4.承担各类数据系统与平台的ETL开发及性能调优任务；
提升Flink/Kafka集群运行效率，保障实时数据处理稳定性
设计数据血缘追踪方案，实现链路异常快速定位与排查

经验要求
1、具备3年以上Flink/Kafka实时计算场景下的性能优化经验，掌握Exactly-Once语义保障机制；
2、熟练运用DataX完成大规模数据高效迁移与同步；
3、熟悉主流数据质量监控工具的应用与部署；
4、了解数据治理体系及相关实践方法论；

技术栈：
Flink|Kafka|DataX|Spark|MySQL|Shell/Python

加分项
1、曾主导数据治理制度或标准体系建设；
2、具备Nifi流式数据采集与实时入仓（Lambda架构）落地经验；
3、拥有云环境下的ETL开发实践经验；
4、能够设计支持多业务系统复用的大模型宽表结构。