数据开发工程师
8000-13000元/月岗位职责:
-深度参与大规模、高可用数据基础设施的建设与持续优化,覆盖数据采集、传输、存储到计算的全流程。综合运用多种技术手段,确保数据链路高效稳定运行,满足公司海量数据处理与分析需求。通过分布式存储方案优化存储结构,提升数据读写性能。
-主导自动化数据预处理与清洗系统的研发工作。结合ETL工具、自定义脚本及机器学习方法,对多源异构的复杂数据进行清洗、转换与整合,实现数据质量的实时监控与迭代优化。构建数据质量评估体系,有效提升数据准确性与一致性。
-与NLP、推荐系统等业务团队紧密协作,提供专业的数据工程支撑。设计并实现高性能数据接口与服务,保障数据的高效流转与精准调用,助力业务系统性能提升与用户体验优化。为推荐引擎开发实时数据通道,显著增强推荐内容的时效性与相关性。
-积极参与LLM/AI类项目的数据工程实施。深入探索数据流程的优化路径,通过对数据采样、特征构建等环节的改进,显著提升模型训练的速度与效果。优化训练数据处理流程,大幅压缩数据准备周期。
任职要求:
-计算机科学、电子工程、数学等相关专业本科及以上学历。
-具备2年以上数据工程相关工作经验,有大型数据项目落地经验者优先,如曾参与亿级用户规模的数据处理系统建设。
-熟练掌握Python、Java等至少一种主流编程语言,精通Hadoop、Spark、Flink等大数据处理框架,熟悉Kafka、RabbitMQ等消息中间件技术,具备复杂大数据任务的独立开发与调试能力。
-理解数据仓库建模原理,具备实际的数据质量管理与数据安全防护经验。曾主导数据安全策略实施,保障数据全生命周期的安全可控。
-深入理解NLP与推荐系统的数据使用场景,掌握LLM/AI领域数据处理的核心技术与方法,具备新技术在数据工程中成功落地的应用实践。
-具备出色的故障排查与创新能力,能在复杂环境下快速识别并解决数据问题。拥有良好的沟通协调能力,能够跨团队协同推进项目进展。
-熟悉广东话或英文者优先,有助于支持跨区域、跨文化的协作与交流。