岗位描述： 1、负责产品的数据管道与报表开发，深入理解产品需求，与产品经理和相关团队紧密合作。 2、基于现有架构与最佳实践，设计高效、稳定且可扩展的数据解决方案。 构建和优化可复用的数据模型，确保模型设计清晰、易用，支持多维分析需求。 3、设计并开发高效的ETL流程和数据流，提升数据处理效率并支持快速分析。 4、持续优化数据管道的性能，监控数据质量，快速响应并解决数据流问题。 5、参与数据调度系统、数据质量平台以及AB测试等相关数据产品的设计与开发。 任职要求： 1、计算机科学、软件工程、信息技术或相关专业，本科及以上学历。 2、精通Scala、Python等至少一种主流编程语言。具备良好的代码质量意识，掌握代码调优和重构技能。 3、熟练掌握Hadoop生态系统，精通以下一种或多种大数据工具和框架： Spark、Flink、Kafka、HDFS、Hive、ElasticSearch。深刻理解分布式计算原理，并有性能调优经验。 4、精通SQL，具备SQL调优能力，5年以上数据仓库或大数据开发经验。 熟悉ETL开发流程，掌握DataX、Kettle等ETL工具。熟悉任务调度工具，如Azkaban、DolphinScheduler、Airflow等。 5、具备较强的数据分析能力和逻辑思维能力，能够快速定位并解决问题。 软技能：