岗位职责：
1、负责基于hive或者Spark技术的大数据平台项目的需求分析、设计及开发；
2、负责大数据平台数据清洗、转换、建模的开发工作；
3、负责开源大数据平台与产品和相关技术的追踪及研究。

任职要求：
1、本科及以上学历，计算机相关专业；
2、精通JAVA开发，MapReduce编程，脚本语言Shell/Python/Perl之一，具备Springboot、Springcloud使用经验；
3、熟悉大数据技术包括sqoop、scala、Hadoop、Spark、Storm、Kafka、Hive、ElasticSearch、HBase、Zookeeper等，并具实际的大数据开发经验，对分布式数据处理和数据存储设计有很强的理解和优化能力；
4、掌握KETTLE工具或至少一种ETL工具；
5、熟悉SQL、Shell等相关技术，有海量数据处理、ETL及任务调度优化、数据仓库建模等经验；
6、参与过大的数据平台架构设计，并推动落地，能够独立承担数据平台项目的架构设计、实施方案设计及数据建模者优先。