etl岗位职责(精选9篇)
职位描述:
工作职责:
1、根据公司数据分析需求进行基于hadoop平台的项目开发;
2、根据需求进行数据仓库模型设计,熟练使用kettle工具进行etl程序的开发;包括实时数据加工,计算,etl,管理,监控等;
3、负责针对源系统进行数据抽取、处理、分析等相关工作,及项目中涉及到的数据库创建、维护及提供数据接口工作;
4、负责设计并优化基于hive的数据仓库的'建设;
5、制定数据库备份和恢复策略及工作流程与规范。
6、能出具消费品品牌制造行业应用的数据分析技术解决方案,并落地。
任职资格:
1.从事数据仓库领域至少2年以上,熟悉数据仓库模型设计与etl开发经验,具备海量数据加工处理相关经验;
2.熟悉数据仓库领域知识和技能者优先,包括但不局限于:元数据管理、数据开发测试工具与方法、数据质量、主数据管理;
3.有从事分布式数据存储与计算平台应用开发经验,熟悉hadoop生态相关技术并有相关实践经验着优先,重点考察hive、hdfs、hbase;
4.熟练掌握kettlesqoop、datax、airflow等;
5.有消费品品牌制造、零售行业经验,尤其快消品行业和财务领域数据项目经验者优先;
6.熟悉分布式计算presto/imapa优先;
7.有实时计算方面的经验的优先。
职责描述:
1、负责数据仓库建模,业务数据集市建设开发
2、负责数据仓库etl流程的优化及解决etl相关技术问题、etl流程监控,保障数据平台架构稳定性
3、建立数据分析指标体系,不断完善指标体系和分析模型;
4、通过专项分析,输出专项分析报告
5、负责数据分析相关需求和数据测试的工作
任职要求:
学历要求:
全日制统考类本科及以上学历,计算机、通信、电子、软件工程、统计学、应用数学、数据分析等相关专业
专业技能:
1、熟悉数据仓库各类模型建模理论,熟悉数据仓库数据分层架构和多维数据模型设计;
2、丰富的数据分析经验,熟练掌握sql、hql、sparksql,擅长运用其分析并完成复杂业务数据查询
3、掌握至少一种数据库开发技术:mysql/oracle/db2等,灵活运用sql实现海量数据etl加工处理;
4、熟悉hadoop生态(如:hdfs/mapreduce/hive/hbase等),并有相关实践经验;
5、熟练掌握一门或多门编程语言(如:python/shell/java/c++等),并有大型项目建设经验者优先;
素质:
1、敏锐的数据观察和分析能力,及时发现和分析其中隐含的变化和问题并给出建议;
2、良好的'沟通能力和团队精神,较强的学习能力,能承担一定的工作压力。
经验:
至少2年以上数据仓库(离线&实时)模型设计开发、etl设计开发的相关经验,有通信运营商o域/b域大数据、智慧城市大数据的数据仓库、etl设计研发经验者优先'
职位描述:
工作职责:
1、负责数据平台的etl设计开发、工作流调度设计、存储过程开发、自定义函数开发。
2、负责各业务系统数据源业务调研、数据调研、准确性完整性验证。
3、负责项目中与第三方系统基于数据库的'数据对接、数据预处理、数据清洗、数据处理、数据导入、数据校验相关开发工作。
4、负责数据平台的etl相关软件和工具的研发和改进。
5、负责数据平台日常管理、跑批、维护、监控、处理临时数据需求。
任职资格:
1、本科计算机相关专业,5年工作经验
2、具备3年或以上etl数据处理相关开发经验
3、拥有3年以上sql开发
4、掌握hadoop?hive-hql?基础技能
职位描述:
1、负责公司数据平台项目的etl设计、实现以及优化。
2、负责etl流程优化,关键问题解决、团队技术与引导和前瞻性技术研究;
3、参与数据仓库数据模型设计,进行数据质量监测、校验和提升;
4、使用etl技术对医院信息系统数据进行提取、清洗、转换和整合;
岗位要求:
1、至少三年以上etl数据开发经验;计算机相关专业本科以上学历,熟悉数据分析与数据挖掘理论;
2、熟悉dw实施方法论和常规etl构架,有整体etl开发经验,深刻理解元数据管理;
3、熟练掌握oracle、sql server、mysql、postgresql等至少两种主流数据库的使用;
4、熟练掌握ssis、kettle、informatica等至少一种etl工具的使用;
5、精通sql、存储过程、函数的使用,具备编写、优化复杂sql的`能力;
6、对数字,数据敏感,具备良好的逻辑思维能力;
7、具备专业的业务研究、分析能力,能够独立开展业务调研、数据分析、数据建模、报告编写工作;
8、有医疗卫生数据平台开发、实施经验优先;
9、能适应长期出差。
etl高级工程师职位要求
1、计算机、数学或统计等专业,本科以上学历;
2、精通sql语言;熟悉数据仓库设计、建模;
3、精通python,能够编写脚本处理、分析数据;
4、熟悉批量离线式分布式并行计算技术(如hadoop、mapreduce、hive、spark等)
5、熟悉sqlserver、mysql数据库;了解redis等非关系型数据库;
6、熟悉至少一种常用etl工具(如kettle、ssis、gobblin);了解常用报表工具(如reporting services以及各类开源报表);
7、了解常用数据挖掘方法(回归、决策树、聚类等)。
etl高级工程师岗位职责
1、负责国际网站后台数据仓库搭建、维护;
2、运用各类大数据工具设计etl流程,消费生产环境埋点、日志等数据;
3、日常数据监控以及数据预警,异常数据解读挖掘,并与业务同事沟通解决方案;
4、分析用户的特征和行为数据,挖掘不同类型用户的`行为特性,为实际的业务运营提供数据支持;
5、从数据分析结果中寻找insight和商业价值,并以简明扼要的形式传导到其他部分,指导实际的业务运营;
6、处理国际网站的临时数据需求,并对于常用重要需求转化成数据产品。
职位描述:
工作职能:
1、负责海量数据的etl处理。
技能要求:
1、熟悉oracle数据库及sql开发;
2、精通java、shell;
3、掌握hadoop、hive、kafka、elasticsearch、flink或多项大数据开发技术;
4、有flink相关开发经验优先。
福利待遇:
双休五险一金法定节假日健身房出国旅游
免费体检带薪年假年终奖
职位描述:
岗位职能:
1.基于公司数据建设需要,完成数据平台构建、数据内容开发等工作。包括:数据平台基础设施建设、数据采集、etl、数仓及数据集市、数据应用产品等开发工作;
2.充分理解需求文档,基于此进行自测,交付高质量的`开发代码和数据内容;
3.工作中对数据平台基础设施、数据内容建设等工作主动深度思考,提升效能并积极建言、促进组织和系统发展;
4.其他根据部门需要安排事宜;
岗位要求:
1.信息技术类、数学、统计学、计量经济学类专业,研究生及以上学历。优秀候选人学历可以放宽至本科,工作年限5年以上;
2.熟悉数据仓库模型设计和精通etl开发经验,掌握3nf,kimball的维度建模设计方法,具备海量数据加工处理(etl)相关经验;
3.掌握至少一种数据库开发技术:oracle、teradata、db2、mysql等,精通并灵活运用sql实现海量数据etl加工处理;
4.熟悉linux系统常规shell处理命令,灵活运用shell做的文本处理和系统操作;
5.有从事分布式数据存储与计算平台应用开发经验,熟悉hadoop生态相关技术并有相关实践经验着优先,重点考察hdfs、hive(hql)、hbase;
6.熟练掌握一门或多门编程语言,并有大型项目建设经验者优先,重点考察python、perl、java;
7.熟悉数据仓库领域知识和技能者优先,包括但不局限于:数据开发测试工具与方法、数据质量等;
8.良好的语言沟通与表达能力和自我驱动动力。
职位描述:
岗位职责:
1、数仓开发、etl开发;
2、银行业数据模型的设计辅助、mapping和落地等;
3、shell脚本开发维护;
4、银行业务系统的数据调研和分析;
任职要求:
1、本科及以上学历,计算机或相关专业;
2、2年以上oracle、db2等数据库开发经验,熟悉数据库体系结构;
3、精通pl/sql编程,精通存储过程开发;
4、熟悉linux操作系统;
5、熟悉etl调度工具和前端工具;
6、软件基础理论知识扎实,具备良好的.数据结构、算法功底,有一定独立分析、技术研究能力;
7、良好的沟通能力、团队合作精神、乐于;
8、具备较强的自学能力,有一点抗压能力,能够接受出差性质的工作。
如有以下技术背景优先考虑:
1、有银行业系统开发经验;
2、参与过数仓项目开发、实施;
3、有数据治理项目经验的。
职位描述:
岗位职责:
1、负责项目实施过程中所对接的第三方系统的数据处理及质量分析,并完成项目实施过程中的etl工作;
2、熟练掌握etl设计过程,参与大数据平台架构的设计、开发、流程优化及解决etl相关技术问题;
3、与用户和项目组进行有效沟通,采集项目需求,并提出相应的解决方案;
4、负责监控etl并解决出现的问题及性能调优,协助完成bi数据建模;
5、根据规范,完成项目相关设计开发文档的'整理与编写;
任职要求:
1、统招全日制本科及以上学历,具备大数据处理经验尤佳;
2、熟悉etl工具,具有一定项目经验,负责监控etl并解决出现的问题及性能调优;
3、熟悉hive和hadoop;
4、具备一定的编程能力,熟悉至少一种常用编程语言,java尤佳;
5、掌握关系数据库常见用法,熟悉常见软件的安装,参与过项目的etl工具开发项目的完整分析、设计、开发流程者优先;
6、具备较强的自我学习能力、有较强分析问题的能力、人际沟通能力、团队协作能力和工作责任感;