首页 > 实用范文 > 行政文秘 > 岗位职责 > 数据平台岗位职责【通用11篇】正文

数据平台岗位职责【通用11篇】

| 来源:网络整理

数据平台岗位职责(通用11篇)

数据平台岗位职责 篇1

职位描述:

基于海量的微信支付用户、商户、交易和行为数据,使用业界开源的主流技术栈以及我们自研的大数据技术相结合,构建金融级的大数据平台,提供金融级数据安全保障和质量保障,为数据开发者提供工业化的数据平台服务,建立元数据管理、血缘关系、计算任务和计算资源的动态管控、全方位的数据安全风险控制,为数据分析、智慧推荐、金融风控等业务提供数据平台支撑;

负责微信支付大数据基础平台相关开发工作;

负责大数据采集、计算、分析处理相关开发工作;

负责大数据治理相关开发工作,提供一站式的数据平台及工具支持。

任职要求:

本科及以上学历,计算机相关专业,3年及以上开发经验;

熟悉java、php、shell、python等至少三种开发语言;

有分布式系统、大数据服务、数据分析方面的开发经验者优先;

熟悉hadoop,spark,storm,flink,kafka、elasticsearch、druid等平台和组件,有相关项目经验优先;

良好的.沟通表达能力,执行力力强,对待工作认真严谨、高度负责。

数据平台岗位职责 篇2

职位描述:

1、面向公司的大数据开发套件产品设计与研发,包括大数据任务建设平台,元数据管理系统,数据质量监控平台,任务运维平台等

2、参与需求调研与用户技术支持

3、追求极致,构建业内领先的数据平台产品

任职要求:

1、精通java/scala语言,包括jvm、类装载、线程、并发、io资源管理、网络

2、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战

3、精通soa架构和微服务架构

4、有ide开发经验者优先考虑

5、熟悉前端技术的全栈开发工程师优先

6、熟悉hadoop ecosystem常用开源框架者优先,例如hadoop/flink/spark等

数据平台岗位职责 篇3

职位描述:

1、负责公司级别的异构数据源传输平台架构设计与核心技术研发

2、参与需求调研与用户技术支持

3、追求极致,构建业内领先的异构数据源传输产品

任职要求:

1、精通java/scala语言,并发编程,jvm

2、精通数据库技术,rdbms、nosql、大数据至少精通一种

3、精通数据库日志抓取解析、message queue、etl等数据处理技术

4、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战

5、有canal运维或开发经验者优先

6、熟悉hadoop ecosystem常用开源框架者优先,例如hadoop/flink/spark等

数据平台岗位职责 篇4

职位描述:

1.负责广告数据平台实时指标计算、归因、实验平台等业务的计算架构设计与开发;

2.负责对实时计算服务的性能进行优化;

3.负责指导其他工程师进行业务功能开发。

任职要求:

1.3年以上相关工作经验,计算机相关专业本科及以上学历;

2.具备扎实的java语言基础;

3.熟悉并行计算或者分布式计算原理,熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案;

4.有storm/sparkstreaming/flink等数据平台的开发和使用经验;

5.对性能调优,算法效率和分布式计算的资源管理策略有较深的理解;

6.熟悉zookeeper/kafka/hadoop/hbase/flume/redis等平台者优先;

7.具备较强的业务需求分析能力,问题定位能力良好的沟通能力和自我学习能力。

额外加分项:

github等开源社区贡献者。

数据平台岗位职责 篇5

职位描述:

1、负责大数据开源组件的调研

2、负责大数据平台自研平台系统及功能模块设计与开发

3、配合架构师及测试按时完成开发,保证产品正常发布与迭代

任职要求:

1、本科以上学历,计算机相关专业

2、2年以上大数据平台开发经验

3、精通java,熟悉linux系统,深入理解并使用主流技术框架,如springboot、mybatis、mq、redis、zk、spring cloud等技术栈,具备丰富的分布式系统的研发经验

4、熟悉hadoop生态圈其他系统,包括hive,pig,hbase,spark,kafka,oozie,sqoop,flume,zookeeper,strom,flink,并了解其原理

5、熟练掌握各类数据结构与算法,具有较强的编码能力

6、具有良好的团队合作精神和表达沟通能力

7、有数据中台,数据服务平台开发经验,熟悉hadoop生态圈组件者优先

数据平台岗位职责 篇6

1、负责腾讯云数据平台产品中心整体项目管理工作,确保项目团队各干系人协同工作,达到项目目标;

2、负责腾讯云数据平台产品中心研发项目管理工作,对项目资源、项目节奏、项目进度、项目质量、项目风险等进行有效管理;通过组织项目需求评审、项目例会、制定并推广项目流程规范,确保项目有序推进;

3、负责腾讯云数据平台产品中心团队氛围建设管理;

任职要求:

1.本科及以上学历,计算机、通信或相关专业优先;

2.至少2年以上项目管理经验,软件或it相关领域项目管理经验优先;

3.精通项目过程管理,对敏捷项目管理有实际应用经验及深刻理解;

4.具有较强的自驱力和执行力,极具正能量和感染力,积极推动项目团队朝目标前进;

5.具有丰富的与人沟通、交流和组织协调能力,出色的团队合作精神;

6.具有tob和tog沟通经验者优先;

数据平台岗位职责 篇7

职位描述:

负责spark、hadoop计算平台的设计和开发工作,构建高效稳定的计算平台,为业务提供大数据分析所需的海量计算服务;

负责数据仓库、以及机器学习平台的建设。

任职要求:

计算机相关专业,本科及以上学历,2年以上大数据平台开发、运维经验;

对spark、hadoop平台计算原理有深刻理解,能够阅读spark、hadoop源码;对社区有源码贡献者优先;

熟悉spark流计算框架或其他开源实时计算框架;

有elasticsearch集群运维、开发经验者优先;

有数据仓库建设经验者优先;

数据大数据算法经验、机器学习平台建设经验者优先;

精通java、熟练掌握mapreduce原理及数据分析相关的二次开发;

对新技术充满热情,具有良好的学习能力、团队协作能力和沟通能力;

能承受较大的工作压力。

数据平台岗位职责 篇8

职位描述:

负责腾讯微校数据平台搭建与数据分析工作;

承担大数据etl、高效计算、即时查询等数据处理分析工程开发;

bi与大数据产品架构设计与开发。

任职要求:

本科及以上学历,数学或计算机相关专业背景;

有互联网公司的从业经验,三年以上数据平台开发或数据分析工作经验;

熟练掌握sql语言,了解hadoop、hbase、hive、spark、flink等组件的工作原理;

熟悉机器学习、数据挖掘、数据分析、分布式计算至少一方面,有较深的理论研究和实践经验优先;

熟练掌握scala/java/python中的至少一门语言,有其他脚本语言开发经验的优先;

数据敏感,有良好的逻辑思维能力,较强的沟通能力和团队合作精神,勇于承担工作压力。

数据平台岗位职责 篇9

工作职责:

1、负责离线计算平台的开发和维护工作;

2、负责hbase/tidb的开发与维护工作;

3、负责alluxio/arrow等开发与维护工作。

任职要求:

1、5年以上相关领域开发经验,熟悉java/go/c++的一种;

2、对数据库系统或分布式系统的原理和架构有较好的了解;

3、优秀的发现和解决问题能力,良好的沟通能力和团队意识。

加分项:

1、熟悉hadoop生态,参加过开源项目;

2、熟悉hive、spark、hdfs、hbase、tidb中至少一种产品的实现细节;

3、有数据库/数据治理产品的开发和运维经验。

数据平台岗位职责 篇10

职位描述:

1、基于每日百亿级展现数据,搭建大数据处理平台;实现流式事件的实时计算,落地储存。对于离线数据完成数据仓库的建立,为数据挖掘提供有效的数据。

2、使用用户行为数据,广告投放数据,挖掘数据层次关系,利用机器学习算法,解决媒体、流量、充分竞价等对优化广告投放流程,

3、数据分析,挖掘,模型具体的产品化;了解广告业务能,和pm合作,基于数据驱动持续优化数据产品。

任职要求:

1、熟悉c++、java、python中的一种或多种编程技术,编程能力强,熟悉大数据处理技术,善于学习应用业界领先数据架构和技术。

2、熟悉数据挖掘算法,包括数据清洗、统计学习、分类聚类算法,并能够验证算法效果,将算法应用在广告业务中。

3、善于学习,有想要折腾的想法。有广告调优背景优先,对广告行业有自己思考的优先。

数据平台岗位职责 篇11

职位描述:

1、参与小鹏汽车技术中台的大数据云平台产品建设,包括:实时计算处理平台、离线计算处理平台、调用链分析监控、日志处理平台;

2、分析系统瓶颈,处理、协调和解决基础框架中出现的技术问题;

3、大数据新技术研究和应用,并推动适合技术应用于生产;

任职要求:

1、计算机相关专业,本科或以上学历,五年以上开发工作经验,有基础架构开发经验优先;

2、熟练java、python服务端编程,有良好的编码习惯;

3、深入理解mapreduce,熟练使用storm/flink、hadoop、spark,并阅读部分源码;

4、熟练使用hadoop、hdfs、hbase、kafka、elasticsearch;

5、具有自然语言处理、信息检索、机器学习、web挖掘、搜索引擎、推荐引擎等相关经验优先;

6、熟悉docker容器及容器化技术,有kubernetes实战经验者优先;

7、对新技术有执着追求,热爱编程。善于抽象、总结、思考,能及时关注和学习业界最新技术;

8、有较强的自学能力和钻研精神,具有良好的沟通能力和团队合作能力,综合能力强。

468427