大数据开发处理ETL的人力外包需要哪些要求

点击量：6609 2022-12-12 16:28:32

近来越来越多的客户咨询大数据开发的人力外包，需要大数据开发处理的人员，很多人对大数据开发的工种理解并不太清楚，这个到底是做什么的？这里就和大家介绍一下大数据处理ETL与大数据开发。这两者还是有一些区别的，当然还有很多的公司需要人的时候，岗位的职责中两者都会有所接触。

ETL

ETL是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

我们可以这样理解，很多公司随着业务的壮大，用了越来越多的不同厂家的系统。突然老板有一天想把各个系统整合一下，看一看数据报表，这下子技术总监傻眼了，需要将各种系统进行整合，甚至与各个厂家进行讨论，这个难度可想而知，而且成本更是惊得下人。这个时候，ETL应运而生，通过各种ETL工具，对各个系统进行整合，通过数据源的连结对接各项系统，将数据抽取出来，然后按照一定的格式要求进行转换，最终再与一些BI的报表对接，从而来呈现各种老板需要的图表，这下老板开心了。

目前市面的ETL工具有：Kettle、Datastage,Informatica。

那么一般ETL的职位要求有哪些？

ETL岗位职责：

1. 参与数据平台的设计和开发工作；

2. 参与数据仓库、ETL、报表、业务分析系统的开发工作；

3. 制定ETL相关的设计方案和开发计划；

任职要求：

1. 两年以上相关经验，计算机或相关专业；

2. 熟悉Oracle，DB2，GP，TD等任一种数据库，熟练编写sql，掌握性能调优；

3. 熟练kettle、Informatica、datastage等任一种ETL工具优先；

4. 具有良好的逻辑思维能力和语言表达能力，有团队精神。

注意，ETL的人员，首先得有ETL的工具使用经验，另外需要懂传统的数据库，特别是SQL语句的写法，否则没法进行抽取的工作，以上职位仅供参考！

下面开始介绍大数据开发，如果说ETL是将各项数据进行抽取、转换，那么大数据开发，就是借助于软件开发工具对这些数据进行应用程序的开发，简单点，就是得呈现给老板看，不能让老板看数据，总得有个界面，让老板点点点，那这个过程就是大数据开发，大数据开发就是借助于大数据工具，对数据进行开发、呈现的应用开发。

大数据开发岗位职责：

1、有关键核心模块/组件的需求分析、方案设计、软件开发经验，具备一定的数据产品分析洞察及规划能力；

2、能够深入理解产品的业务场景和关键需求，参加过大规模软件系统开发；

3、业务能力强，对技术有激情，喜欢钻研，能够快速接受和掌握新技术，有较强的独立，主动的学习能力。

任职要求：

1、计算机相关专业本科及以上学历；

2、熟悉C/C++、Java、Python的至少一种，掌握常见的数据结构、算法；

3、熟悉大数据开发框架，熟悉Hadoop/Spark/Hbase/MPP DB及业界主流流处理平台如Storm/Flink/Spark Streaming之一；

4、Java、Python，能深刻理解IO，多线程等基础框架，熟悉JVM的原理和性能调优；

5、对大数据框架开发有成功实践经验者优先。

注意，大数据开发的人员会需要会一些高级语言，比如java，python等高级语言，同时会使用一些大数据开发框架。

目前国内市面上还有很多不错的大数据开发平台：如网易有数、山海鲸可视化、火山引擎、帆软报表等等