大数据开发工程师的基本职责

大数据开发工程师的基本职责（精选11篇）

1.大数据开发工程师的基本职责 篇一

职责:

1、负责大数据平台的基础环境搭建与性能优化，完成平台的构建与维护、实时流计算平台、分布式调度、可视化报表等平台的架构与研发;

2、对各种开源框架进行深入的代码剖析和优化;

3、参与大数据技术方案评审;

4、指导初中级大数据工程师工作;

岗位要求:

1、计算机相关专业全日制专科及以上学历，具有3年或以上的分布式计算平台研发工作经验;

2. 对大数据相关组件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架构与底层实现有深入理解，具备相应的定制和研发能力，尤其需要精通Flink框架;

3. 具备构建稳定的大数据基础平台的能力，具备数据收集、数据清洗、数据仓库建设、实时流计算等系统研发经验;

4. 对技术有热情，有不错的数据思维和敏感度，有一定的数据分析能力优先，对深度学习、机器学习有一定的了解优先;

5. 工作有计划性，责任心和执行能力强，具备高度的责任心、诚信的工作作风、优秀沟通能力及团队精神。

2.大数据开发工程师的基本职责 篇二

关键词：大数据时代；网络信息资源；开发；利用

中图分类号：G203 文献标识码：A 文章编号：1006-8937（2015）14-0080-01

随着信息技术的不断发展与应用，新的信息数据来源不断出现，渐渐形成了一个随时间变化的巨大数据流，这标志着大数据时代的到来。近年来，我国互联网信息资源得到了快速发展，数量迅速增加，质量明显有所提高。因此如何有效地开发和广泛利用网络信息资源，已经成为一个迫切的问题。

1 大数据概述

大数据（Big Data），从字面意思来理解就是指规模庞大的电子信息或者数据集合，目前来说，尚未有一个确切、公认的定义。比较有代表性的就是它具有4V特征：①数据量大（Volume）。从TB级别一直到PB级别，目前已经发展到了ZB级别。②数据类型繁多（Variety）。包括各种来源、各种结构等不同类型的数据。③价值密度比较低（Value）。由于数据采集的不及时等原因会导致数据失真，如何找出最有价值的信息，是目前急需解决的问题。④处理速度快（Velocity）。这就对快速的分析数据提出了更高要求。

2 网络信息资源概述

网络信息资源本身就是一种大数据，是指通过网络可以利用的各种数据的总和。网络信息资源除了具有大数据的所有特征外，还呈现出了一些新的特点：①以网络为传播媒介，向用户提供的信息是以网络为载体并以虚拟化的姿态展现出来。②以多媒体为内容特征，表现形式多样化，内容丰富，可以采用多种形式进行存储和处理，且可以重复使用。③以现代信息技术为纪录手段；可以利用网络进行传播，实现资源的最大共享。④数据结构具通用性、开放性和标准化，它使得信息资源的扩充更加方便，可以轻松的实现各个系统之间的互连和互操作。⑤具有高度的整合性，容易实现各种网络资源的相互转化和二次开发，可以在新平台上形成新的综合性信息产品，便于检索。

在网络环境下，信息的流动非常迅速，任何人在任何时间都可以发布信息，只需很短的时间就能传送到世界各地，且伴随着网络的普及化，还会得到更为广泛的传播。可以这样说，无所不在的网络信息资源越来越快地推动着大数据时代向前发展。

3 网络信息资源的开发与利用

随着大数据时代的到来，如何开发与利用网络信息资源吸引了越来越多的关注，并成为了当前研究的热点。目前我国的网络信息资源开发利用已经取得了一定的成果，然而，与发达国家相比，由于我国的互联网起步较晚、研究内容不够系统等原因，资源的数量与质量远远落后于他们，在建设过程中仍然存在着许多问题。①网络信息资源缺乏统一的规划，利用率较低。很多信息资源非常混乱、缺乏相应的规范、精度低且重复性高，占用了大量的资源，导致仅有一部分资源可以被有效地使用。②网络信息资源数量很多，但是质量却非常低。由于没有严格的规范制度，很多信息没有经过严格的编辑和整理，大量良莠不齐的信息充斥网络，给用户选择带来了障碍。③网络信息资源的共享性差。各个部门之间不愿意公开和分享信息，导致了大量信息孤岛效应的产生。

网络信息资源不仅数量大、种类繁多，而且处于不断扩大和变化中。从理论上说，网络信息资源是无限大的。开发和利用网络信息资源，不能盲目的进行，要遵循以下原则：①针对性原则，开发前应做好充分的准备工作，根据市场的需求有针对性的选择稳定性好、可信度高的网站所提供的信息进行开发，这样得到的信息资源才会针对性强、适用性大、利用率较高。②系统性原则，网络信息资源的开发利用是一个复杂的多因素的动态系统，收集信息要尽可能的全面，注重连续性和完整性，同时也要及时地更新，以确保开发信息的新颖性。③选择性原则，收集信息资源是一项复杂的工作，在收集过程中一定要反复筛选信息的来源，找到合适的途径，整理后再使用。

大数据时代的到来为信息服务工作提供了广泛的信息来源，如何在网络上以最快的速度得到最有价值的信息，成为用户最为关心的问题。

首先，网络信息资源的合理配置主要是要高效率的配置。愈来愈庞大的网络信息，一方面给人们带来了快捷丰富的信息资源，另一方面由于每时每刻上网人数的增加，也造成了网络拥堵现象的出现。所以要充分开发利用网络信息资源就一定要进行优化配置，性价比高的信息资源才会获得更多的利用率，随之产生更大的效益。

其次，随着网上信息资源的快速扩张，为了有效地控制、查询和利用各类信息，在该领域引入了数据库技术。在网络信息资源开发利用中，数据库技术有着非常广泛的应用领域，它是实现资源共享、节约成本、提供系统响应能力、工作质量和服务水平的重要手段。近年来，我国的网络信息资源的开发建设工作虽然取得了一定的成就，自主研发了几大数据库，如“维普中文科技期刊数据库”，“万方数据库”等，它们的出现大大推动了我国网络信息资源的开发与利用。但是从全球范围来看，我国可供服务的数据库数量还远远不够，需要科研工作者进一步的努力。

再者，网络信息资源共享不仅是互联网的重要特征，也是用户对网络信息服务的需求。大数据时代下的网络信息资源的共享程度并不是很高，信息资源传递服务的工作方式可以在很大程度上保证达到了读者所需的信息需求，是实现大数据库信息资源共享的重要方法。①加强数据库建设标准化的工作，统一数据库标准。②国家要加强宏观调控，制定相关的法律法规，合理规划。③在开发建设网络信息资源共享时，也必须重视纸质文献信息的开发利用和共享。

最重要的一点，在大数据时代，网络信息资源的开发利用还需要相关技术的支持，必须在予人力、物力、财力等方面给予全方位的支持，各个部门之间要加强沟通和合作，推动信息的流动，从而促进网络信息资源的开发利用。

在大数据时代下，如何快速地获取网络信息资源显得很是重要，我们可以借助以下工具：①互联网搜索引擎。这是获取网络信息资源的主要途径，目前国内外搜索引擎的种类很多，它们在查询范围、检索功能上都有各自的特点。常用的搜索引擎有百度、谷歌、有道、搜狗等，查找信息资源时，在搜索框中输入需要查找的关键词，通过给出的链接，逐一访问与之相关的所有网站，扩大检索范围，从而可以查找到所需要的信息资源。但是这样的搜索方式会导致搜索结果数量庞大，所以在检索过程中，要注意积累搜索技巧；②图书馆的网络信息资源。对于我们来说，国内外各大高校的图书馆或公共图书馆就是获取学术信息资源和知识的主要渠道。比如安徽大学图书馆就设有“电子资源导航”专栏，购买了一些常用的知名的国内外数据库，按照特定的学科和专题进行分类，本校学生在任何时间都可以通过网络找到所需要的信息资源；③其他方法。上述两种方法是查询网络信息资源的较为方便快捷的途径，当然在实际操作过程中还有其他的方法和途径，比如专业化信息服务机构的网站、有偿的网络信息服务平台、专业数据库、综合数据库资源等。

4 结 语

随着大数据时代的到来，网络信息资源在我们的日常生活中越来越占据着主导地位，网络信息资源的开发利用水平将直接影响到它的合理利用。只有对网络信息资源进行有效地开发和利用，才能使其变为一个有序的信息空间。

参考文献：

[1] 孟小峰，慈祥.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013，（1）.

[2] 李新华.浅谈大数据时代的机遇与挑战[J].科技与创新，2013，（6）.

[3] 武彬，石新华.网络信息资源管理与数据库建设[J].河南科技，2008，（3）.

[4] 王勇.网络信息资源开发利用的现状及发展趋势[J].晋图学刊，2002，（4）.

[5] 万迪华.网络信息资源开发利用探讨[J].江西图书馆学刊，2001，（3）.

3.大数据运维工程师的基本职责 篇三

1、负责Hadoop平台搭建，运维，管理，故障处理。

2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。

3、对平台的Hadoop，Hbase，Kafka，Hive等进行优化。

4、建立Hadoop集群管理和维护规范，包括版本管理和变更记录等。

岗位要求:

1、有丰富的Hadoop生态系统的运维经验，了解Hadoop、Storm、Spark、Kafka这些组件的原理，具备部署、实施、维护hadoop 及相关组件的能力;

2、至少精通 Perl/Python/Shell脚本语言中的一种;

3、掌握Linux操作系统的配置，管理、优化以及各种常用命令，能够独立排查及解决操作系统层的各类问题;

4、分析问题能力优秀，善于从各种系统、应用日志中寻找出问题的原因。

4.大数据开发工程师的职责精选 篇四

1.结合项目或产品涉及的具体业务场景，对数据进行清洗、计算与加工;

2.思路清晰，可快速响应数据处理的需求，评估并给出合理的解决方案，并采用合理的方式处理需求;

3.积极主动，能够与团队成员进行有效沟通，并完成数据处理结果的核对与对接;

4.完成上级交办的工作或任务。

岗位要求

1.计算机相关专业大专以上学历;

2.2年以上大数据产品或项目开发经验，精通Hadoop生态圈，熟练使用Spark，HBase、Hive、Kafka、Redis等;

3.精通SQL，熟练使用HSQL实现复杂数据处理逻辑，并具备数据处理调优的能力;

4.熟悉Linux开发环境，熟悉Linux的shell命令。

5.具有良好的逻辑思维能力和严谨的程序开发思想，具备独立问题排查与处理的能力;

6.良好的团队精神和合作意识，强烈的责任心，对工作有激情，良好的沟通能力，能吃苦耐劳;

7.有大数据项目或产品背景者优先;

8.有使用Spark SQL进行数据处理，并具有Spark SQL优化经验者优先。

5.大数据开发工程师岗位的职责描述 篇五

1、负责大数据分析平台的建设，基于历史和业务实时数据构建数据挖掘模型;

2、根据需求设计和实现数据分析展示平台;

3、负责建立、维护和改进大数据分析流程、规范、方法;

4、负责基于大数据的数据分析算法研究，基于数据分析结果优化现有应用并探索新的应用。

任职要求：

1、本科及以上学历，统计、数学、计算机或相关专业/方向，3年以上数据分析、数据挖掘相关工作经验;

2、精通MATLAB、Python等大数据涉及的语言和工具，并能熟练运用相关数据分析工具实现数据分析方法;

3、对机器学习、数据挖掘算法及其应用有比较全面的认识和理解，熟悉主流数据挖掘框架;

4、熟悉分布式数据库、数据仓库和数据集市，熟悉数据库相关操作和编程;

5、具有优秀的发现、分析并解决问题的能力，积极性高，具有严谨缜密的工作习惯、较强的沟通能力及团队合作精神;

6.大数据开发工程师的主要职责精选 篇六

1、负责公司项目应用监测数据，分析软件大数据平台的代码开发;

2、负责大数据体系架构设计和应用产品的研究;

3、负责大数据平台及应用场景的构建、部署、测试;

4、编写软件研发相关技术文档;

5、编写产品研发相关任务单计划，阶段性代码、技术方案和软件产品及时提交至配置管理理库;

6、Spark程序的研发，sqoop脚本开发和商家用户行为等离线分析数据;

7、kudu，kylin等技术调研，编写软件研发相关技术文档;

8、SUNMI数仓设计架构以及ETL流程开发;

9、建立多维度，多体系的用户标签体系以及用户行为数据库。

岗位要求 ：

1、本科以上学历，4年以上?工作经验，2年以上Hadoop平台的相关研发经验，具有良好的需求分析，方案设计，架构设计，程序编写、测试能力;

2、熟悉J2EE或Python平台开发，有良好的Java或Python语言功底;

3、了解Linux/Unix操作系统，了解脚本编程(Shell/Python其中一种);

4、具备数据中心资源管理(YARN)、监控(ClouderaManage)、调度(Azkaban)等系统研发经验者优先，具备分布式系统研发经验者优先;

5、熟悉hadoop以及其?生态圈系统上的hive、hbase、sqoop、spark、spark-streaming等技

术，懂hadoop源码者优先;

6、熟悉Kylin有OLAP平台设计和开发经验优先;

7、具有应用大数据技术处理TB级以上数据的项目开发经验者优先;

7.大数据开发工程师的基本职责 篇七

1、负责公司c端产品以及广告数据的平台数据基础建设;

2、大数据平台的搭建与维护;

3、优化算法提高执行效率;

4、数据挖掘相关开发。

职位要求：

1. 本科及以上，计算机、软件工程、统计学、数据挖掘、机器学习等相关专业;

2. 熟悉JAVA语言及JAVA生态下的开发,了解多线程并发,能独立完成应用开发和部署;

3. 3年及以上大数据流程架构经验，熟悉Hbase/Hive/Hadoop/Spark或等主流分布式开发平台，有高性能集群设计和开发经验;

4. 能熟练操作Linux,熟练掌握SQL数据库语言 HiveSQL/Mysql/Sqlserver;

5. 对有广告营销大数据算法/开发经验者优先，有大型数据项目经验优先，有用户行为分析、用户建模、业务建模经验者优先;

8.大数据开发工程师的基本职责 篇八

1、配合项目/产品经理提出的产品规划或需求，根据PC端、原生app混合开发等不同项目需求，对该项目/产品的应该使用的技术栈进行合理选型

2、能够推进该项目的前端小组按照规范高效、高质量完成前端项目开发，编写具有可扩展、易维护的前端代码

3、能深刻理解设计师对项目view层的UI设计和交互设计，能在前端项目中高保真地实现设计师的设计稿效果，设计稿不完整的情况下能以符合一般美学常识地予以扩展

岗位要求：

1、三年以上计算机前端代码编写、项目开发经验，热爱IT行业，有独立分析解决Bug能力，有研究前沿技术的热情

2、精通Javascript、CSS2/3，Html5，精通sass/less等CSS预编译语言

3、能独立开发部署VUE项目，精通elemenUI框架使用，精通数据跨域，webpack打包等常规技术环节，熟练使用SVN、git

4、熟悉react/angular，能迅速介入使用该框架的项目

5、精通移动端的项目的开发与迭代，熟练掌握MUI

6、精通App的混合式开发，熟练使用rem布局，能处理ios和安卓的兼容问题

9.数据挖掘工程师的基本职责 篇九

1、负责CAIC各类数据平台的搭建及系统开发实现;

2、负责系统技术运维及各类技术问题处理;

3、负责系统间接口数据标准规范制定;

岗位要求：

1、本科以上学历，软件工程、计算机、通信等相关理工类专业;

2、有一年以上.NET实际项目开发经验;

3、熟练掌握.NET Framework、C#语言，熟练使用Visual Studio.NET开发工具;

4、熟练使用Office软件，数据库产品，精通SQL Server等大型数据库系统开发，熟练使用JS框架，如jQuery/YUI等，并解读过源码，熟练多框架加分，精通Ajax技术;

5、有良好的沟通能力、处理解决问题的能力、强烈的责任感和敬业精神;

10.Java开发工程师的基本职责 篇十

1、在软件项目经理的领导下，配合完成程序设计和开发。

2、按产品需求进行软件设计和编码实现，确保安全、质量和性能。

3、参与内部测试、部署、实施等工作。

4、分析并解决软件开发过程中的问题。

任职要求：

1、大学本科以上学历，计算机相关专业，有一年以上JAVA开发经验，并可以出差工作;

2、Java基础扎实，熟悉面向对象思想，精通编程、调试和相关技术;

3、精通J2EE架构、SpringBoot,SpringCloud,Hibernate、MyBatis和基于MVC的开发模式，熟练使用Eclipse或MyEclipse开发工具;

4、熟悉tomcat、jboss中的一种;了解Linux操作系统，熟悉MySQL数据库;

5、熟悉web前端技术，熟悉springMVC、Ajax、HTML、DIV/CSS，熟悉JavaScript或EXT、Jquery;

6、可以单独对已有的系统进行维护，工作认真细致负责，有良好的自学能力，独立思考能力，能够在短时间内学习并应用新技术;

11.大数据开发工程师的工作职责 篇十一

1、参与ODS系统或Hadoop 系统数据库相关开发,包括数据仓库的数据模型设计(ODS层设计、基础数据层设计、汇总层设计等);

2、参与ETL Mapping设计及开发工作;

3、参与客户/用户画像、经营管理、产品画像、营销活动等主题域建设工作。

资质要求：

1.计算机相关专业本科及以上学历，优秀者放宽至大专;

2.有大型数据库(ORALCE/MSSQL SERVER等)开发经验，有Sybase IQHIVESpark SQL开发经验者优先;

3、有较强的SQL编程能力,熟练编写存储过程，能设计各种复杂的业务处理、统计分析语句，精通sql性能优化;

4、具有数据仓库、ods、BI商务智能项目经验者优先，具有金融行业项目背景者优先;