大数据工程师

万和大数据课程体系

课程设置无缝对接企业用人需求，万和四个月，胜读四年书

大数据基础

大数据基础

1.什么是大数据？-大数据概念； 2.大数据主要分类类型； 3.大数据和普通数据的区别；

大数据现状

1.现有企业应用场景； 2.大数据生态圈介绍；

群组讨论

1."自我定义的大数据"-群组讨论； 2.学员技能摸底，情况归档；

Linux基础

Linux基本命令解析

1.熟悉Linux历史背景； 2.了解Linux基本命令；

虚拟机-Centos安装

1.安装虚拟机； 2.安装Mvn，Jdk等工具

Zookeeper

Zookeeper熟悉和用途综述

1.Z****eper介绍 2.Z****eper基础知识 3.体系结构 4.数据模型

Zookeeper环境搭建

1.集群搭建和测试 2.命令行客户端操作 3.**at

Zookeeper开发

1.*****es、Node详解 2.*PI介绍 3.**va Client开发 4.实战内容（现场实验环节）

Zookeeper集群搭建、 命令行Client操作

1.Z****eper 节点类型与体系结构 2.Z****eper Watch 3.Z****eper 与 HBase 的关系 4.Z****eper 更新Server 实例实现 5.Z****eper 分布式锁

Hbase数据库

Hbase熟悉和用途综述

1.***se介绍 2.***se基础知识 3.体系结构 4.数据模型

Hbase环境搭建

1.集群搭建和测试 2.命令行客户端操作 3.**at

Hbase开发

1.***se增删改查 2.***se的基础get，scanner等命令

Hadoop

hadoop的前世今生

1.大数据背景及hadoop出现的契机 2.****op概述 3.****op生态系统 4.****op分布式文件系统HDFS 5.****op计算框架MapReduce 6.****op版本发展历史 7.****op行业应用案例分析 8.****op与云计算和大数据的关系

hadoop的前世今生

1.****op 核心组件简单介绍 2.****op 部署角色简单介绍 3.****op 试验集群的部署结构 4.****op 安装依赖关系 5.****op 生产环境的部署结构 6.****op 集群部署 7.****op 高可用配置方法 8.****op 集群简单测试方法 9.****op 集群异常debug方法

hadoop YARN架构设计和核心概念

1.**RN的出现的背景 2.**RN的设计思想和背景 3.**RN的基础架构 4.**RN的工作流程 5.**RN的基础类库详解 6.**RN的核心模块ApplicationMaster详解 7.**RN的核心模块ResourseManager剖析 8.**RN的核心模块NodeManager详解 9.**RN 资源调度器详细介绍

Spark

Spark的发展历程

1.大数据背景及sPARK出现的契机 2.***rk概述 3.***rk生态系统 4.***rk核心组件原理和架构 5.***rk分布式文件系统HDFS 6.***rk计算核心算法 7.***rk部署角色 8.***rk版本发展历史 9.***rk行业应用案例分析

安装Spark

1.***rk 核心组件简单介绍 2.***rk 部署角色简单介绍 3.***rk 试验集群的部署结构 4.***rk 安装依赖关系 5.***rk 生产环境的部署结构 6.***rk 集群部署 7.***rk 高可用配置方法 8.实战内容（现场实验环节）

Spark 部署模式剖析

1.***rk的工作流程 2.***rk的多种调度模式区别 3.***rk的调度通信机制

Spark 高级编程,Spark Streaming高级编程

1.***rk 核心API介绍 2.****le 算法介绍 3.***rk异常回滚机制介绍 4.***rk Sql剖析 5.***rk Streaming剖析 6.***rk RDD剖析 7.实战内容（现场实验环节）

Spark 及Spring搭配

1.***rk和Spring集成 2.实战内容（现场实验环节）

Spark编程模型及调优

1.***rk编程模型及调优 2.实战内容（现场实验环节）

storm

Storm基础知识

1.包括storm基本概念 2.***rm应用场景 3.应用现状和发展趋势 4.***rm与hadoop的区别

Storm的架构与原理

1.****us进程与Supervisor进程 2.***rm集群环境搭建 3.z****eper集群的搭建 4.***rm配置文件配置项讲解 5.***rm常用组件和编程API 6.******gy、Spout、Bolt、Storm分组策略 7.（Stream Groupings） 8.***rm项目maven环境的搭建 9.实战内容（现场实验环节）

storm可靠性机制

1.消息处理的含义 2.***rm的ack/fail机制 3.***rm如何保证可靠性 4.***rm如何实现可靠性

storm高并发策略

1.工作进程、执行器与任务的区别 2.配置topology的并行度 3.******gy实例 4.如何改变运行中topology的并行度

流分组

1.什么是流分组 2.6种不同的流分组方式

组件详解

1.基本接口:IComponent接口、ISpout接口、IBolt接口、IRichSpout接口、IRichBolt接口、IBasicBolt接口、IStateSpout、IRichStateSpout接口 2.基本抽象类:BaseComponent抽象类、BaseRichSpout抽象类、BaseRichBolt抽象类、BaseBasicBolt抽象类

storm批处理事务处理

1.***rm批处理详解 2.***rm事务工作原理深入讲解 3.***rm事务相关API详解 4.***rm事务案例分析 5.***rm分区事务与不透明分区事务

Kafka

kafka概述

1.***ka是什么:kafka概念详解：Topics/logs、Distributitions、Producers、Consumers、Guarantees。 2.***ka的应用场景 3.***ka的体系架构与设计原理

kafka的安装部署

1.***ka集群环境的搭建 2.***ka配置项的配置与讲解 3.分布与订阅的原理 4.分布与订阅的接口

kafka使用zookeeper进行协调管理

1.z****eper在kafka中的作用 2.z****eper如何进行协调管理