程序员、架构师、运维工程师、数据库开发人员、后台开发人员。

课程目标：

本次课程以实际的演练（环境部署，程序开发）为主，分享大规模Hadoop应用的一线最有效实用经验，实践与理论相结合，让学员能够对Hadoop生态系统有一个清晰明了的认识，理解Hadoop系统适用的场景，掌握MapReduce与Hive的中高级应用开发技能，快速高效搭建稳定可靠的Hadoop集群，满足生产环境的标准。

课程内容的分为4个部分：

1. 进入Hadoop的精彩世界，介绍Hadoop生态系统的各个组成模块与适用场景。

2.Hadoop部署，编程与管理，讲解演示在生产环境中选用和配置服务器需要注意的事项，介绍HDFS编程的Java API使用。

3.MapReduce编程：讲解演示MapReduce的中高级应用开发技能。

4.Hive与HBase编程：根据实际例子讲解Hive的使用与UDF的开发，以及如何通过JAVA编写HBase应用。

培训对象：程序员、架构师、运维工程师、数据库开发人员、后台开发人员。

学员基础：最好了解Java编程，了解Linux基础。

授课方式： 定制课程 + 案例讲解 + 小组讨论，60%案例讲解，40%实践演练

培训内容： 2天

进入Hadoop的精彩世界

• 文件存储-HDFS

• HDFS-工作原理

• 数据计算MapReduce

• MapReduce工作原理

• SQL分析-Hive

• 海量实时读写-HBase

• 工作流调度-Ooize

• 分布式协调系统--Zookeeper

Hadoop部署与编程 • Hadoop版本介绍与选择

• Hadoop部署实践 •Hadoop安装文件构成与配置体系

• 机器硬件建议配置

• 系统环境配置

• 基本参数配置与说明

• 进程分布规划与启动

• Hadoop基本使用操作 • HDFS

•权限

• MapReduce

• HDFS编程 • 开发环境准备

• 读文件

•写文件

• Hadoop系统容灾策略

•Hadoop资源调度策略

• Hadoop安全

• Hadoop系统监控与报警策略

MapReduce编程

• MapReduce的定义与工作机制

•MapReduce与分布式计算

•编程实战 •MapReduce程序编写

• 基于MapReduce的Sort操作

•基于MapReduce的Join操作

• Hadoop多语言编程框架Streaming

• 代码调试 •运行日志

Hive与HBase编程 •Hive环境部署与搭建

• Hive工作机制

• Hive语法与实践

• 数据压缩选择 • gzip

• bz2

• lzo

• rcfile

•HBase编程示例

• HBase系统架构

• HBase性能测试

Hadoop系统管理 •Hadoop系统容灾策略

•Hadoop资源调度策略

•Hadoop高级配置参数

•Hadoop安全

•Hadoop系统监控与报警策略