各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。

课程简介

当下是大数据时代，为构建大数据平台，技术人员需要对分布式计算平台有一定深入的理解和应用。

目标收益

通过本课程实践，帮助学员对Hadoop、spark和NoSQL生态系统有一个清晰明了的认识；理解Hadoop、spark和NoSQL系统适用的场景；掌握Hadoop、spark和NoSQL等初中级应用开发技能；搭建稳定可靠的Hadoop、spark和NoSQL集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例，包括阿里巴巴，华为等。

课程大纲

大数据在国内的运用 大数据在国内的使用介绍

离线计算框架介绍

流式计算框架介绍

内存计算框架介绍

内存流式计算介绍

大数据的整体技术架构 开源大数据技术架构

开源大数据常用组件之间的依赖关系

离线计算框架介绍

—Mapreduce、Hive、Tez、Presto、Kylin

实时查询框架介绍

—NoSQL、Hbase

实时计算框架介绍

—Kafka、Strom、Spark Streaming

内存计算框架介绍

—Spark、SparkSQL、SparkMllib、SparkR

前沿大数据技术介绍

—Flink、Drill、Druid、KUDU等

海量日志快速检索架构

—ELK（Elasticsearch、Logstash、Kibana）等

Hadoop平台优化点 Linux系统的优化

最佳硬件的选择和建议

HDFS架构和原理

HDFS的优化、维护和经常出现的问题

MapReduce架构和原理

MapReduce的优化、维护和经常出现的问题

Yarn的内存、CPU和IO的优化

Hbase的优化和生产环境常见的问题

Hive的优化和Hive的改进工具介绍

Impala、Kylin、Presto工具介绍

RCFile、ORC和parquet格式介绍

Hadoop核心组件的运维和配置 HDFS的元数据管理

FSimage和Edit文件解析

手动修改FSimage和Edit文件

HDFS HA的架构运维解析

Yarn服务运维详解

Yarn核心配置参数的详解

Hbase服务运维详解

手动设置Split和Compaction操作

RS宕机的运维处理

Hbase 超大表的优化实践

Yarn实战 Yarn架构和原理

ResourceManager工作原理

NodeManager工作原理

基于IO的控制这是

Yarn为某个运用独立分配资

基于队列的资源管理配置

基于底层硬件的SLA资源配置

不同部门或者用户的资源配置

NoSQL和Hbase使用 NoSQL介绍

NoSQL应用场景

Hbase原理

Hmaster详解

RegionServer详解

Zookeeper介绍

Hbase安装

Hbase逻辑视图介绍

Hbase物理视图介绍

Hbase的二级索引介绍

Hbase 的DDL和DML

Hbase表的设计案例

Hbase的import功能介绍

MapReduce操作Hbase

Hbase的 thrift Server介绍

Hbase 的API介绍

Hbase使用场景介绍

Hbase案例分析

Spark Streaming原理和实践 Spark Streaming原理

ApplicationMaster工作原理

Yarn的资源控制机制

基于内存的控制设置

基于CPU的控制设置

• Spark流式处理架构

• DStream的特点

• Dstream的操作和RDD的区别

• SatefulRDD和windowRDD实战

• Kafka+Spark Steaming实战

• Spark Streaming的优化

Kafka+Spark Streaming实例

• 文本实例

网络数据处理

Spark SQL原理和实践 Spark SQL原理

• Spark SQL的Catalyst优化器

• Spark SQL内核

• Spark SQL和Hive

DataFrame和DataSet架构

Fataframe、DataSet和Spark SQL的比较

SparkSQL parquet格式实战

Spark SQL的实例和编程

• Spark SQL的实例操作demo

Spark SQL的编程

Spark优化 Spark SQL的优化

基于Spark计算的文件格式选择

Spark on Yarn的优化

Spark SQL执行计划的优化

Spark 内存管理的机制

互联网大数案例分享 互联网大数据应用案例介绍

某银行基于大数据平台风险监控案例

某银行基于大数据数据湖的案例

讲师介绍

Gavin.Liu

先后服务于北京大学软件研究所、高德软件、阿里巴巴和Teradata，实施过基于Hadoop平台PageRank算法的实现、高德大数据中心的建设(300+的Hadoop集群开发、优化、运维和提供服务)、阿里巴巴OPDS大数据平台维护、内蒙移动大数据平台试点(Hadoop)、台湾远传Hadoop平台开发和优化、兰州银行大数据平台的架构和开发(Hadoop)、招商银行的大数据咨询规划和设施。在大数据架构、数据集成、数据挖掘/机器学习、实时推荐和营销方面有丰富经验，了解大数据在互联网的使用场景。