各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人效果最佳。

课程目标

本课程将为大家全面而又深入的介绍Spark、Hadoop平台的构建流程，涉及Spark、Hadoo系统基础知识，概念及架构， Spark、Hadoo实战技巧，Spark、Hadoo经典案例等。

通过本课程实践，帮助学员对Spark、Hadoo生态系统有一个清晰明了的认识；理解Spark、Hadoo系统适用的场景；掌握Spark、Hadoo等初中级应用开发技能；搭建稳定可靠的Spar、Hadoo k集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例，包括阿里巴巴，华为等。

培训特色

当下是大数据时代，为构建大数据平台，技术人员需要对分布式计算平台有一定深入的理解和应用。MapReduce作为一个经典的分布式计算框架，已经广为人知，且得到了广泛的应用，但MapReduce自身存在很多问题，包括迭代式计算和DAG计算等类型的数据挖掘与机器学习算法性能低下，不能很好地利用内存资源，编程复杂度较高等。为了克服MapReduce的众多问题，新型计算框架出现了。Spark是基于DAG的分布式内存计算框架，目前超级火爆的大数据处理分布式平台

培训证书

工业和信息化部人才交流中心颁发的《工业和信息化领域急需紧缺人才》大数据分析高级工程师证书。证书可作为专业技术人员职业能力考核的证明，以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。证书查询：www.ncie.gov.cn

培训内容（3天课程）

第一天

Spark生态介绍

Mapreduce、storm和spark模型的比较和使用场景介绍

Spark产生背景

Spark（内存计算框架）

SparkSteaming（流式计算框架）

Spark SQL（ad-hoc）

Mllib（MachineLearning）

GraphX（bagel将被代）

DlinkDB介绍

SparkR介绍

spark安装部署

Spark安装简介

Spark的源码编译

Spark Standalone安装

Spark Standalone HA安装

Spark应用程序部署工具spark-submit

Spark运行架构和解析

Spark的运行架构

基本术语

运行架构

Spark on Standalone运行过程

Spark on YARN 运行过程

Spark运行实例解析

Spark on Standalone实例解析

Spark on YARN实例解析

Spark的scala编程

Scala基本语法

Scala开发环境搭建

Scala开发Spark应用程序

Spark编程模型和解析

Spark的编程模型

Spark编程模型解析

RDD的特点、操作、依赖关系

Spark应用程序的配置

第二天 Spark的scala编程

Scala基本语法

Scala开发环境搭建

Scala开发Spark应用程序

Spark Streaming原理和实践

Spark Streaming原理

Spark流式处理架构

DStream的特点

Dstream的操作和RDD的区别

Spark Streaming的优化

Spark Streaming实例

文本实例

网络数据处理

Spark SQL原理和实践

Spark SQL原理

Spark SQL的Catalyst优化器

Spark SQL内核

Spark SQL和Hive

Spark SQL的实例和编程

Spark SQL的实例操作demo

Spark SQL的编程

第三天

Spark MLlib数据挖掘

Spark mllib介绍

Kmeans数据介绍

MllibKmeans案例

LR算法介绍

Mllib LR 案例

贝叶斯算法介绍

贝叶斯算法案例

基于mllib的推荐系统实战

—商品推荐

—用户推荐

—混合推荐

—最佳拍档

Spark graphX图分析

graphX核心原理

table operator和graph operator区别

vertices、edges和triplets介绍

构建一个graph

ShortestPaths图算法详解

PageRank图算法详解

TriangleCount图算法详解

Pagerank图算法实战

案例实战

基于spark日志分析

个性化推荐系统：带你揭开其神秘面纱

在线投放引擎

揭开淘宝点击推荐系统的神秘面纱

京东商城数据服务架构—实时计算平台

培训师资

刘老师：阿里大数据高级专家，国内资深的Spark、Hadoop技术专家、虚拟化专家，对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究，更主要的是这些技术在大量的实际项目中得到广泛的应用，因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有：某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。