spark实战课程
主办单位：中培网 中培管理咨询
时间地点：2016-04-16至2016-04-17 在 深圳
学员对象：各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。
费 用： 7800元
【培训对象】
各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。
【课程收益】
【课程大纲】
课程信息
当下是大数据时代，为构建大数据平台，技术人员需要对分布式计算平台有一定深入的理解和应用。MapReduce作为一个经典的分布式计算框架，已经广为人知，且得到了广泛的应用，但MapReduce自身存在很多问题，包括迭代式计算和DAG计算等类型的数据挖掘与机器学习算法性能低下，不能很好地利用内存资源，编程复杂度较高等。为了克服MapReduce的众多问题，新型计算框架出现了。
培训特色
当下是大数据时代，为构建大数据平台，技术人员需要对分布式计算平台有一定深入的理解和应用。MapReduce作为一个经典的分布式计算框架，已经广为人知，且得到了广泛的应用，但MapReduce自身存在很多问题，包括迭代式计算和DAG计算等类型的数据挖掘与机器学习算法性能低下，不能很好地利用内存资源，编程复杂度较高等。为了克服MapReduce的众多问题，新型计算框架出现了。
目标收益
本课程将为大家全面而又深入的介绍Spark、Hadoop平台的构建流程，涉及Spark、Hadoo系统基础知识，概念及架构， Spark、Hadoo实战技巧，Spark、Hadoo经典案例等。
通过本课程实践，帮助学员对Spark、Hadoo生态系统有一个清晰明了的认识；理解Spark、Hadoo系统适用的场景；掌握Spark、Hadoo等初中级应用开发技能；搭建稳定可靠的Spar、Hadoo k集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例，包括阿里巴巴，华为等。
培训对象
各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。
学员基础
了解Linux系统及相关语言环境
课程大纲
主题 内容
Spark
生态介绍
Mapreduce、storm和spark模型的比较和使用场景介绍
Spark产生背景
Spark（内存计算框架）
SparkSteaming（流式计算框架）
Spark SQL（ad-hoc）
Mllib（MachineLearning）
GraphX（bagel将被代）
DlinkDB介绍
SparkR介绍
Spark
安装部署
Spark安装简介
Spark的源码编译
Spark Standalone安装
Spark Standalone HA安装
Spark应用程序部署工具spark-submit
Spark的高可用性部署
Spark
运行架构和解析
Spark的运行架构
• 基本术语
• 运行架构
• Spark on Standalone运行过程
• Spark on YARN 运行过程
Spark运行实例解析
• Spark on Standalone实例解析
• Spark on YARN实例解析
Spark
scala编程
• Scala基本语法
• Scala开发环境搭建
• Scala开发Spark应用程序
• 使用java编程
• 使用scala编程
• 使用python编程
Spark
编程模型和解析
Spark的编程模型
• Spark编程模型解析
• RDD的特点、操作、依赖关系
• Spark应用程序的配置
Spark Streaming原理和实践
Spark Streaming与Strom的区别
Kafka的部署
Kafka与Spark Streaming的整合
Spark Streaming原理
• Spark流式处理架构
• DStream的特点
• Dstream的操作和RDD的区别
• Spark Streaming的优化
Spark Streaming实例
• 文本实例
• 网络数据处理
• Kafka+Spark Streaming实现日志的实时分析案例
Spark
SQL原理和实践
Spark SQL原理
• Spark SQL的Catalyst优化器
• Spark SQL内核
• Spark SQL和Hive
Spark SQL的实例和编程
• Spark SQL的实例操作demo
• Spark SQL的编程
• DataFrame架构和原理
• DataFrame支持的统计和数学函数介绍
• 从RDD创建DataFrame
• 从Hive表创建DataFrame
• 从数据源创建DataFrame
Spark的数据源
Spark与HDFS的整合
HDFS RDD原理和实现
Spark与Hbase的整合
Spark与Cassendera整合
Hbase RDD的分区读取
Hbase RDD的原理和实现
Spark parallelism RDD的工作机制
Spark 数据挖掘
Mllib的介绍
graphX核心原理
table operator和graph operator区别
vertices、edges和triplets介绍
构建一个graph
SparkR原理
SparkR实战
典型项目
案例实战
基于spark日志分析
个性化推荐系统：带你揭开其神秘面纱
在线投放引擎
揭开淘宝点击推荐系统的神秘面纱
淘宝数据服务架构—实时计算平台
Spark的优化
序列化优化——Kryo
Spark参数优化实战
Spark 任务的均匀分布策略
Partition key倾斜的解决方案
Spark任务的监控
GC的优化
Spark Streaming吞吐量优化
Spark RDD使用内存的优化策略
Spark在使用中的感想分享
【讲师介绍】
▓▓▓▓▓▓▓▓▓ 培 训 回 执 表 （此表复制有效）▓▓▓▓▓▓▓▓
传真至：020-62355807
我单位共＿＿＿ 人报名参加 2016-04-16至2016-04-17 在 深圳 举办的 spark实战课程
单位名称：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
培训联系人：＿＿＿＿＿＿＿＿＿ 联系电话：＿＿＿＿＿＿＿＿＿ 联系传真：＿＿＿＿＿＿＿＿
移动电话：＿＿＿＿＿＿＿＿＿＿＿＿ 电子邮箱：＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
参加人数：＿＿＿＿ 人 费用总计：＿＿＿＿＿＿ 元
参 会 人：＿＿＿＿＿＿＿＿ 所任职务：＿＿＿＿＿＿＿＿＿＿ 移动电话：＿＿＿＿＿＿＿＿＿
参 会 人：＿＿＿＿＿＿＿＿ 所任职务：＿＿＿＿＿＿＿＿＿＿ 移动电话：＿＿＿＿＿＿＿＿＿
参 会 人：＿＿＿＿＿＿＿＿ 所任职务：＿＿＿＿＿＿＿＿＿＿ 移动电话：＿＿＿＿＿＿＿＿＿
══════════════════════════════════════════
广州电话：（020）39971893、62355796 传真号码：（020）62355807
联 系 人：赵小姐、张先生 报名邮箱： 317709971@QQ.COM
参会方式：请您把培训回执表填写好回传，课前一星期您将会收到传真函，包括培训注意事项及详细安排