各行政单位、企事业单位、部队、学校、城市公共服务系统、大型银行、软件公司等从事云计算应用与开发的相关人员等。
| 课程编号 | 开课日期 | 地点 | 培训天数 | 选择报名 |
各行政单位、企事业单位、部队、学校、城市公共服务系统、大型银行、软件公司等从事云计算应用与开发的相关人员等。
培训时间及地点
云计算基础架构班 2012年8 月8日--8月9日(7日全天报到) 北京
Hadoop开发与应用班 2012年8 月10日--8月12日(9日全天报到) 北京
培训费用及须知
“云计算基础架构”-- 3500元\人;“Hadoop开发与应用”—5000元\人(含培训费、考试费、证书费、资料费、午餐),两项组合报价6000元\人,食宿统一安排,费用自理。
培训对象
各行政单位、企事业单位、部队、学校、城市公共服务系统、大型银行、软件公司等从事云计算应用与开发的相关人员等。
颁发证书
参加相关培训并通过考试的学员,可以获得:
工业和信息化部人才交流中心颁发的《全国信息化工程师证书》
培训特色
注重应用:分析国内实际情况,结合国际、国内成功经验,将云计算的架构层次与行业应用相结合。
形式灵活:互动课堂、云基地参观考察、免费技术沙龙、提供云计算项目建设咨询。
本课程提供基础架构管理(2天)与大数据处理(3天)两个学习方向,共计时长5天。学员可根据兴趣及已有积累选择适合自己的学习内容,各项内容均注重案例教学和应用操作实训。建议学员自带笔记本电脑。
课程大纲
课程一、云计算基础架构
课程概述
本课程主要面向企业IT人员,企业信息化人员、云计算从业人员等讲授云计算的基本概念、核心技术、主流架构、主要产品与厂商,以及在云计算投入实际产品运用时需注意的问题;此外,本课程还将结合实践讲述主流虚拟机XEN与开源云平台Eucalyptus。
课程目标
通过本课程的培训,学员可以掌握以下知识和技能:
1.云计算的概念与理念
2.云计算与集群计算、网格计算、效用计算、SOA、Service等技术的关系与区别
3.云计算的核心技术
资源虚拟化技术:CPU虚拟化,IO虚拟化
大数据处理技术:MapReduce
4.云计算的应用场景
SaaS
PaaS
IaaS
5.云计算主流厂商与产品
Amazon EC2, S3, Dynamo, CloudWatch, AutoScale等,
Google GFS, Bigtable, MapReduce等
其他公司产品:Facebook,Microsoft等
6.云计算面临的挑战:性能、数据隐私与安全、服务可靠性、云计算软件开发等
7.XEN虚拟机的安装、部署与管理
8.Eucalyptus云平台的安装、部署与管理
课程大纲
第一部分:云计算理论
第一天(上午)
云计算发展历史
云计算基本概念
云计算理念
云计算架构
云计算主流产品与厂商
云计算实际应用面临的挑战
第一天(下午)
云计算核心技术之一:资源虚拟化技术
资源虚拟化的动力与应用背景
资源虚拟化的关键技术
资源虚拟化的收益与成本
资源虚拟化产品
云计算核心技术之二:大数据处理技术
大数据处理的应用背景
大数据处理的关键技术
大数据处理的开源与商业产品
第二部分:云计算实践
第二天(上午)
XEN虚拟机的原理与应用场景
XEN虚拟机的安装
XEN虚拟机的引导
XEN虚拟机的部署与管理
XEN虚拟机的块设备存储
XEN虚拟机的虚拟网络环境
XEN虚拟机的保存与恢复
试验:XEN虚拟机的使用
第二天(下午)
Eucalyptus的基本架构
Eucalyptus的安装
Eucalyptus的配置
Eucalyptus的基本操作
Eucalyptus的伸缩性扩展
Eucalyptus的镜像管理
Eucalyptus的存储管理
Eucalyptus的网络管理
Eucalyptus的安全管理
试验:使用Eucalyptus
课程二、Hadoop开发与应用
课程介绍
本课程理论结合大量实践,适用于使用Apache Hadoop来创建开发强大的数据处理应用的各类Hadoop开发技术人员。通过本课程的学习,学员将掌握开启海量数据处理技术大门的金钥匙,为企业提供前所未有的从所有不同类型数据里挖掘商业价值的机会。
适合对象
具备编程经验的开发人员(最好是面向对象高级编程语言,譬如Java)
无Hadoop系统构建及其开发经验的人员也很适用
课程目标
了解大规模数据处理的核心技术
熟悉并理解企业大规模数据处理应用的注意事项
对开源系统的应用
预备知识
掌握基本的Java语法
对数据结构、编译原理、概率论有基本的了解
课程内容:
第一部分:基础知识(第1天)
本部分课程针对那些寻求理解如何运用MapReduce和Hadoop来处理大规模数据的学员提供坚实的基础。培训以一系列讲授结合生动实例和动手实验的形式进行。本部分课程适用于Hadoop的新接触者,也适合想更深入了解其核心原理,API编程和MapReduce基本算法的人员。
希望深入学习的人员可以参加后两天的课程
规模化思考:介绍Hadoop和大规模数据
你知道你的数据很大--你发现了Hadoop。与大规模数据打交道的时候,你该有什么考量?本部分将涉及与数据一同成长所面临的普遍挑战和解决方案。
MapReduce和HDFS
这些工具的核心功能使你可以存储、处理和分析大规模数据。本部分将揭开其技术原理的面纱。您将了解到它们是如何组合相互匹配,来提供可扩展的强大的系统。
实验:开始使用Hadoop
Hadoop生态系统
介绍Hadoop周边的其他项目,它们完善了现有的大规模数据处理工具的生态系统。
The Hadoop MapReduce API
学习如何开始编写针对Hadoop's API的程序
MapReduce的算法导论
MapReduce的程序编写要求以一种新方法分析问题。本部分将展示一些常用功能如何被表示为MapReduce管道的一部份。
实验:MapReduce程序编写
现在您已熟悉一些工具并初步了解如何编写MapReduce程序,这项工作将挑战您执行一项处理大规模数据时的常见任务-建立倒序索引。更重要的是,教您掌握编写更有趣的数据处理任务所需的基本技能。
Hadoop部署
一旦您了解Hadoop的基础使用和MapReduce应用程序的编写,您就必须知道如何为您自己的处理工作启动并运行Hadoop。
本部分课程结束前,我们会确保您了解如何在您自己的数据中心服务器上或Amazon's EC2上部署Hadoop。
第二部分:中级知识(第2天)
本部分课程建立在基础课程之上,适合那些已经熟悉Hadoop基础知识和MapReduce编程模型的人员。课程的重点是将数据导入Hadoop和建立数据处理管道。并将讨论更深入的主题,如Hive和Pig,并演示如何有效使用。
利用Hadoop扩展现有系统
我们先以普遍的眼光看看数据系统。Hadoop很少取代现有的基础设施,而是通过提供一个可扩展的批处理系统让您能更有效处理数据。我们将帮助您了解这一切如何组合在一起。
数据处理管道最佳实践
为Hadoop能压缩大容量数据,首先您需要将这些数据导入Hadoop。我们将帮助您了解如何从各种渠道把不同类型数据导入Hadoop以便作进一步分析。
运用工具导入现有数据库
运用工具将数据从RDBMS中导入Hadoop,以便直接使用MapReduce的,Hive或Pig处理数据。
Pig导论
Pig是一种编写大规模的数据分析程序的高级语言。Pig用简化的处理语言揭示了MapReduce的普遍构建。
使用Pig
通过实验,我们将重新审视一些常见任务,看看如何使用Pig来完成。
Hive导论 -- Hadoop的数据仓库
Hive是构建在Hadoop上的强大的数据仓库应用程序,让您使用SQL来访问数据。
Working with Hive
如何使用Hive,涉及数据导入、表格创建及查询。
第三部分:调试与优化(第3天)
本部分课程讲授先进的调试和优化MapReduce程序的技能。学员将更深入研究Hadoop API,并学习能帮助Hadoop程序和其它系统更紧密地集成、更高的并行处理能力的编程工具。
调试MapReduce程序
在分布式环境下调试是有挑战性的。我们将揭示程序涉及的最佳方案以减轻调试难度,及规模调试的本地工具或技巧。
高级Hadoop API
更深入学习API,包括自定义数据类型和文件格式,HDFS的直接访问,中间数据划分,以及其他知识,如DistributedCach。
高级算法
将介绍一些可以适合您需求的图算法,以及如PageRank一样更复杂的案例。还将研究有效执行联接的策略,并比较适于不同数据模型的不同技术。
MapReduce程序优化
师资力量
主讲专家将来自中科院、工信部等高级专家,微软、VMware、IBM等云计算行业一线专家,拥有丰富的工程技术经验,从事云计算的大型项目,拥有资深的技术底蕴和专业背景,并结合实际互动答疑。