Spark大数据平台

2014-5-30 16:32| 发布者: 仙豆| 查看: 454987| 评论: 0|原作者: 仙豆

快速报名入口

此课程所属【大数据攻城狮专业】
该专业内有15门推荐课程，目前平台推出【专业课程0元学】活动，只需0元即可在15门专业课程中任选5门学习，超值优惠，助您快速成长！点击这里了解

2014年是分布式计算框架群雄纷起的一年，MapReduce已逐渐日暮西山；Spark以其卓越的内存计算和All-in-one的解决方案日渐突出，吸引了大量开发者和数学专家的眼光。自Spark Summit 2014以来，世界各地的spark meetup如雨后春笋般出现。本课程在总结上两期课程的经验，对课程重新设计并将更新过半的内容，将版的spark1.1.0展现给有兴趣的学员。

课程内容：

1：Spark生态和安装部署

什么是Spark

Spark有什么

安装部署

Spark安装简介

Spark的源码编译

Spark Standalone安装

Spark Standalone HA安装

Spark工具

Spark交互式工具spark-shell

Spark应用程序部署工具spark-submit

2：Spark编程模型和解析

Spark的编程模型

RDD的特点、操作、依赖关系

缓存策略

广播变量和累加器

Spark编程环境搭建

Spark编程实例

3：Spark运行架构和解析

Spark的运行架构

基本术语

运行架构（DAGScheduler、TaskSeduler、Task、容错性、推测机制、数据本地性）

Spark on Standalone运行过程

Spark on YARN 运行过程

Spark实例演示

Spark on Standalone实例演示

Spark on YARN实例演示

4：不得不说的hive

hive的运行架构

hive的安装

hive的实例演示

shark的简介

5：SparkSQL原理和实践

Spark的运行架构

Catalyst

sqlontext

hiveContext

ThriftServer和CLI

ThriftServer

CLI

SparkSQL的实例演示和编程

spark-shell实例演示

spark-sql实例演示

SparkSQL的编程

6：SparkStreaming原理和实践

SparkStreaming原理

SparkStreaming的原理

SparkStreaming的运行方式

DStream的特点和操作

SparkStreaming实例演示

网络数据演示

文本实例演示

Window操作演示

7：MLlib入门

什么是机器学习

MLlib的架构

Mllib实例演示

聚类算法演示

推荐系统演示

8：GraphX入门

图论基础

GraphX的架构

GraphX实例演示

图的基本操作

PageRank演示

9：Spark运维（上）

Spark On YARN

Spark On Docker

10：Spark运维（下）

Spark配置

history server

job server

Spark的监控

Spark UI监控

Ganglia 监控

11：Spark调优

序化

压缩

数据倾斜等等

实例演示

12：Scala on Spark

spark常用的scala基础

如何阅读spark源代码

如何构建spark项目

13：Spark编程

RDD的编程

Spark综合实例（SparkSQL+sparkMlib+Redis+R）

14：Spark源码研读

Spark源码总体介绍

SparkCore源码细解

Spark Examples介绍

15：杂谈

Spark相关项目

BlinkDB简介

SparkR的安装和实例

Techyon

Spark的优秀网站、博客、牛人介绍

授课时间：

开课时间2015年1月10日，课程预计为17周时间。

授课对象：

具有ubuntu或CentOS操作技能，较好有Hadoop2.x基础，想了解和学习Spark的朋友

授课软件版本：

spark1.1.0

hadoop2.2.0

IntelliJ IDEA 13+

Java 7UP21

scala 2.10.4

python 2.7

环境准备：

较好有多台大内存的物理机，实在不行，就拿台16G内存以上的物理机吧。较低的配置不要低于4G（用伪分布式小数据量下还能凑合着使用）。

收获预期：

掌握Spark编程原理和运行结构，Spark生态的各个组件的功能，具备初步从事Spark项目的能力。

授课讲师：
马军辉，毕业于浙江大学，骨灰级计算机技术研究者与爱好者。软件创业者，开过软件公司开发过多套软件，近年开始关注开源领域的机会，主要研究方向是分布式计算。最近成为Spark狂热分子。

黄志洪（tigerfish），ITPUB创始人，炼数成金创始人。中山大学海量数据与云计算研究中心主任。数据库专家，数据分析专家，有丰富的IT领域、数学领域的知识经验。曾经讲授炼数成金上《数据分析、展现与R语言》、《数据分析与 SAS》、《Hadoop数据分析平台》等多门受欢迎课程。负责讲授课程中机器学习和图论算法部分。

课程试听：

新颖的课程收费形式：“逆向收费”约等于免费学习，仅收取100元固定收费+300元暂存学费，学习圆满则全额奖励返还给学员！

本门课程本来打算完全免费，某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动，为了防止一些朋友在学习途中半途而废，浪费了讲师的付出，为此我们计划模仿某些健身课程，使用“逆向收费”的方法。
在报名时每位报名者收取400元，其中100元为固定收费，另外300是暂存学费，即如果学员能完成全部课程要求，包括完成全部的书面和互动作业，则300元全款退回。如果学员未能坚持到完全所有的学习计划任务，则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力！

授课方式及培训流程说明：
1、学习方式：通过网络资料学习、论坛互动中老师进行指导及学员之间交流。
2、学习作业：老师每周布置书面及互动作业，学员需按时按质完成作业。
3、老师辅导：根据作业批改中发现的问题，针对性给予辅导，帮助大家掌握知识。
4、结业测验：通过测验，完成学业。

课程FAQ，更多疑问解答请点击这里
1、是需要每天固定时间上课么？NO，没有固定的上课时间，课程主要是根据老师提供的学习资料及学习视频进行自学，然后完成作业，老师根据作业批改指导学习，随时通过QQ群及论坛与大家互动，辅导大家学习。
2、课程都有什么学习资料？主要有老师教学视频、配套课件、学习文档/电子书，所有资料均可下载到自己电脑中，随时查阅！
3、一定要完成作业么？ YES，每周老师都会布置作业，需要每周按时完成作业哦。一次缺交作业则视为未顺利完成课程！
4、学费什么时间退还？ 学期结束后，经确认您每期作业按时完成了，则退还学费！
5、报名了就一定能参与此课程么？NO，报名后续完成缴费，才能成为正式学员，正式学员的名额有限，达到数额后将截至报名，未来得及付费的报名人员将顺延至下一期预报名学员！

全国统一咨询热线 4008-010-006

课程现开始接受报名，报名方式
网上报名请点击：Spark大数据平台
咨询Email ：edu01@dataguru.cn，edu02@dataguru.cn
课程入门讨论咨询群：303917420（群内有培训公开课视频供大家免费观看）
咨询QQ： 2222010006 (上班时间在线）

技术热点、 行业资讯，培训课程信息，尽在炼数成金官方微信，低成本传递高端知识！技术成就梦想！欢迎关注！
打开微信，使用扫一扫功能，即刻关注炼数成金官方微信账户，不容错过的精彩，期待您的体验！！！

快速报名入口

普班报名：【普班】Spark大数据快速计算平台（第四期） (暂未招生)

分享到新浪微博收藏邀请

上一篇：王恒老师介绍下一篇：马军辉老师介绍

Spark大数据平台

即将开课

热门文章