Apache Spark 快如闪电的集群计算

Apache  Spark  快如闪电的集群计算
37人加入学习
(0人评价)
价格 免费
教学计划
承诺服务
课程介绍

Spark计算框架是现阶段分布式计算速度最快的一个大数据计算框架,机器学习、人工智能的必备框架。

本课程讲解以下内容:

checkpoint的执行原理的剖析;

常用控制算子的对比以及不同场景下如何选型,以便快速找到合适算子;

基于linux虚拟机的Spark集群搭建;

使用scala、java两种语言分别计算圆周率;

生产环境下,Spark集群客户端的搭建步骤;

测试环境下常用的提交Application到Spark集群运行的方式以及执行流程;

分别使用scala、java两种来讲解算子的使用以及执行原理;

合理的设置RDD的分区数以及提高计算的并行度方式。

经典案例讲解:

公司常用的ETL计算流程以及步骤;

统计每一个页面的浏览量;

最热门的版块以及每一个版块下最活跃的用户。

 

课程目标
  • 让大数据小白变成大数据的大牛
适合人群
  • 有一定编程经验并且想从事大数据开发的人群

课程特色

视频(30)

学员动态