┣━lg2023-即学即用的Spark实战44讲-拉钩专栏

《即学即用的Spark实战44讲》是拉钩专栏上的一门在线课程，由资深大数据工程师共同授课。该课程主要介绍了Spark大数据处理框架的基本使用方法和实际应用场景。
通过学习《即学即用的Spark实战44讲》，学员可以系统地学习到Spark的核心概念、基本API和高级特性，并且能够掌握如何使用Spark进行大规模数据处理和分析。课程内容包括Spark环境搭建、RDD编程、Spark SQL、Spark Streaming、机器学习等方面的知识，并且提供了不少实战案例，帮助学员深入理解和应用Spark技术。
该课程适合从事大数据开发和数据分析工作的技术人员学习，也适合对Spark感兴趣的开发者和研究人员学习。
┣━第13讲：如何使用用户自定义函数？【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第01讲： MapReduce：计算框架和编程模型【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第06讲：Spark 抽象、架构与运行环境_1977
┣━第06讲：Spark 抽象、架构与运行环境【www.xiaohuit.cn4】[16].mp4
┣━第05讲：如何选择 Spark 编程语言以及部署 Spark_1976
┣━第05讲：如何选择 Spark 编程语言以及部署 Spark【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第44讲：另一种并行：Lambda 架构与 Kappa 架构_2015
┣━第44讲：另一种并行：Lambda 架构与 Kappa 架构【www.xiaohuit.cn4】[16].mp4
┣━第07讲：Spark 核心数据结构：弹性分布式数据集 RDD【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第04讲：解析 Spark 数据处理与分析场景_1975
┣━第04讲：解析 Spark 数据处理与分析场景【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第34讲：少数服从多数：随机森林分类器【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第21讲：统一批处理与流处理：Dataflow【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第35讲：物以类聚：Kmeans 聚类算法【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第32讲：标准化机器学习流程：ml pipeline【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第39讲：作为 Yelp 运营负责人，如何根据数据进行决策？【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】.pdf
┣━第03讲：如何设计与实现统一资源管理与调度系统_1974
┣━第03讲：如何设计与实现统一资源管理与调度系统【www.xiaohuit.cn4】[16].mp4
┣━第38讲：数据仓库与商业智能系统架构剖析_2009
┣━第38讲：数据仓库与商业智能系统架构剖析【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━开篇词：学了就能用的 Spark？_1971
┣━开篇词：学了就能用的 Spark？【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第10讲：共享变量：如何在数据管道中使用中间结果？【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第11讲：计算框架的分布式实现：剖析 Spark Shuffle 原理_1982
┣━第11讲：计算框架的分布式实现：剖析 Spark Shuffle 原理【www.xiaohuit.cn4】[16].mp4
┣━第17讲：实战：探索葡萄牙银行电话调查的结果_1988
┣━第17讲：实战：探索葡萄牙银行电话调查的结果【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第14讲：列式存储：针对查询场景的极致优化_1985
┣━第14讲：列式存储：针对查询场景的极致优化【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第24讲：实战：如何对股票交易实时价格进行分析？_1995
┣━第24讲：实战：如何对股票交易实时价格进行分析？【www.xiaohuit.cn4】[16].mp4
┣━第08讲：算子：如何构建你的数据管道？_1979
┣━第08讲：算子：如何构建你的数据管道？【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第16讲：Tungten 和 Hydrogen：Spark 性能提升与优化计划_1987
┣━第16讲：Tungten 和 Hydrogen：Spark 性能提升与优化计划【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】[16].mp4
┣━第29讲：实战 1：用 GraphX 实现 PageRank 算法_2000
┣━第29讲：实战 1：用 GraphX 实现 PageRank 算法【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第20讲：如何在生产环境中使用 Spark Streaming【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】.pdf
┣━彩蛋：如何成为 Spark Contributor_2017
┣━彩蛋：如何成为 Spark Contributor【www.xiaohuit.cn4】[16].mp4
┣━第14讲：列式存储：针对查询场景的极致优化【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】.pdf
┣━第44讲：另一种并行：Lambda 架构与 Kappa 架构【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】.pdf
┣━第33讲：如何对数据进行预处理？【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】.pdf
┣━第09讲：函数式编程思想：你用什么声明，你在声明什么？【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第13讲：如何使用用户自定义函数？_1984
┣━第13讲：如何使用用户自定义函数？【www.xiaohuit.cn4】[16].mp4
┣━第02讲：Hadoop：集群的操作系统【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第23讲：如何对 Spark 流处理进行性能调优？_1994
┣━第23讲：如何对 Spark 流处理进行性能调优？【www.xiaohuit.cn4】[16].mp4
┣━开篇词：学了就能用的 Spark？【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】.pdf
┣━第29讲：实战 1：用 GraphX 实现 PageRank 算法【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第25讲： 什么是图：图模式，图相关技术与使用场景_1996
┣━第25讲： 什么是图：图模式，图相关技术与使用场景【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第38讲：数据仓库与商业智能系统架构剖析【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第03讲：如何设计与实现统一资源管理与调度系统【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第11讲：计算框架的分布式实现：剖析 Spark Shuffle 原理【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第27讲：像顶点一样思考：大规模并行图挖掘引擎 GraphX【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第25讲： 什么是图：图模式，图相关技术与使用场景【www.xiaohuit.cn4】.pdf
┣━第31讲：机器学习是什么： 机器学习与机器学习工作流【www.xiaohuit.cn4】.pdf
┣━第37讲：如何对模型性能进行评估并调优？【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第12讲：如何处理结构化数据：DataFrame 、Dataet和Spark SQL_1983
┣━第12讲：如何处理结构化数据：DataFrame 、Dataet和Spark SQL【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第23讲：如何对 Spark 流处理进行性能调优？【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第22讲：新一代流式计算框架：Structured Streaming_1993
┣━第22讲：新一代流式计算框架：Structured Streaming【海量资源：xiaohuit.cn4】[16].mp4
┣━第17讲：实战：探索葡萄牙银行电话调查的结果【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第36讲：推荐引擎：协同过滤【www.xiaohuit.cn4】.pdf
┣━第02讲：Hadoop：集群的操作系统_1973
┣━第02讲：Hadoop：集群的操作系统【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第22讲：新一代流式计算框架：Structured Streaming【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第26讲：数据并行：Spark 如何抽象图，如何切分图，如何处理图【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第05讲：如何选择 Spark 编程语言以及部署 Spark【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第41讲：如何构建数据立方体【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第36讲：推荐引擎：协同过滤_2007
┣━第36讲：推荐引擎：协同过滤【www.xiaohuit.cn4】[16].mp4
┣━第30讲：实战 2：用 GraphX 求得顶点的 n 度邻居【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第41讲：如何构建数据立方体_2012
┣━第41讲：如何构建数据立方体【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】[16].mp4
┣━第18讲：流处理：什么是流处理？以及你必须考虑的消息送达保证问题【www.xiaohuit.cn4】.pdf
┣━第04讲：解析 Spark 数据处理与分析场景【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第40讲：如何获取业务数据库的数据【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】.pdf
┣━第19讲：批处理还是流处理：Spark Streaming 抽象、架构与使用方法_1990
┣━第19讲：批处理还是流处理：Spark Streaming 抽象、架构与使用方法【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第33讲：如何对数据进行预处理？_2004
┣━第33讲：如何对数据进行预处理？【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】[16].mp4
┣━第28讲：Pregel 还是 MapReduce：一个有趣的算子 AggregateMessage【海量资源：xiaohuit.cn4】.pdf
┣━结束语：统一的编程模型，统一的编程语言，统一的架构【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】.pdf
┣━第18讲：流处理：什么是流处理？以及你必须考虑的消息送达保证问题_1989
┣━第18讲：流处理：什么是流处理？以及你必须考虑的消息送达保证问题【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】[16].mp4
┣━第42讲：如何通过 OLAP 与报表呈现结果_2013
┣━第42讲：如何通过 OLAP 与报表呈现结果【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第09讲：函数式编程思想：你用什么声明，你在声明什么？_1980
┣━第09讲：函数式编程思想：你用什么声明，你在声明什么？【www.xiaohuit.cn4】[16].mp4
┣━第42讲：如何通过 OLAP 与报表呈现结果【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第21讲：统一批处理与流处理：Dataflow_1992
┣━第21讲：统一批处理与流处理：Dataflow【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第28讲：Pregel 还是 MapReduce：一个有趣的算子 AggregateMeage_1999
┣━第28讲：Pregel 还是 MapReduce：一个有趣的算子 AggregateMeage【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第34讲：少数服从多数：随机森林分类器_2005
┣━第34讲：少数服从多数：随机森林分类器【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第16讲：Tungsten 和 Hydrogen：Spark 性能提升与优化计划【www.xiaohuit.cn4】.pdf
┣━第26讲：数据并行：Spark 如何抽象图，如何切分图，如何处理图_1997
┣━第26讲：数据并行：Spark 如何抽象图，如何切分图，如何处理图【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】[16].mp4
┣━第39讲：作为 Yelp 运营负责人，如何根据数据进行决策？_2010
┣━第39讲：作为 Yelp 运营负责人，如何根据数据进行决策？【www.xiaohuit.cn4】[16].mp4
┣━第35讲：物以类聚：Kmean 聚类算法_2006
┣━第35讲：物以类聚：Kmean 聚类算法【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】[16].mp4
┣━第19讲：批处理还是流处理：Spark Streaming 抽象、架构与使用方法【海量资源：xiaohuit.cn4】.pdf
┣━第06讲：Spark 抽象、架构与运行环境【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】.pdf
┣━第37讲：如何对模型性能进行评估并调优？_2008
┣━第37讲：如何对模型性能进行评估并调优？【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第15讲：如何对 Spark 进行全方位性能调优？【海量资源：xiaohuit.cn4】.pdf
┣━第24讲：实战：如何对股票交易实时价格进行分析？【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】.pdf
┣━第27讲：像顶点一样思考：大规模并行图挖掘引擎 GraphX_1998
┣━第27讲：像顶点一样思考：大规模并行图挖掘引擎 GraphX【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第20讲：如何在生产环境中使用 Spark Streaming_1991
┣━第20讲：如何在生产环境中使用 Spark Streaming【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第32讲：标准化机器学习流程：ML pipeline_2003
┣━第32讲：标准化机器学习流程：ML pipeline【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第30讲：实战 2：用 GraphX 求得顶点的 n 度邻居_2001
┣━第30讲：实战 2：用 GraphX 求得顶点的 n 度邻居【www.xiaohuit.cn4】[16].mp4
┣━第08讲：算子：如何构建你的数据管道？【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】.pdf
┣━第15讲：如何对 Spark 进行全方位性能调优？_1986
┣━第15讲：如何对 Spark 进行全方位性能调优？【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━彩蛋：如何成为 Spark Contributor【www.xiaohuit.cn4】【www.xiaohuit.cn】.pdf
┣━第01讲： MapReduce：计算框架和编程模型_1972
┣━第01讲： MapReduce：计算框架和编程模型【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第07讲：Spark 核心数据结构：弹性分布式数据集 RDD_1978
┣━第07讲：Spark 核心数据结构：弹性分布式数据集 RDD【www.xiaohuit.cn4】[16].mp4
┣━第10讲：共享变量：如何在数据管道中使用中间结果？_1981
┣━第10讲：共享变量：如何在数据管道中使用中间结果？【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━结束语：统一的编程模型，统一的编程语言，统一的架构_2016
┣━结束语：统一的编程模型，统一的编程语言，统一的架构【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第12讲：如何处理结构化数据：DataFrame 、Dataset和Spark SQL【www.xiaohuit.cn4】.pdf
┣━第43讲：两个简化了的重要问题：数据更新和数据实时性_2014
┣━第43讲：两个简化了的重要问题：数据更新和数据实时性【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】[16].mp4
┣━第43讲：两个简化了的重要问题：数据更新和数据实时性【海量资源：xiaohuit.cn4】【海量资源：xiaohuit.cn】.pdf
┣━第31讲：机器学习是什么： 机器学习与机器学习工作流_2002
┣━第31讲：机器学习是什么： 机器学习与机器学习工作流【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4
┣━第40讲：如何获取业务数据库的数据_2011
┣━第40讲：如何获取业务数据库的数据【www.xiaohuit.cn4】【www.xiaohuit.cn】[16].mp4