博客
关于我
spark学习-SparkSQL-SparkSession与SparkContext
阅读量:118 次
发布时间:2019-02-26

本文共 599 字,大约阅读时间需要 1 分钟。

SparkSession:Spark 2.0的全新切入点

SparkSession是Spark 2.0引入的全新概念,为用户提供了统一的切入点,方便学习Spark的各项功能。早期的Spark版本中,SparkContext是主要的切入点,RDD是主要的API,通过SparkContext创建和操作RDD。对于其他功能,如Streaming和SQL,分别需要使用StreamingContext和sqlContext,甚至Hive也有其专门的HiveContext。但随着DataSet和DataFrame API逐渐成为标准,Spark 2.0推出了SparkSession作为统一的切入点。

SparkSession封装了SparkConf、SparkContext和SQLContext,同时为了向后兼容,保留了SQLContext和HiveContext。SparkSession实际上是SQLContext和HiveContext的组合,未来甚至可能还会整合StreamingContext。因此,SQLContext和HiveContext上的API在SparkSession中同样可用。

SparkSession的引入使得操作 DataSet和DataFrame更加便捷,同时兼容了传统的API,减少了学习成本。这种统一的切入点有助于开发者更高效地处理数据,适用于复杂的数据处理任务。

转载地址:http://rblk.baihongyu.com/

你可能感兴趣的文章
OpenCV与AI深度学习 | 基于YOLO和EasyOCR从视频中识别车牌
查看>>
OpenCV与AI深度学习 | 基于图像处理的火焰检测算法(颜色+边缘)
查看>>
OpenCV与AI深度学习 | 基于拉普拉斯金字塔实现图像融合(步骤 + 代码)
查看>>
OpenCV与AI深度学习 | 基于机器视觉的磁瓦表面缺陷检测方案
查看>>
OpenCV与AI深度学习 | 基于深度学习的轮胎缺陷检测系统
查看>>
OpenCV与AI深度学习 | 如何使用YOLO-World做目标检测
查看>>
OpenCV与AI深度学习 | 如何使用YOLOv9分割图像中的对象
查看>>
OpenCV与AI深度学习 | 如何使用YOLOv9检测图片和视频中的目标
查看>>
OpenCV与AI深度学习 | 如何在 Docker 容器中使用 GPU
查看>>
OpenCV与AI深度学习 | 实战 | OpenCV中更稳更快的找圆方法--EdgeDrawing使用演示(详细步骤 + 代码)
查看>>
OpenCV与AI深度学习 | 实战 | OpenCV传统方法实现密集圆形分割与计数(详细步骤 + 代码)
查看>>
OpenCV与AI深度学习 | 实战 | OpenCV实现扫描文本矫正应用与实现详解(附源码)
查看>>
OpenCV与AI深度学习 | 实战 | YOLOv10模型微调检测肾结石并提高准确率
查看>>
OpenCV与AI深度学习 | 实战 | 使用OpenCV和Streamlit搭建虚拟化妆应用程序(附源码)
查看>>
OpenCV与AI深度学习 | 实战 | 使用OpenCV确定对象的方向(附源码)
查看>>
OpenCV与AI深度学习 | 实战 | 使用YOLOv8 Pose实现瑜伽姿势识别
查看>>
OpenCV与AI深度学习 | 实战 | 使用YoloV8实例分割识别猪的姿态(含数据集)
查看>>
OpenCV与AI深度学习 | 实战 | 使用姿态估计算法构建简单的健身训练辅助应用程序
查看>>
OpenCV与AI深度学习 | 实战 | 基于OpenCV和K-Means聚类实现颜色分割(步骤 + 代码)
查看>>
OpenCV与AI深度学习 | 实战 | 基于YoloV5和Mask RCNN实现汽车表面划痕检测(步骤 + 代码)
查看>>