博客
关于我
spark学习-SparkSQL-SparkSession与SparkContext
阅读量:118 次
发布时间:2019-02-26

本文共 599 字,大约阅读时间需要 1 分钟。

SparkSession:Spark 2.0的全新切入点

SparkSession是Spark 2.0引入的全新概念,为用户提供了统一的切入点,方便学习Spark的各项功能。早期的Spark版本中,SparkContext是主要的切入点,RDD是主要的API,通过SparkContext创建和操作RDD。对于其他功能,如Streaming和SQL,分别需要使用StreamingContext和sqlContext,甚至Hive也有其专门的HiveContext。但随着DataSet和DataFrame API逐渐成为标准,Spark 2.0推出了SparkSession作为统一的切入点。

SparkSession封装了SparkConf、SparkContext和SQLContext,同时为了向后兼容,保留了SQLContext和HiveContext。SparkSession实际上是SQLContext和HiveContext的组合,未来甚至可能还会整合StreamingContext。因此,SQLContext和HiveContext上的API在SparkSession中同样可用。

SparkSession的引入使得操作 DataSet和DataFrame更加便捷,同时兼容了传统的API,减少了学习成本。这种统一的切入点有助于开发者更高效地处理数据,适用于复杂的数据处理任务。

转载地址:http://rblk.baihongyu.com/

你可能感兴趣的文章
Python 操作 Excel 全攻略 | 包括读取、写入、表格操作、图像输出和字体设置
查看>>
Python 操作 JMeter 探索:pymeter 实操指南
查看>>
Python 操作 Redis
查看>>
Python 操作Mysql(PyMysql)
查看>>
Python 操作Redis
查看>>
Python 操作sqlite数据库及保存查询numpy类型数据(一)
查看>>
Python 操作sqlite数据库及保存查询numpy类型数据(二)
查看>>
Python 数据文件与网络数据序列化存储详解
查看>>
Python 数据结构与算法详解
查看>>
Python 数据采集、清洗、整理、分析以及可视化实战
查看>>
Python 数据预处理
查看>>
Python 无法安装包
查看>>
python 日历小部件 - 返回用户选择的日期
查看>>
Python 日志管理封装
查看>>
python 时间函数小总结
查看>>
Python 是否优化尾递归?
查看>>
Python 更新set
查看>>
Python 最强 IDE 详细使用指南!
查看>>
Python 有一个不可变的列表吗?
查看>>
Python 机器学习入门之 pandas 的使用
查看>>