博客
关于我
spark学习-SparkSQL-SparkSession与SparkContext
阅读量:118 次
发布时间:2019-02-26

本文共 599 字,大约阅读时间需要 1 分钟。

SparkSession:Spark 2.0的全新切入点

SparkSession是Spark 2.0引入的全新概念,为用户提供了统一的切入点,方便学习Spark的各项功能。早期的Spark版本中,SparkContext是主要的切入点,RDD是主要的API,通过SparkContext创建和操作RDD。对于其他功能,如Streaming和SQL,分别需要使用StreamingContext和sqlContext,甚至Hive也有其专门的HiveContext。但随着DataSet和DataFrame API逐渐成为标准,Spark 2.0推出了SparkSession作为统一的切入点。

SparkSession封装了SparkConf、SparkContext和SQLContext,同时为了向后兼容,保留了SQLContext和HiveContext。SparkSession实际上是SQLContext和HiveContext的组合,未来甚至可能还会整合StreamingContext。因此,SQLContext和HiveContext上的API在SparkSession中同样可用。

SparkSession的引入使得操作 DataSet和DataFrame更加便捷,同时兼容了传统的API,减少了学习成本。这种统一的切入点有助于开发者更高效地处理数据,适用于复杂的数据处理任务。

转载地址:http://rblk.baihongyu.com/

你可能感兴趣的文章
Python UI自动化测试集成UnitTest
查看>>
Python UTC 日期时间对象的 ISO 格式不包括 Z(祖鲁语或零偏移)
查看>>
python valueerror object2_python遇到错误记录
查看>>
python vars的作用
查看>>
Python virtualenv
查看>>
python vue3实现大文件分段续传(断点续传)--带暂停和继续功能
查看>>
Python WebDriver如何打印整个页面源(html)
查看>>
Python WebSocket自动化测试:构建高效接口测试框架
查看>>
Python Web开发
查看>>
Redis 配置文件杂项。
查看>>
Python web自动化测试 —— 文件上传
查看>>
python win32api键盘_Python win32api.keybd_event模拟键盘输入
查看>>
python Workbook 表格宽度
查看>>
python 中 dict 的另一种用法
查看>>
Python 中只有一个 True 和一个 False 对象吗?
查看>>
Python 中多线程与多处理之间的区别
查看>>
Python 从入门到精通:30天速成教程到底有多狠?你能坚持下来吗?
查看>>
Python 从数据库中存储和检索密码的最安全方法
查看>>
Python语言及其应用 - 知识点遍历
查看>>
Python 优化提速的 8 个小技巧
查看>>