spark学习-SparkSQL-SparkSession与SparkContext
本文共 597 字，大约阅读时间需要 1 分钟。
SparkSession-Spark的一个全新的切入点
SparkSession是Spark 2.0引如的新概念。SparkSession为用户提供了统一的切入点，来让用户学习spark的各项功能。 在spark的早期版本中，SparkContext是spark的主要切入点，由于RDD是主要的API，我们通过sparkcontext来创建和操作RDD。对于每个其他的API，我们需要使用不同的context。例如，对于Streming，我们需要使用StreamingContext；对于sql，使用sqlContext；对于Hive，使用hiveContext。但是随着DataSet和DataFrame的API逐渐成为标准的API，就需要为他们建立接入点。所以在spark2.0中，引入SparkSession作为DataSet和DataFrame API的切入点，SparkSession封装了SparkConf、SparkContext和SQLContext。为了向后兼容，SQLContext和HiveContext也被保存下来。 SparkSession实质上是SQLContext和HiveContext的组合（未来可能还会加上StreamingContext），所以在SQLContext和HiveContext上可用的API在SparkSession上同样是转载地址：http://rblk.baihongyu.com/
你可能感兴趣的文章
mysql 查询数据库所有表的字段信息
查看>>
【Java基础】什么是面向对象？
查看>>
mysql 查询，正数降序排序，负数升序排序
查看>>
MySQL 树形结构 根据指定节点 获取其下属的所有子节点（包含路径上的枝干节点和叶子节点）...
查看>>
mysql 死锁 Deadlock found when trying to get lock； try restarting transaction
查看>>
mysql 死锁(先delete 后insert)日志分析
查看>>
MySQL 死锁了，怎么办？
查看>>
MySQL 深度分页性能急剧下降，该如何优化？
查看>>
MySQL 深度分页性能急剧下降，该如何优化？
查看>>
MySQL 添加列，修改列，删除列
查看>>
mysql 添加索引
查看>>
MySQL 添加索引，删除索引及其用法
查看>>
mysql 状态检查,备份，修复
查看>>
MySQL 用 limit 为什么会影响性能？
查看>>
MySQL 用 limit 为什么会影响性能？有什么优化方案？
查看>>
MySQL 用户权限管理：授权、撤销、密码更新和用户删除（图文解析）
查看>>
mysql 用户管理和权限设置
查看>>
MySQL 的 varchar 水真的太深了！
查看>>
mysql 的GROUP_CONCAT函数的使用（group_by 如何显示分组之前的数据）
查看>>
MySQL 的instr函数
查看>>