SparkSQL数据的加载

wuchangjian2021-11-04 22:30:07编程学习
package com.huc.sparkSql

import org.apache.spark.SparkConf
import org.apache.spark.sql.{DataFrame, DataFrameReader, SparkSession}

object Test09_Read {
  def main(args: Array[String]): Unit = {
    // 1. 创建sparkSession配置对象
    val conf: SparkConf = new SparkConf().setAppName("sparkSql").setMaster("local[*]")

    // 2. 创建一个sparkSession
    val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate()

    // 3. 使用sparkSession
    val reader: DataFrameReader = spark.read

    // 直接读取特定类型的文件
    reader.csv("input/user.txt").show()
    reader.json("input/user.json").show()

    // spark默认的是列式存储的文件
    // 标准化读取数据
    // spark.read.format("…")[.option("…")].load("…")
    // format("…"):指定加载的数据类型,包括"csv"、"jdbc"、"json"、"orc"、"parquet"和"text"
    // load("…"):在"csv"、"jdbc"、"json"、"orc"、"parquet"和"text"格式下需要传入加载数据路径
    // option("…"):在"jdbc"格式下需要传入JDBC相应参数,url、user、password和dbtable
    val frame: DataFrame = reader.format("json").load("input/user.json")

    val dataFrame: DataFrame = reader.format("csv").load("input/user.txt")

    dataFrame.show()

    frame.show()


    // 4. 关闭sparkSession
    spark.close()
  }
}

相关文章

sheng的学习笔记-设计模式-访问者模式和双重分发

sheng的学习笔记-设计模式-访问者模式和双重分发

原理图:   在现实生活中,有些集合对象存在多种不同...

JavaScript的数组

JavaScript的数组

目录 一、数组是什么 二、创建数组常用的两种方法 1.使用“new Array()...

Python的从0到1(十三)-Python的数据的应用-数据转换2

数据转换 负责转换数据类型的函数一共有3种:str() 、 in...

Ubuntu 18.04 国内网络安装Open3D C++版本

 此篇博客引用博客Ubuntu18.04 安装Open3D C++与...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。