余子越的博客
Toggle navigation
余子越的博客
主页
计算机网络
大数据分析
系统与工具
编程之路
容器引擎
作者
归档
标签
Spark读取数据与保存数据
2021-01-08 14:43:13
10
0
0
yuziyue
[TOC] # 一. 支持类型查看 输入`spark.read.`，tab键提示支持的类型 ``` scala> spark.read. csv format jdbc json load option options orc parquet schema table text textFile ``` <br> # 二. 两种读取方式 两种方式读取如下，同时文件名称支持目录、通配符的方式。 ``` // 方式1 val a = spark.read.format("json").load("file:///path/1.json") // 方式2 var b = spark.read.json("file:///path/1.json") ``` <br> # 三. 两种写入方式 写入的方式通常是先有一个数据集 - 方式1写入 - 支持的模式有 - "append" 写入同一个目录 - "overwrite" 覆盖写入 - "ignore" 数据存在，则不做任何操作 ``` // 每次写入的目的都必须是空的 val a = spark.read.format("json").load("file:///path/1.json") a.write.format("json").save("/tmp/ccc") // 每次写入同一个目录 val a = spark.read.format("json").load("file:///path/1.json") a.write.format("json").mode("append").save("/tmp/ccc") ``` <br> - 方式2写入 ``` val a = spark.read.format("json").load("file:///path/1.json") a.write.json("/tmp/yzy") ``` <br><br><br>
上一篇:
JAVA数据库的标准接口JDBC总结
下一篇:
golang之命令行参数使用总结
0
赞
10 人读过
新浪微博
微信
腾讯微博
QQ空间
人人网
文档导航
yuziyue