59859cc威尼斯官网-威尼斯欢乐娱人成app

教育行业A股IPO第一股(股票代码 003032)

全国咨询/投诉热线:400-618-4000

传智教育|传智播客

一样的教育,不一样的品质

全国校区

 

  • JavaEE
  • HTML&JS+前端
  • Python+大数据开发
  • 人工智能开发
  • UI/UE设计
  • App测试
  • 新媒体+短视频
    直播运营
  • 59859cc威尼斯官网-威尼斯欢乐娱人成app

热门课程

  • JavaEE
  • HTML&JS+前端
  • Python+大数据开发
  • 人工智能开发
  • UI/UE设计
  • App测试
  • 新媒体+短视频直播运营
  • 59859cc威尼斯官网-威尼斯欢乐娱人成app

Dataset对象创建方法

更新时间:2021年09月09日11时41分 来源:传智教育 浏览次数:

好口碑IT培训

创建Dataset可以通过SparkSession中的createDataset来创建,具体代码如下。

scala >val personDs=

spark.createDataset(sc.textFile("/spark/person.txt"))

personDs:org.apache.spark.sq1.Dataset[string]=[value:string]

scala>personDs.show()
+- - -  - - - - - - -- - - +
|        value             |
+- - -  - - - - - - -- - - +
|1 zhangsan 20             |

|2 lisi      29            |

|3 wangwu   25             |

|4 zhaoliu  30             |

|5 tianqi    35            |             

|6 jerry     40            |

+- - -  - - - - - - -- - - +

从上述返回结果personDs 的属性可以看出,Dataset从已存在的RDD中构建成功,并且赋Fvalue为String类型。Dataset和DataFrame拥有完全在相同的成员函数,通过show方式可以展示personDs中数据的具体内容。

Dataset不仅能从RDD中构建,它与DataFrame也可以互相转换,DataFrame可以通过as[ElementType]方法转换为Dataset,同样Dataset 也可以使用toDF()方法转换为DataFrame,具体代码如下:

scala>spark.read.text("/spark/person.txt".as[String]
res14:org.apache.spark.sql.Dataset[string]=[value: string]
scala>spatk.read.text("/spark/person.txt").as[String].toDF()
Res15:org.apache.spark.sql.DataFrame=[value: string]

Detaset操作:与 DeuaFreme 大致相同,读者可查看官方API http://spark  apache.org/dsats/api/scall index.html#org.apche,spark.sql.Dataset详细学习更多的Dataset操作。




猜你喜欢:

Scala编程的数据类型有几种?

Windows系统中怎样下载安装Scala插件?

怎么定义Scala数组?Scala数组详细先容

传智教育python大数据开发培训

0 分享到:

59859cc威尼斯官网|威尼斯欢乐娱人成app

XML 地图 | Sitemap 地图