使用Databricks中的dbutils.fs.ls输出创建数据帧

Create a dataframe out of dbutils.fs.ls output in Databricks(使用Databricks中的dbutils.fs.ls输出创建数据帧)

问题描述

所以，我是一个初学者，在Databricks上学习Spark编程(Pyspark)-

我要做什么？

列出目录中的所有文件并将其保存到数据帧中，以便我能够对此文件列表应用筛选、排序等。为什么？因为我正在尝试查找目录中最大的文件。

为什么下面不起作用？我遗漏了什么？

从pyspk.sql.ypes导入StringType

sklist=dbutils.fs.ls(源文件)

df=spk.createDataFrame(sklist，StringType())

推荐答案

好吧，实际上，我想通了：)。我只想把问题留在这里，以防有人从中受益。

所以基本上，问题出在模式上。并不是列表中的所有元素都是字符串类型。因此，我显式创建了一个架构，并在createDataFrame函数中使用它。

工作代码-

from pyspark.sql.types import StructType, StructField, IntegerType, StringType

ddlSchema = StructType([
StructField('path',StringType()),
StructField('name',StringType()),
StructField('size',IntegerType())
])

sklist = dbutils.fs.ls(sourceFile)
df = spark.createDataFrame(sklist,ddlSchema)

这篇关于使用Databricks中的dbutils.fs.ls输出创建数据帧的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！