Tag: spark csv

使用spark-csv编写单个CSV文件

我正在使用https://github.com/databricks/spark-csv ,我想写一个单一的CSV,但不能够,它正在做一个文件夹。 需要一个带path和文件名参数的scala函数,并写入该CSV文件。

如何在Spark Dataframe中显示完整的列内容?

我正在使用spark-csv将数据加载到DataFrame中。 我想做一个简单的查询并显示内容: val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").load("my.csv") df.registerTempTable("tasks") results = sqlContext.sql("select col from tasks"); results.show() col似乎被截断了: scala> results.show(); +——————–+ | col| +——————–+ |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-16 07:15:…| |2015-11-06 07:15:…| |2015-11-16 […]