Python pyspark DataFrame.spark.cache用法及代码示例

本文简要介绍 pyspark.pandas.DataFrame.spark.cache 的用法。

用法: spark.cache() → CachedDataFrame

产生并缓存当前的 DataFrame。

pandas-on-Spark DataFrame 作为受保护资源生成，其相应的数据被缓存，在上下文执行结束后，这些数据将被取消缓存。

如果要手动指定StorageLevel，请使用DataFrame.spark.persist()

例子：

>>> df = ps.DataFrame([(.2, .3), (.0, .6), (.6, .0), (.2, .1)],
...                   columns=['dogs', 'cats'])
>>> df
   dogs  cats
0   0.2   0.3
1   0.0   0.6
2   0.6   0.0
3   0.2   0.1

>>> with df.spark.cache() as cached_df:
...     print(cached_df.count())
...
dogs    4
cats    4
dtype: int64

>>> df = df.spark.cache()
>>> df.to_pandas().mean(axis=1)
0    0.25
1    0.30
2    0.30
3    0.15
dtype: float64

要取消缓存数据帧，请使用 unpersist 函数

>>> df.spark.unpersist()

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.pandas.DataFrame.spark.cache。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。