Python pyspark DataFrame.reindex用法及代码示例

本文简要介绍 pyspark.pandas.DataFrame.reindex 的用法。

用法: DataFrame.reindex(labels: Optional[Sequence[Any]] = None, index: Union[Index, Sequence[Any], None] = None, columns: Union[pandas.core.indexes.base.Index, Sequence[Any], None] = None, axis: Union[int, str, None] = None, copy: Optional[bool] = True, fill_value: Optional[Any] = None) → DataFrame

使用可选填充逻辑使 DataFrame 符合新索引，将 NA/NaN 放置在先前索引中没有值的位置。除非新索引等于当前索引和 copy=False ，否则将生成一个新对象。

参数：

labels: array-like, optional：: 新标签/索引以符合 ‘axis’ 指定的轴。
index, columns: array-like, optional：: 应使用关键字指定要符合的新标签/索引。最好是 Index 对象以避免重复数据
axis: int or str, optional：: 指向目标的轴。可以是轴名称 (‘index’, ‘columns’) 或编号 (0, 1)。
copy：布尔值，默认为真: 返回一个新对象，即使传递的索引相同。
fill_value：标量，默认 np.NaN: 用于缺失值的值。默认为 NaN，但可以是任何 “compatible” 值。

DataFrame 索引已更改。

例子：

DataFrame.reindex 支持两种调用约定

(index=index_labels, columns=column_labels, ...)
(labels, axis={'index', 'columns'}, ...)

我们强烈建议使用关键字参数来阐明您的意图。

使用一些虚构数据创建一个 DataFrame 。

>>> index = ['Firefox', 'Chrome', 'Safari', 'IE10', 'Konqueror']
>>> df = ps.DataFrame({
...      'http_status': [200, 200, 404, 404, 301],
...      'response_time': [0.04, 0.02, 0.07, 0.08, 1.0]},
...       index=index,
...       columns=['http_status', 'response_time'])
>>> df
           http_status  response_time
Firefox            200           0.04
Chrome             200           0.02
Safari             404           0.07
IE10               404           0.08
Konqueror          301           1.00

创建一个新索引并重新索引 DataFrame 。默认情况下，新索引中在 DataFrame 中没有相应记录的值被分配 NaN 。

>>> new_index= ['Safari', 'Iceweasel', 'Comodo Dragon', 'IE10',
...             'Chrome']
>>> df.reindex(new_index).sort_index()
               http_status  response_time
Chrome               200.0           0.02
Comodo Dragon          NaN            NaN
IE10                 404.0           0.08
Iceweasel              NaN            NaN
Safari               404.0           0.07

我们可以通过将值传递给关键字 fill_value 来填充缺失值。

>>> df.reindex(new_index, fill_value=0, copy=False).sort_index()
               http_status  response_time
Chrome                 200           0.02
Comodo Dragon            0           0.00
IE10                   404           0.08
Iceweasel                0           0.00
Safari                 404           0.07

我们还可以重新索引列。

>>> df.reindex(columns=['http_status', 'user_agent']).sort_index()
           http_status  user_agent
Chrome             200         NaN
Firefox            200         NaN
IE10               404         NaN
Konqueror          301         NaN
Safari             404         NaN

或者我们可以使用 “axis-style” 关键字参数

>>> df.reindex(['http_status', 'user_agent'], axis="columns").sort_index()
           http_status  user_agent
Chrome             200         NaN
Firefox            200         NaN
IE10               404         NaN
Konqueror          301         NaN
Safari             404         NaN

为了进一步说明 reindex 中的填充函数，我们将创建一个具有单调递增索引的 DataFrame (例如，日期序列)。

>>> date_index = pd.date_range('1/1/2010', periods=6, freq='D')
>>> df2 = ps.DataFrame({"prices": [100, 101, np.nan, 100, 89, 88]},
...                    index=date_index)
>>> df2.sort_index()
            prices
2010-01-01   100.0
2010-01-02   101.0
2010-01-03     NaN
2010-01-04   100.0
2010-01-05    89.0
2010-01-06    88.0

假设我们决定扩展 DataFrame 以覆盖更广泛的日期范围。

>>> date_index2 = pd.date_range('12/29/2009', periods=10, freq='D')
>>> df2.reindex(date_index2).sort_index()
            prices
2009-12-29     NaN
2009-12-30     NaN
2009-12-31     NaN
2010-01-01   100.0
2010-01-02   101.0
2010-01-03     NaN
2010-01-04   100.0
2010-01-05    89.0
2010-01-06    88.0
2010-01-07     NaN

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.pandas.DataFrame.reindex。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。

用法:

参数：

返回：

例子：