Python pyspark DataFrame.reindex用法及代碼示例

本文簡要介紹 pyspark.pandas.DataFrame.reindex 的用法。

用法: DataFrame.reindex(labels: Optional[Sequence[Any]] = None, index: Union[Index, Sequence[Any], None] = None, columns: Union[pandas.core.indexes.base.Index, Sequence[Any], None] = None, axis: Union[int, str, None] = None, copy: Optional[bool] = True, fill_value: Optional[Any] = None) → DataFrame

使用可選填充邏輯使 DataFrame 符合新索引，將 NA/NaN 放置在先前索引中沒有值的位置。除非新索引等於當前索引和 copy=False ，否則將生成一個新對象。

參數：

labels: array-like, optional：: 新標簽/索引以符合 ‘axis’ 指定的軸。
index, columns: array-like, optional：: 應使用關鍵字指定要符合的新標簽/索引。最好是 Index 對象以避免重複數據
axis: int or str, optional：: 指向目標的軸。可以是軸名稱 (‘index’, ‘columns’) 或編號 (0, 1)。
copy：布爾值，默認為真: 返回一個新對象，即使傳遞的索引相同。
fill_value：標量，默認 np.NaN: 用於缺失值的值。默認為 NaN，但可以是任何 “compatible” 值。

DataFrame 索引已更改。

例子：

DataFrame.reindex 支持兩種調用約定

(index=index_labels, columns=column_labels, ...)
(labels, axis={'index', 'columns'}, ...)

我們強烈建議使用關鍵字參數來闡明您的意圖。

使用一些虛構數據創建一個 DataFrame 。

>>> index = ['Firefox', 'Chrome', 'Safari', 'IE10', 'Konqueror']
>>> df = ps.DataFrame({
...      'http_status': [200, 200, 404, 404, 301],
...      'response_time': [0.04, 0.02, 0.07, 0.08, 1.0]},
...       index=index,
...       columns=['http_status', 'response_time'])
>>> df
           http_status  response_time
Firefox            200           0.04
Chrome             200           0.02
Safari             404           0.07
IE10               404           0.08
Konqueror          301           1.00

創建一個新索引並重新索引 DataFrame 。默認情況下，新索引中在 DataFrame 中沒有相應記錄的值被分配 NaN 。

>>> new_index= ['Safari', 'Iceweasel', 'Comodo Dragon', 'IE10',
...             'Chrome']
>>> df.reindex(new_index).sort_index()
               http_status  response_time
Chrome               200.0           0.02
Comodo Dragon          NaN            NaN
IE10                 404.0           0.08
Iceweasel              NaN            NaN
Safari               404.0           0.07

我們可以通過將值傳遞給關鍵字 fill_value 來填充缺失值。

>>> df.reindex(new_index, fill_value=0, copy=False).sort_index()
               http_status  response_time
Chrome                 200           0.02
Comodo Dragon            0           0.00
IE10                   404           0.08
Iceweasel                0           0.00
Safari                 404           0.07

我們還可以重新索引列。

>>> df.reindex(columns=['http_status', 'user_agent']).sort_index()
           http_status  user_agent
Chrome             200         NaN
Firefox            200         NaN
IE10               404         NaN
Konqueror          301         NaN
Safari             404         NaN

或者我們可以使用 “axis-style” 關鍵字參數

>>> df.reindex(['http_status', 'user_agent'], axis="columns").sort_index()
           http_status  user_agent
Chrome             200         NaN
Firefox            200         NaN
IE10               404         NaN
Konqueror          301         NaN
Safari             404         NaN

為了進一步說明 reindex 中的填充函數，我們將創建一個具有單調遞增索引的 DataFrame (例如，日期序列)。

>>> date_index = pd.date_range('1/1/2010', periods=6, freq='D')
>>> df2 = ps.DataFrame({"prices": [100, 101, np.nan, 100, 89, 88]},
...                    index=date_index)
>>> df2.sort_index()
            prices
2010-01-01   100.0
2010-01-02   101.0
2010-01-03     NaN
2010-01-04   100.0
2010-01-05    89.0
2010-01-06    88.0

假設我們決定擴展 DataFrame 以覆蓋更廣泛的日期範圍。

>>> date_index2 = pd.date_range('12/29/2009', periods=10, freq='D')
>>> df2.reindex(date_index2).sort_index()
            prices
2009-12-29     NaN
2009-12-30     NaN
2009-12-31     NaN
2010-01-01   100.0
2010-01-02   101.0
2010-01-03     NaN
2010-01-04   100.0
2010-01-05    89.0
2010-01-06    88.0
2010-01-07     NaN

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.pandas.DataFrame.reindex。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。

用法:

參數：

返回：

例子：