當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文

Python dask.dataframe.read_orc用法及代碼示例


用法:

dask.dataframe.read_orc(path, engine='pyarrow', columns=None, index=None, split_stripes=1, aggregate_files=None, storage_options=None)

從 ORC 文件中讀取數據幀

參數：

path: str or list(str)：

文件的位置，可以是帶有協議說明符的完整 URL，如果是單個字符串，則可能包含全局字符。

engine: ‘pyarrow’ or ORCEngine：

用於 IO 的後端 ORC 引擎。默認為“pyarrow”。

columns: None or list(str)：

要加載的列。如果沒有，則加載所有。

index: str：

要設置為索引的列名。

split_stripes: int or False：

每個 output-DataFrame 分區中包含的最大 ORC 條帶數。使用 False 指定文件和分區之間的一對一映射。默認值為 1。

aggregate_files：布爾值，默認為 False

不同的文件路徑是否可以聚合到相同的輸出分區中。 True 的設置意味著可以將任意兩個文件路徑聚合到同一個輸出分區中，而 False 意味著禁止inter-file 聚合。

storage_options: None or dict：

要傳遞給字節後端的更多參數。

返回：

Dask.DataFrame(即使隻有一列)

例子：

>>> df = dd.read_orc('https://github.com/apache/orc/raw/'
...                  'master/examples/demo-11-zlib.orc')

相關用法


注：本文由純淨天空篩選整理自dask.org大神的英文原創作品 dask.dataframe.read_orc。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。