Python dask.bag.Bag用法及代碼示例

用法: class dask.bag.Bag(dsk, name, npartitions)

Python 對象的並行集合

從序列創建包

>>> import dask.bag as db
>>> b = db.from_sequence(range(5))
>>> list(b.filter(lambda x: x % 2 == 0).map(lambda x: x * 10))
[0, 20, 40]

從文件名或文件名 globstring 創建 Bag

>>> b = db.read_text('/path/to/mydata.*.json.gz').map(json.loads)

手動創建(專家使用)

>>> dsk = {('x', 0): (range, 5),
...        ('x', 1): (range, 5),
...        ('x', 2): (range, 5)}
>>> b = db.Bag(dsk, 'x', npartitions=3)

>>> sorted(b.map(lambda x: x * 10))
[0, 0, 0, 10, 10, 10, 20, 20, 20, 30, 30, 30, 40, 40, 40]

>>> int(b.fold(lambda x, y: x + y))
30

相關用法

注：本文由純淨天空篩選整理自dask.org大神的英文原創作品 dask.bag.Bag。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。