Python dask.bag.Bag用法及代码示例

用法: class dask.bag.Bag(dsk, name, npartitions)

Python 对象的并行集合

从序列创建包

>>> import dask.bag as db
>>> b = db.from_sequence(range(5))
>>> list(b.filter(lambda x: x % 2 == 0).map(lambda x: x * 10))
[0, 20, 40]

从文件名或文件名 globstring 创建 Bag

>>> b = db.read_text('/path/to/mydata.*.json.gz').map(json.loads)

手动创建(专家使用)

>>> dsk = {('x', 0): (range, 5),
...        ('x', 1): (range, 5),
...        ('x', 2): (range, 5)}
>>> b = db.Bag(dsk, 'x', npartitions=3)

>>> sorted(b.map(lambda x: x * 10))
[0, 0, 0, 10, 10, 10, 20, 20, 20, 30, 30, 30, 40, 40, 40]

>>> int(b.fold(lambda x, y: x + y))
30

相关用法

注：本文由纯净天空筛选整理自dask.org大神的英文原创作品 dask.bag.Bag。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。