Python tf.data.experimental.index_table_from_dataset用法及代码示例

返回基于给定数据集的索引查找表。

用法

tf.data.experimental.index_table_from_dataset(
    dataset=None, num_oov_buckets=0, vocab_size=None, default_value=-1,
    hasher_spec=lookup_ops.FastHashSpec, key_dtype=tf.dtypes.string, name=None
)

参数

dataset 键的数据集。
num_oov_buckets 词汇表外存储桶的数量。
vocab_size 词汇表中元素的数量(如果已知)。
default_value 用于词汇外特征值的值。默认为 -1。
hasher_spec HasherSpec 指定用于分配词汇外存储桶的散列函数。
key_dtype key 数据类型。
name 此操作的名称(可选)。

基于给定数据集的查找表。

抛出

ValueError
如果
- num_oov_buckets 为负数
- vocab_size 不大于零
- key_dtype 不是整数或字符串

此操作基于给定的键数据集构造查找表。

如果 num_oov_buckets 大于零，则对词汇表外令牌的任何查找都将根据其哈希返回存储桶 ID。否则，它被分配 default_value 。存储桶 ID 范围为 [vocabulary size, vocabulary size + num_oov_buckets - 1] 。

示例用法：

ds = tf.data.Dataset.range(100).map(lambda x:tf.strings.as_string(x * 2))
table = tf.data.experimental.index_table_from_dataset(
                                    ds, key_dtype=dtypes.int64)
table.lookup(tf.constant(['0', '2', '4'], dtype=tf.string)).numpy()
array([0, 1, 2])

相关用法

注：本文由纯净天空筛选整理自tensorflow.org大神的英文原创作品 tf.data.experimental.index_table_from_dataset。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。