用于textrecipes::step_tokenize_sentencepiece() 和textrecipes::step_tokenize_bpe() 。
参数
- range
-
一个二元素向量，分别保存最小和最大可能值的默认值。如果指定了转换，这些值应采用转换后的单位。
- trans
-
scales包中的trans对象，例如scales::log10_trans()或scales::reciprocal_trans()。如果未提供，则使用与range中使用的单位相匹配的默认值。如果没有转换，NULL。
相关用法
- R dials validation_set_prop 用于验证的数据比例
- R dials value_validate 用于处理参数值的工具
- R dials smoothness 内核平滑度
- R dials all_neighbors 确定使用哪些邻居的参数
- R dials update.parameters 更新参数集中的单个参数
- R dials rbf_sigma 内核参数
- R dials trim_amount 修剪量
- R dials neighbors 邻居数量
- R dials num_comp 新函数数量
- R dials min_dist 嵌入点之间的有效最小距离参数
- R dials freq_cut 接近零方差参数
- R dials trees 与基于树和基于规则的模型相关的参数函数。
- R dials learn_rate 学习率
- R dials range_validate 用于处理参数范围的工具
- R dials xgboost_parameters xgboost 可能的引擎参数的参数
- R dials unknown 未知参数值的占位符
- R dials prune_method MARS修剪方法
- R dials max_tokens 保留令牌的最大数量
- R dials surv_dist 删失数据的参数分布
- R dials num_tokens 用于确定 ngram 中标记数量的参数
- R dials over_ratio 类别不平衡抽样的参数
- R dials mtry 随机抽样预测变量的数量
- R dials new-param 用于创建新参数对象的工具
- R dials momentum 梯度下降动量参数
- R dials class_weights 不平衡问题的类别权重参数
注：本文由纯净天空筛选整理自Max Kuhn等大神的英文原创作品 Number of tokens in vocabulary。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。