用於textrecipes::step_tokenize_sentencepiece() 和textrecipes::step_tokenize_bpe() 。
參數
- range
-
一個二元素向量，分別保存最小和最大可能值的默認值。如果指定了轉換，這些值應采用轉換後的單位。
- trans
-
scales包中的trans對象，例如scales::log10_trans()或scales::reciprocal_trans()。如果未提供，則使用與range中使用的單位相匹配的默認值。如果沒有轉換，NULL。
相關用法
- R dials validation_set_prop 用於驗證的數據比例
- R dials value_validate 用於處理參數值的工具
- R dials smoothness 內核平滑度
- R dials all_neighbors 確定使用哪些鄰居的參數
- R dials update.parameters 更新參數集中的單個參數
- R dials rbf_sigma 內核參數
- R dials trim_amount 修剪量
- R dials neighbors 鄰居數量
- R dials num_comp 新函數數量
- R dials min_dist 嵌入點之間的有效最小距離參數
- R dials freq_cut 接近零方差參數
- R dials trees 與基於樹和基於規則的模型相關的參數函數。
- R dials learn_rate 學習率
- R dials range_validate 用於處理參數範圍的工具
- R dials xgboost_parameters xgboost 可能的引擎參數的參數
- R dials unknown 未知參數值的占位符
- R dials prune_method MARS修剪方法
- R dials max_tokens 保留令牌的最大數量
- R dials surv_dist 刪失數據的參數分布
- R dials num_tokens 用於確定 ngram 中標記數量的參數
- R dials over_ratio 類別不平衡抽樣的參數
- R dials mtry 隨機抽樣預測變量的數量
- R dials new-param 用於創建新參數對象的工具
- R dials momentum 梯度下降動量參數
- R dials class_weights 不平衡問題的類別權重參數
注：本文由純淨天空篩選整理自Max Kuhn等大神的英文原創作品 Number of tokens in vocabulary。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。