C++ GetWordHash函數代碼示例

本文整理匯總了C++中GetWordHash函數的典型用法代碼示例。如果您正苦於以下問題：C++ GetWordHash函數的具體用法？C++ GetWordHash怎麽用？C++ GetWordHash使用的例子？那麽, 這裏精選的函數代碼示例或許可以為您提供幫助。

在下文中一共展示了GetWordHash函數的15個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的C++代碼示例。

示例1: SortVocab

// Sorts the vocabulary by frequency using word counts
void SortVocab() {
  int a, size;
  unsigned int hash;
  // Sort the vocabulary and keep </s> at the first position
  qsort(&vocab[1], vocab_size - 1, sizeof(struct vocab_word), VocabCompare);
  for (a = 0; a < vocab_hash_size; a++) vocab_hash[a] = -1;
  size = vocab_size;
  train_words = 0;
  for (a = 0; a < size; a++) {
    // Words occuring less than min_count times will be discarded from the vocab
    if (vocab[a].cn < min_count) {
      vocab_size--;
      free(vocab[vocab_size].word);
    } else {
      // Hash will be re-computed, as after the sorting it is not actual
      hash=GetWordHash(vocab[a].word);
      while (vocab_hash[hash] != -1) hash = (hash + 1) % vocab_hash_size;
      vocab_hash[hash] = a;
      train_words += vocab[a].cn;
    }
  }
  vocab = (struct vocab_word *)realloc(vocab, (vocab_size + 1) * sizeof(struct vocab_word));
  // Allocate memory for the binary tree construction
  for (a = 0; a < vocab_size; a++) {
    vocab[a].code = (char *)calloc(MAX_CODE_LENGTH, sizeof(char));
    vocab[a].point = (int *)calloc(MAX_CODE_LENGTH, sizeof(int));
  }
}

開發者ID:zweiein，項目名稱:kaldi，代碼行數:29，代碼來源:rnnlm.c

示例2: SortVocab

//根據單詞詞頻排序
void SortVocab() {
    int a, size;
    unsigned int hash;
    // 排序
    // 並且保證</s>在第一位
    qsort(&vocab[1], vocab_size - 1, sizeof(struct vocab_word), VocabCompare);//詞匯表快排
    for (a = 0; a < vocab_hash_size; a++) vocab_hash[a] = -1;//詞匯重排了，哈希記錄的index也亂了，所有的hash記錄清除，下麵會重建
    size = vocab_size;
    train_words = 0;// 用於訓練的詞匯總數（詞頻累加）
    for (a = 0; a < size; a++) {
        // 刪除特別低頻的詞
        if (vocab[a].cn < min_count) {
            vocab_size--;
            free(vocab[vocab_size].word);
        } else {
            //原來的hash失效需要重新計算
            hash=GetWordHash(vocab[a].word);
            while (vocab_hash[hash] != -1) hash = (hash + 1) % vocab_hash_size;
            vocab_hash[hash] = a;
            train_words += vocab[a].cn;
        }
    }
    vocab = (struct vocab_word *)realloc(vocab, (vocab_size + 1) * sizeof(struct vocab_word));
    // 給霍夫曼編碼和路徑的詞匯表索引分配空間
    for (a = 0; a < vocab_size; a++) {
        vocab[a].code = (char *)calloc(MAX_CODE_LENGTH, sizeof(char));
        vocab[a].point = (int *)calloc(MAX_CODE_LENGTH, sizeof(int));
    }
}

開發者ID:LilySpark，項目名稱:Algorithm，代碼行數:30，代碼來源:word2vec_note.c

示例3: ReduceVocab

void ReduceVocab() {
    // reduces the vocabulary by removing infrequent tokens.
    int a, b = 0;
    unsigned int hash;
    // 最後剩下b個詞，詞頻均大於min_reduce
    for (a = 0; a < vocab_size; a++) {
        if (vocab[a].cn > min_reduce) {
            vocab[b].cn = vocab[a].cn;
            vocab[b].word = vocab[a].word;
            b++;
        } else {
            free (vocab[a].word);
        }
    }
    vocab_size = b;
    // 重新分配hash索引
    for (a = 0; a < vocab_hash_size; a++) vocab_hash[a] = -1;
    for (a = 0; a < vocab_size; a++) {
        hash = GetWordHash(vocab[a].word);
        while (vocab_hash[hash] != -1) hash = (hash + 1) % vocab_hash_size;
        vocab_hash[hash] = a;
    }
    fflush(stdout);
    min_reduce++;
}

開發者ID:LilySpark，項目名稱:Algorithm，代碼行數:25，代碼來源:word2vec_note.c

示例4: ReduceVocab

// Reduces the vocabulary by removing infrequent tokens
void
ReduceVocab ()
{
  int a, b = 0;
  unsigned int hash;
  for (a = 0; a < vocab_size; a++)
	if (vocab[a].cn > min_reduce)
	  {
		vocab[b].cn = vocab[a].cn;
		vocab[b].word = vocab[a].word;
		b++;
	  }
	else
	  free (vocab[a].word);
  vocab_size = b;
  for (a = 0; a < vocab_hash_size; a++)
	vocab_hash[a] = -1;
  for (a = 0; a < vocab_size; a++)
	{
	  // Hash will be re-computed, as it is not actual
	  hash = GetWordHash (vocab[a].word);
	  while (vocab_hash[hash] != -1)
		hash = (hash + 1) % vocab_hash_size;
	  vocab_hash[hash] = a;
	}
  fflush (stdout);
  min_reduce++;
}

開發者ID:Halo9Pan，項目名稱:word2vec，代碼行數:29，代碼來源:word2phrase.c

示例5: SortVocab

// Sorts the vocabulary by frequency using word counts
void
SortVocab ()
{
  int a;
  unsigned int hash;
  // Sort the vocabulary and keep </s> at the first position
  qsort (&vocab[1], vocab_size - 1, sizeof(struct vocab_word), VocabCompare);
  for (a = 0; a < vocab_hash_size; a++)
	vocab_hash[a] = -1;
  for (a = 0; a < vocab_size; a++)
	{
	  // Words occuring less than min_count times will be discarded from the vocab
	  if (vocab[a].cn < min_count)
		{
		  vocab_size--;
		  free (vocab[vocab_size].word);
		}
	  else
		{
		  // Hash will be re-computed, as after the sorting it is not actual
		  hash = GetWordHash (vocab[a].word);
		  while (vocab_hash[hash] != -1)
			hash = (hash + 1) % vocab_hash_size;
		  vocab_hash[hash] = a;
		}
	}
  vocab = (struct vocab_word *) realloc (vocab, vocab_size * sizeof(struct vocab_word));
}

開發者ID:Halo9Pan，項目名稱:word2vec，代碼行數:29，代碼來源:word2phrase.c

示例6: SearchVocab

// Returns position of a word in the vocabulary; if the word is not found, returns -1
int SearchVocab(char *word) {
  unsigned int hash = GetWordHash(word);
  while (1) {
    if (vocab_hash[hash] == -1) return -1;
    if (!strcmp(word, vocab[vocab_hash[hash]].word)) return vocab_hash[hash];
    hash = (hash + 1) % vocab_hash_size;
  }
  return -1;
}

開發者ID:zweiein，項目名稱:kaldi，代碼行數:10，代碼來源:rnnlm.c

示例7: SearchVocab

// Returns position of a word in the vocabulary; if the word is not found, returns -1
int SearchVocab(struct vocabulary *v, char *word) {
  unsigned int hash = GetWordHash(v, word);
  while (1) {
    if ((v->vocab_hash)[hash] == -1) return -1;
    if (!strcmp(word, v->vocab[v->vocab_hash[hash]].word)) return v->vocab_hash[hash];
    hash = (hash + 1) % vocab_hash_size;
  }
  return -1;
}

開發者ID:stephenroller，項目名稱:word2vecfz，代碼行數:10，代碼來源:vocab.c

示例8: AddWordToVocab

int AddWordToVocab(char * word){
    unsigned int hash, lengh = strlen(word) + 1;
    if (lengh > MAX_STRING) lengh = MAX_STRING;
    vocab[vocab_size].word = (char *) calloc(lengh, sizeof(char));
    strcpy(vocab[vocab_size].word, word);
    vocab[vocab_size].cn = 0;
    vocab_size++;
    if (vocab_size + 2 >= vocab_max_size ) {
        vocab_max_size += 1000;// 每次增加1000個詞位
        vocab = (struct vocab_word *)realloc(vocab, vocab_max_size * sizeof(struct vocab_word));
    }
    hash = GetWordHash(word);
    while (vocab_hash[hash] != -1)  hash = (hash + 1) % vocab_hash_size; // 線性探索hash
    vocab_hash[hash] = vocab_size - 1;// 記錄在詞匯表中的存儲位置
    return  vocab_size - 1;// 返回添加的單詞在詞匯表中的存儲位置
}

開發者ID:LilySpark，項目名稱:Algorithm，代碼行數:16，代碼來源:word2vec_note.c

示例9: AddWordToVocab

// Adds a word to the vocabulary
int AddWordToVocab(char *word) {
  unsigned int hash, length = strlen(word) + 1;
  if (length > MAX_STRING) length = MAX_STRING;
  vocab[vocab_size].word = (char *)calloc(length, sizeof(char));
  strcpy(vocab[vocab_size].word, word);
  vocab[vocab_size].cn = 0;
  vocab_size++;
  // Reallocate memory if needed
  if (vocab_size + 2 >= vocab_max_size) {
    vocab_max_size *= 1.5; // was += 1000, modified to have fewer reallocations
    vocab = (struct vocab_word *)realloc(vocab, vocab_max_size * sizeof(struct vocab_word));
  }
  hash = GetWordHash(word);
  while (vocab_hash[hash] != -1) hash = (hash + 1) % vocab_hash_size;
  vocab_hash[hash] = vocab_size - 1;
  return vocab_size - 1;
}

開發者ID:zweiein，項目名稱:kaldi，代碼行數:18，代碼來源:rnnlm.c

示例10: AddWordToVocab

// Adds a word to the vocabulary
// 將詞添加到詞匯表
int AddWordToVocab(char *word) {
  unsigned int hash, length = strlen(word) + 1;
  if (length > MAX_STRING) length = MAX_STRING; //詞的長度不能超MAX_STRING
  vocab[vocab_size].word = (char *)calloc(length, sizeof(char));
  strcpy(vocab[vocab_size].word, word);
  vocab[vocab_size].cn = 0;  //初始詞頻為0
  vocab_size++;
  // Reallocate memory if needed
  if (vocab_size + 2 >= vocab_max_size) {
    vocab_max_size += 1000;
    vocab = (struct vocab_word *)realloc(vocab, vocab_max_size * sizeof(struct vocab_word));
  }
  hash = GetWordHash(word);
  while (vocab_hash[hash] != -1) hash = (hash + 1) % vocab_hash_size; //如果hash值衝突，采用線性探測的開放定址法，順序向下查找
  vocab_hash[hash] = vocab_size - 1;
  return vocab_size - 1;
}

開發者ID:adrianhust，項目名稱:RepresentationLearning，代碼行數:19，代碼來源:word2vec.c

示例11: AddWordToVocab

// Adds a word to the vocabulary
int AddWordToVocab(char *word) {
  unsigned int hash, length = strlen(word) + 1; //加1是為了存儲末尾的結束符
  if (length > MAX_STRING) length = MAX_STRING;
  vocab[vocab_size].word = (char *)calloc(length, sizeof(char));
  strcpy(vocab[vocab_size].word, word);
  vocab[vocab_size].cn = 0;
  vocab_size++; //詞匯表大小
  // Reallocate memory if needed
  if (vocab_size + 2 >= vocab_max_size) {
    vocab_max_size += 1000;
    vocab = (struct vocab_word *)realloc(vocab, vocab_max_size * sizeof(struct vocab_word));//realloc把vocab所在的內存塊重新分配一塊堆內存，之前的內存被釋放，
  }
  hash = GetWordHash(word); //word的hash值
  while (vocab_hash[hash] != -1) hash = (hash + 1) % vocab_hash_size; //不為1表示出現衝突，采用線性探測開放定址法，順序向下查找未被占用的位置
  vocab_hash[hash] = vocab_size - 1; //hash表中記錄word在詞匯表中的下標
  return vocab_size - 1;
}

開發者ID:ningyuwhut，項目名稱:word2vec，代碼行數:18，代碼來源:word2vec.c

示例12: AddWordToVocab

// Adds a word to the vocabulary 將一個詞添加到一個詞匯中
int AddWordToVocab(char *word)
{
  unsigned int hash, length = strlen(word) + 1;
  if (length > MAX_STRING)
	  length = MAX_STRING;
  vocab[vocab_size].word = (char *)calloc(length, sizeof(char));
  strcpy(vocab[vocab_size].word, word);
  vocab[vocab_size].cn = 0;
  vocab_size++;
  // Reallocate memory if needed
  if (vocab_size + 2 >= vocab_max_size)
  {
    vocab_max_size += 1000;
    vocab = (struct vocab_word *)realloc(vocab, vocab_max_size * sizeof(struct vocab_word));
  }
  hash = GetWordHash(word);
  while (vocab_hash[hash] != -1)//如果hash值衝突了
	  hash = (hash + 1) % vocab_hash_size;//使用開放地址法解決衝突
  vocab_hash[hash] = vocab_size - 1;//由詞的hash值找到她所在詞匯表的排序位置
  return vocab_size - 1;
}

開發者ID:lvchigo，項目名稱:ads_text，代碼行數:22，代碼來源:Demo_word2vec.cpp

示例13: AddWordToVocab

// Adds a word to the vocabulary
int AddWordToVocab(struct vocabulary *v, char *word) {
  //static long collide = 0;
  //static long nocollide = 0;
  unsigned int hash, length = strlen(word) + 1;
  if (length > MAX_STRING) length = MAX_STRING;
  v->vocab[v->vocab_size].word = (char *)calloc(length, sizeof(char));
  strcpy(v->vocab[v->vocab_size].word, word);
  v->vocab[v->vocab_size].cn = 0;
  v->vocab_size++;
  // Reallocate memory if needed
  if (v->vocab_size + 2 >= v->vocab_max_size) {
    v->vocab_max_size += 1000;
    v->vocab = (struct vocab_word *)realloc(v->vocab, v->vocab_max_size * sizeof(struct vocab_word));
  }
  hash = GetWordHash(v, word);
  //if (v->vocab_hash[hash] != -1) { collide += 1; } else { nocollide += 1; }
  //if ((collide + nocollide) % 100000 == 0) printf("%d %d %f collisions\n\n",collide, nocollide, (float)collide/(collide+nocollide));
  while (v->vocab_hash[hash] != -1) hash = (hash + 1) % vocab_hash_size;
  v->vocab_hash[hash] = v->vocab_size - 1;
  return v->vocab_size - 1;
}

開發者ID:stephenroller，項目名稱:word2vecfz，代碼行數:22，代碼來源:vocab.c

示例14: ReduceVocab

// Reduces the vocabulary by removing infrequent tokens
void ReduceVocab(struct vocabulary *v) {
   static int min_reduce = 1;
   printf("reducevocab\n");
  int a, b = 0;
  unsigned int hash;
  for (a = 0; a < v->vocab_size; a++) if (v->vocab[a].cn > min_reduce) {
    v->vocab[b].cn = v->vocab[a].cn;
    v->vocab[b].word = v->vocab[a].word;
    b++;
  } else free(v->vocab[a].word);
  v->vocab_size = b;
  for (a = 0; a < vocab_hash_size; a++) v->vocab_hash[a] = -1;
  for (a = 0; a < v->vocab_size; a++) {
    // Hash will be re-computed, as it is not actual
    hash = GetWordHash(v, v->vocab[a].word);
    while (v->vocab_hash[hash] != -1) hash = (hash + 1) % vocab_hash_size;
    v->vocab_hash[hash] = a;
  }
  fflush(stdout);
  min_reduce++;
}

開發者ID:stephenroller，項目名稱:word2vecfz，代碼行數:22，代碼來源:vocab.c

示例15: SortAndReduceVocab

// Sorts the vocabulary by frequency using word counts
void SortAndReduceVocab(struct vocabulary *v, int min_count) {
  int a, size;
  unsigned int hash;
  // Sort the vocabulary and keep </s> at the first position
  qsort(&(v->vocab[1]), v->vocab_size - 1, sizeof(struct vocab_word), VocabCompare);
  for (a = 0; a < vocab_hash_size; a++) v->vocab_hash[a] = -1;
  size = v->vocab_size;
  v->word_count = 0;
  for (a = 0; a < size; a++) {
    // Words occuring less than min_count times will be discarded from the vocab
    if (v->vocab[a].cn < min_count) {
      v->vocab_size--;
      free(v->vocab[v->vocab_size].word);
    } else {
      // Hash will be re-computed, as after the sorting it is not actual
      hash=GetWordHash(v, v->vocab[a].word);
      while (v->vocab_hash[hash] != -1) hash = (hash + 1) % vocab_hash_size;
      v->vocab_hash[hash] = a;
      v->word_count += v->vocab[a].cn;
    }
  }
  v->vocab = (struct vocab_word *)realloc(v->vocab, (v->vocab_size + 1) * sizeof(struct vocab_word));
}

開發者ID:stephenroller，項目名稱:word2vecfz，代碼行數:24，代碼來源:vocab.c

注：本文中的GetWordHash函數示例由純淨天空整理自Github/MSDocs等開源代碼及文檔管理平台，相關代碼片段篩選自各路編程大神貢獻的開源項目，源碼版權歸原作者所有，傳播和使用請參考對應項目的License；未經允許，請勿轉載。