本文整理汇总了C++中tokenizer::next_token方法的典型用法代码示例。如果您正苦于以下问题：C++ tokenizer::next_token方法的具体用法？C++ tokenizer::next_token怎么用？C++ tokenizer::next_token使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类tokenizer的用法示例。
在下文中一共展示了tokenizer::next_token方法的3个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的C++代码示例。
示例1: stmt_def_field
inline stmt_def_field(const statement&parent,const token&tk,tokenizer&t):
statement{parent,tk},
ident_{t.next_token()}
{
if(ident_.is_name(""))
throw compiler_error(ident_,"expected field name");
if(!t.is_next_char('{'))
throw compiler_error(ident_,"expected '{' initial value then '}' ",ident_.name());
while(true){
if(t.is_next_char('}'))break;
tokens_.push_back(t.next_token());
}
}示例2: stmt_def_func_param
inline stmt_def_func_param(const statement&parent,tokenizer&t):
statement{parent,t.next_token()}
{
assert(!tok().is_name(""));
if(!t.is_next_char(':'))
return;
while(true){
if(t.is_eos())throw compiler_error(*this,"unexpected end of stream",tok().name_copy());
keywords_.push_back(t.next_token());
if(t.is_next_char(':'))
continue;
break;
}
}示例3:
inline unique_ptr<statement>create_statement_from_tokenizer(const statement&parent,tokenizer&t){
auto tk=t.next_token();
if(tk.is_name("#"))return make_unique<stmt_comment>(parent,move(tk),t);// ie print("hello") // comment
if(t.is_peek_char('('))return create_call_statement_from_tokenizer(parent,move(tk),t); // ie f(...)
return make_unique<statement>(parent,move(tk));// ie 0x80
}