当前位置: 首页>>代码示例>>C++>>正文


C++ TokenStream::push_back方法代码示例

本文整理汇总了C++中TokenStream::push_back方法的典型用法代码示例。如果您正苦于以下问题:C++ TokenStream::push_back方法的具体用法?C++ TokenStream::push_back怎么用?C++ TokenStream::push_back使用的例子?那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在TokenStream的用法示例。


在下文中一共展示了TokenStream::push_back方法的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的C++代码示例。

示例1: tokenize

TokenStream Tokenizer::tokenize(const std::string& input)
{
    // std::cout
    //     << IrLibPlus::Parser::ExpressionStart << "\n"
    //     << IrLibPlus::Parser::ExpressionEnd << "\n"
    //     << IrLibPlus::Parser::BlockStart << "\n"
    //     << IrLibPlus::Parser::BlockEnd << "\n"
    //     << std::endl;

    Token currentToken = "";
    TokenStream tokenStream = {};
    bool inBlock = false;
    bool inTag = false;

    for (int i = 0; i < input.length(); i++) {
        const char currentCharacter = input[i];

        if (currentCharacter == IrLibPlus::Parser::BlockStart) {
            inBlock = true;
        }
        if (currentCharacter == IrLibPlus::Parser::TagStart) {
            inTag = true;
        }

        if (currentCharacter != IrLibPlus::Parser::BlockStart
            && currentCharacter != IrLibPlus::Parser::TagStart) {
            currentToken.append(1, currentCharacter);
        }

        if (currentCharacter == IrLibPlus::Parser::BlockStart
            || currentCharacter == IrLibPlus::Parser::BlockEnd
            || currentCharacter == IrLibPlus::Parser::TagStart
            || currentCharacter == IrLibPlus::Parser::TagEnd) {
            tokenStream.push_back(currentToken);
            currentToken = "";
        }

        if (currentCharacter == IrLibPlus::Parser::BlockStart
            || currentCharacter == IrLibPlus::Parser::TagStart) {
            currentToken.append(1, currentCharacter);
        }

        if (currentCharacter == IrLibPlus::Parser::BlockEnd) {
            inBlock = false;
        }
        if (currentCharacter == IrLibPlus::Parser::TagEnd) {
            inTag = false;
        }

        // switch (currentCharacter) {
        // case IrLibPlus::Parser::BlockStart:
        //     tokenStream.push_back(currentToken);
        //     currentToken = "";
        //     std::cout << "+";
        //     break;
        //
        // case IrLibPlus::Parser::BlockEnd:
        //     tokenStream.push_back(currentToken);
        //     currentToken = "";
        //     std::cout << "-";
        //     break;
        //
        // default:
        //     currentToken.append(1, currentCharacter);
        //     break;
        // }
    }

    tokenStream.push_back(currentToken);
    return tokenStream;
};
开发者ID:cundd,项目名称:irlib-plus,代码行数:71,代码来源:Tokenizer.cpp


注:本文中的TokenStream::push_back方法示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。