词法分析器(c++)

article/2025/11/1 10:35:16


前景提示:

个人觉得单纯是用来完成实验报告的话还行,但仅做参考,因为本人的编程水平有限,怕误人子弟。

本次代码支持以下操作:

单行注释

多行注释

文件形式输入

种别码可以在文件中自由修改

单词字符串识别支持:

部分关键字(可手动在程序外部---reference.txt文件添加,),

标识符,

无符号整形数字(仅可识别整形,其他类型需要自主添加别的函数支持),

界符(,{}()[]),

全部运算符(+、=、-、*、/、<、>,以及这些的两两组合)

代码程序:

// 编译原理词法分析器#include <iostream>
#include <string>
#include <fstream>
#include <vector>
#include <map>
using namespace std;string getFormFile(string filePath);
bool isLetter(char ch);
bool isNumber(char ch);
bool isOperator(char ch);
bool isDelimiter(char ch);
string rmExegesis(const string);
string rmExegesis_1(const string str);
string rmExegesis_2(const string str);vector<string> compile();
vector<string> compile(const string originpath, const string targetpath);
map<string, string> getMap();
void showTime(map<string, string> refer, vector<string> key);int main()
{map<string, string> refer = getMap();                            //从配置文件中拿到键值对cout << "请在文件 input.txt 中输入待编译程序" << endl;system("pause");vector<string> key = compile();                                    //拿到待识别字符showTime(refer, key);cout << "编译成功!" << endl;
}string getFormFile(string filePath)
{ifstream ifs;ifs.open(filePath);if (!ifs.is_open())cout << filePath << "打开失败!" << endl;ifs.seekg(0, ios::end);int size = ifs.tellg();                //得到文件大小                string str;str.resize(size);ifs.seekg(0, ios::beg);ifs.read((char*)str.c_str(), size);ifs.close();                        //关闭了!return str;
}//单词
bool isLetter(char ch)
{if (ch > ('a' - 1) && ch < ('z' + 1))return true;else if (ch > ('A' - 1) && ch < ('Z' + 1))return true;else if (ch == '_')return true;elsereturn false;
}//数字
bool isNumber(char ch)
{if (ch > ('0' - 1) && ch < ('9' + 1))return true;elsereturn false;
}//算术运算符
bool isOperator(char ch)
{if (ch == '=' || ch == '+' || ch == '-' || ch == '*' || ch == '/' || ch == ':' || ch == '<' || ch == '>')return true;elsereturn false;
}//界符
bool isDelimiter(char ch)
{if (ch == ';' || ch == ',' || ch == '(' || ch == ')' || ch == '{' || ch == '}' || ch == '[' || ch == ']')return true;elsereturn false;
}//去单行注释函数
string rmExegesis_1(const string str)
{string temp = str;string result = temp;string str1;string str2;int len = temp.length();for (int i = 0; i < len;){auto be = temp.find("//", i);auto en = temp.find("\n", be) + 1;if (be == string::npos || en == string::npos){break;}str1.assign(temp, 0, be);str2.assign(temp, en, len - en);result = str1 + str2;temp = result;len = temp.length();}return result;
}//去多行注释函数
string rmExegesis_2(const string str)
{string temp = str;string result = temp;string str1;string str2;int len = temp.length();for (int i = 0; i < len;){auto be = temp.find("/*", i);auto en = temp.find("*/", i) + 2;if (en < be){i = be;en = temp.find("*/", i) + 2;}if (be == string::npos || en == string::npos){break;}str1.assign(temp, 0, be);str2.assign(temp, en, len - en);result = str1 + str2;temp = result;len = temp.length();}return result;
}//去单行和多行注释
string rmExegesis(const string str)
{string result = rmExegesis_1(str);return rmExegesis_2(result);
}vector<string> compile()
{string origin = "input.txt";string target = "output.txt";return compile(origin, target);
}vector<string> compile(const string originpath, const string targetpath)
{string str = getFormFile(originpath);str = rmExegesis(str);                                        //去注释cout << str << endl;                                        //输出去注释之后的文本vector<string> v;                                            //存储字符int pos = 0;int len = str.find("#~");v.push_back("");for (int i = 0; i < len; i++){if (str[i] == ' ' || str[i] == '\t' || str[i] == '\n')    //空格,tab键,换行键作为分割符{if (v[pos] != ""){v.push_back("");pos++;}}else if (isLetter(str[i])){v[pos] = v[pos] + str[i];if (i + 1 < len && !isLetter(str[i + 1])){v[pos] = v[pos] + "$ident";v.push_back("");pos++;}}else if (isNumber(str[i])){v[pos] = v[pos] + str[i];if (i + 1 < len && !isNumber(str[i + 1])){v[pos] = v[pos] + "$idconst";v.push_back("");pos++;}}else if (isOperator(str[i])){v[pos] = v[pos] + str[i];if (i + 1 < len && isOperator(str[i + 1])){i = i + 1;v[pos] = v[pos] + str[i];v.push_back("");pos++;}else{v.push_back("");pos++;}}else if(isDelimiter(str[i])){v[pos] = v[pos] + str[i];v.push_back("");pos++;}else{v[pos] = v[pos] + str[i];v.push_back("");pos++;}}return v;
}map<string, string> getMap()
{string str = getFormFile("reference.txt");                    //读取匹配文件map<string, string> refer;pair<string, string> p;string bpattern = "<reference>";string epattern = "</reference>";int ben = str.find(bpattern) + bpattern.size();int end = str.find(epattern);string key;string value;int flag1;int flag2;for (int i = ben; i < end; i++){if (str[i] == ' ' || str[i] == '\t' || str[i] == '\n')continue;flag1 = i;flag2 = (str.find(' ', i) < str.find('\t', i) ? str.find(' ', i) : str.find('\t', i));key.assign(str, flag1, flag2 - flag1);flag1 = str.find('$', flag2) + 1;flag2 = str.find('\n', i);value.assign(str, flag1, flag2 - flag1);p = make_pair(key, value);refer.insert(p);i = flag2;}return refer;
}void showTime(map<string, string> refer, vector<string> key)
{    cout << "符号\t\t\t" << "种别码\t\t\t" << "说明" << endl;int len = key.size();for (int i = 0; i < len; i++){auto pos = key[i].find('$');if (pos != string::npos){string key1;string key2;key1.assign(key[i], 0, pos);key2.assign(key[i], pos + 1, key[i].length() - pos);map<string, string>::iterator iter = refer.find(key1);if (iter != refer.end()){cout << key1 << "\t\t\t" << iter->second << "\t\t\t" << "关键字" << endl;}else{cout << key2 << "\t\t\t" << refer[key2] << "\t\t\t" << key1 << endl;}}else{if (key[i] == "")continue;cout << key[i] << "\t\t\t" << refer[key[i]] << "\t\t\t" << key[i] << endl;}}
}

运行示例:

文件结构:

e90280c51ea24c36afdd48fe9d7129bf.png

 


示例1:

input.txt文件:

beginbeginbegin a:=1end;begin b:=1end;q:=10end;x:=9;y:=11;z:=12
end
#~

reference.txt文件

<reference>if        $0then    $1else    $2while    $3begin    $4do        $5end        $6a        $7:=        $8+        $9-        $10*        $11/        $12+=        $13-=        $14*=        $15/=        $16,        $17;        $22(        $18)        $19{        $20}        $21ident    $100idconst    $101
</reference>

 输出

5af81a996fca4431b0c28c800ed248f2.png

 


示例2:

input.txt文件:

#include <iostream>
using namespace std;void main()
{cout<<"hello world!!!"<<endl;            //单行注释在这里!!!  /*eryedhds
}
#~                        //#~为结束标志符/*
多行注释在这里!!
asbhfafs
afs
adfsdfcdccs
csCSZ
C
ZXC
Scxcds    sfasf saf sd f afd sfd a14 1 411:36 2022/11/711:36 2022/11/7wr#~
*/

reference.txt文件

<reference>if        $0then        $1else        $2while    $3begin    $4do        $5end        $6:=        $8+        $9-        $10*        $11/        $12+=        $13-=        $14*=        $15/=        $16>        $30<        $31,        $17;        $22(        $18)        $19{        $20}        $21#        $1111include    $1112iostream    $1113using    $1114namespace    $1115std        $1116int        $1117main        $1118cout        $1119endl        $1120void        $1121"        $1122ident    $100idconst    $101!        $1123<<        $1124>>        $1125
</reference>

输出

0c56577e95c14ae99f5d91e321cb8731.png
 

 

 

 


http://chatgpt.dhexx.cn/article/cC90snJF.shtml

相关文章

词法分析——词法分析器的作用

目录 综述 正文 1 词法分析与语法分析 2 词法单元、模式和词素 3 词法单元的属性 4 词法错误 综述 词法分析是编译的第一阶段。词法分析器的主要作用是读入源程序的输入字符、将它们组成词素&#xff0c;生成并输出一个词法单元序列&#xff0c;每个词法单元对应一个词素。…

词法分析器

词法分析&#xff08;Lexical Analysis&#xff09; 词法分析器在英文中一般叫做 Tokenizer。 有一个计算模型&#xff0c;叫做有限自动机&#xff08;Finite-state Automaton&#xff0c;FSA&#xff09;&#xff0c;或者叫做有限状态自动机&#xff08;Finite-state Machin…

编译原理——词法分析器

1 概述 设计、编制并调试一个简单的C语言词法分析程序&#xff0c;掌握利用状态转换图设计词法分析器的基本方法&#xff0c;利用该词法分析器完成对源程序字符串的词法分析。通过对该词法分析器的设计&#xff0c;加深对词法分析原理、状态转换图等编译原理知识的理解。 2 使…

编译原理词法分析器(C/C++)

前言&思路 词法分析器不用多说&#xff0c;一开始我还不知道是什么样的&#xff0c;看了下别人的博客&#xff0c;再看看书&#xff0c;原来是输出二元组&#xff0c;这不就是字符串操作嘛。然后细看几篇博客&#xff0c;发现大都是用暴力判断来写的。我对代码重复性比较高…

【编译原理】词法分析(C/C++源代码+实验报告)

文章目录 1 实验目的和内容1.1实验目的1.2实验内容 2 设计思想2.1单词种类及其正规式2.2 根据正规式构造NFA2.3根据NFA构造DFA2.3.1根据替换规则构造未化简的DFA2.3.2最小化DFA 3算法流程4源程序5调试数据5.1 测试样例一5.2 测试样例二5.3 测试样例三 6实验调试情况及体会6.1 实…

session 每次请求都会产生新的sessionID

问题描述&#xff1a; 最近在写一个项目时&#xff0c;在运行项目后每刷新一次都会产生一个新的Session ID&#xff0c;导致无法取值。 原因分析&#xff1a; 搞了很久发现是URL路径的问题&#xff0c;把http://localhost:8080//的双斜杠该为单斜杠就行了 解决方案&#xf…

JavaWeb - Cookie、Session、SessionId 详解

一、概述 会话&#xff08;Session&#xff09;跟踪是Web程序中常用的技术&#xff0c;用来跟踪用户的整个会话。常用的会话跟踪技术是Cookie与Session。Cookie通过在客户端记录信息确定用户身份&#xff0c;Session通过在服务器端记录信息确定用户身份。 本章将系统地讲述Co…

JSESSIONID和sessionid的区别

要保持登陆状态&#xff0c;但是sessionid 和 JSESSIONID的值不一致&#xff0c; 情况一&#xff1a;部署到测试机上&#xff0c;利用本机登陆网页&#xff0c;sessionid和jsessionid不一样。 情况二&#xff1a;部署在本机&#xff0c;本机登陆页面&#xff0c;sessionid和js…

关于两次访问接口的sessionid不一致问题

在测试验证邮箱、注册逻辑时&#xff0c;出现验证码错误的问题。验证码是存放在session内的&#xff0c;在排除了逻辑代码的问题后&#xff0c;检查出这两次访问接口的sessionid并不一致&#xff0c;而在swagger测试接口时是一致的。因此我比较了swagger与ajax请求/响应头的区别…

cookie、session、sessionid 与jsessionid

cookie、session、sessionid 与jsessionid&#xff0c;要想明白他们之间的关系&#xff0c;下面来看个有趣的场景来帮你理解。 我们都知道银行&#xff0c;银行的收柜台每天要接待客户存款/取款业务&#xff0c;可以有几种方案&#xff1a; 凭借柜台职员的记忆&#xff0c;由收…

如何根据sessionID获取session解决方案

点个赞&#xff0c;看一看&#xff0c;好习惯&#xff01;本文 GitHub https://github.com/OUYANGSIHAI/JavaInterview 已收录&#xff0c;这是我花了3个月总结的一线大厂Java面试总结&#xff0c;本人已拿腾讯等大厂offer。 另外&#xff0c;原创文章首发在我的个人博客&#…

sessionId的生成过程和过期时间

支持作者 最便宜的卫生纸 浏览器第一次请求服务器时&#xff0c;服务器会生成一个sessionId&#xff0c;并返回给浏览器&#xff0c;这个sessionId会被保存在浏览器的会话cookie中。如下图 在浏览器不关闭的情况下&#xff0c;之后的每次请求请求头都会携带这个sessionId到服务…

session,sessionid,cookie之间的关系解析

session&#xff0c;sessionid&#xff0c;cookie之间的关系解析 文章目录 session&#xff0c;sessionid&#xff0c;cookie之间的关系解析1.简介2.session和cookie定义&#xff0c;创建&#xff0c;周期和联系2.1cookie2.2session 3.如果禁用cookie后&#xff0c;如何解决账号…

dubbox拦截器配置

dubbo是一个被国内很多互联网公司广泛使用的开源分布式服务框架&#xff0c;即使从国际视野来看应该也是一个非常全面的SOA基础框架。作为一个重要的技术研究课题&#xff0c;在当当网我们根据自身的需求&#xff0c;为Dubbo实现了一些新的功能&#xff0c;并将其命名为Dubbox&…

Springboot+Dubbox 提供Rest服务实践

背景 在开发过程中&#xff0c;dubbo接口自测时&#xff0c;通过控制台的invoke方式调用dubbo服务不方便&#xff0c;主要体现在入参设置和入参保存上&#xff08;invoke方式调用dubbo服务请参考&#xff1a;命令行中调用dubbo服务及入参写法_Ypc_victor的专栏-CSDN博客&#…

Dubbo2

一、基础知识 1、分布式基础理论 1.1&#xff09;、什么是分布式系统&#xff1f; 《分布式系统原理与范型》定义&#xff1a; “分布式系统是若干独立计算机的集合&#xff0c;这些计算机对于用户来说就像单个相关系统” 分布式系统&#xff08;distributed system&#…

Dubbox 是什么?

1. Dubbo是什么&#xff1f; Dubbo是一个分布式服务框架&#xff0c;致力于提供高性能和透明化的RPC远程服务调用方案&#xff0c;以及SOA服务治理方案。简单的说&#xff0c;dubbo就是个服务框架&#xff0c;如果没有分布式的需求&#xff0c;其实是不需要用的&#xff0c;只…

分布式服务框架 dubbo/dubbox 入门示例

http://www.cnblogs.com/Javame/p/3632473.html 1. Dubbo是什么&#xff1f; Dubbo是一个分布式服务框架&#xff0c;致力于提供高性能和透明化的RPC远程服务调用方案&#xff0c;以及SOA服务治理方案。简单的说&#xff0c;dubbo就是个服务框架&#xff0c;如果没有分布式的…

SpringBoot整合Dubbox(无XML配置)

##简介 Dubbox是当当网对阿里的Dubbo进行增强的一个分支。在使用springboot之后&#xff0c;我们发现很多配置并不一定要使用xml。这篇文章的目的是让你使用Dubbox时能像使用springboot的其它功能一样可以在application.properties中配置。 ##基础整合 进入https://github.co…

Dubbo进阶(十一)—— Dubbo与DubboX区别

前世今生 Dubbo源于阿里的淘宝网开源分布式服务架构&#xff0c;致力于提供高性能和透明化的RPC远程服务调用方案&#xff0c;是SOA服务化治理方案的核心框架。淘宝网将其开源之后&#xff0c;得到了很多的拓展和支持&#xff08;比较出名的有&#xff1a;当当网的扩展版本dub…