Python 如何检测敏感词汇

article/2025/8/22 13:14:30

file

设计思路:根据敏感词库文件筛选,查看输入的文本中是否包含敏感词汇。从而过滤出相关的敏感词。

【阅读全文】

导入应用相关的模块。

import os
import logging
import sys

导入UI界面相关的模块。

from PyQt5.QtWidgets import QApplication,QWidget,QVBoxLayout,QTextEdit,QGridLayout,QLineEdit,QPushButton,QFileDialog
from PyQt5.QtGui import QIconimport resource

这个里面的resource模块,是使用python生成的.py形式的资源文件。直接将这个文件导入模块使用可以防止打包时资源文件不能打包的问题。展示一下部分的resource.py文件的代码块。

from PyQt5 import QtCoreqt_resource_data = b"\
\x00\x00\x2b\x03\
\x00\
\x01\x6a\xb6\x78\x9c\xed\x5d\x0b\x40\x54\xc5\xfa\x1f\x5c\x95\xf5\
\x11\x58\xdd\xb2\x52\xc1\x7c\x84\xa9\xa9\xa5\x29\xec\x6a\x58\x9a\
\xf6\xbc\x69\xb7\x6b\x5d\x2b\xb1\xb2\xb4\x7c\x01\x65\xa1\xc0\xee\
\xaa\x25\x18\xa4\x66\x6a\xf6\x34\x7a\x78\xcd\x5b\xa6\x66\xb9\x66\
\x25\xff\x44\x01\x33\x5f\xf8\xcc\x47\xf8\x7e\xc1\xee\x22\xa0\x28\
\xb0\xf3\xff\xcd\x39\x67\xe1\xec\x39\x67\x97\x05\x76\x17\xb0\xf3\
\xd3\x8f\xd9\x39\x67\xce\xcc\x37\xdf\x37\xdf\xbc\xce\x9c\x19\x42\
\x02\x48\x73\xd2\xab\x57\x2b\xb8\x8d\xc9\xb8\xa6\x84\x2c\x25\x84\
\xb4\x6f\xcf\xfb\xcf\x34\x22\x24\x28\x90\x90\x56\xad\x78\x7f\x97\

接下来是UI界面的部分,这次直接是使用UI界面的主线程的槽函数来完成业务逻辑的,并没有使用单独的QThread的子线程来实现。

    def init_ui(self):'''初始化日志管理器'''self.logger = logging.getLogger("敏感词检测工具")self.logger.setLevel(logging.DEBUG)self.setFixedWidth(600)self.setWindowIcon(QIcon(':sens.ico'))self.setWindowTitle('敏感词检测小工具   公众号:[Python 集中营]')vbox = QVBoxLayout()self.text_ = QTextEdit()self.text_.setPlaceholderText('请输入要检测的文本信息...')self.text_.setMaximumHeight(120)self.text_lis = QTextEdit()self.text_lis.setPlaceholderText('文中存在的敏感词信息...')self.text_lis.setReadOnly(True)self.text_lis.setMaximumHeight(60)grid = QGridLayout()self.dir_sens = QLineEdit()self.dir_sens.setPlaceholderText('敏感词库路径')self.dir_sens.setReadOnly(True)self.dir_btn = QPushButton()self.dir_btn.setText('获取敏感词库')self.dir_btn.clicked.connect(self.dir_btn_click)grid.addWidget(self.dir_sens, 0, 0, 1, 2)grid.addWidget(self.dir_btn, 0, 2, 1, 1)self.lis_btn = QPushButton()self.lis_btn.setText('开始检测')self.lis_btn.clicked.connect(self.search_sens)vbox.addWidget(self.text_)vbox.addWidget(self.text_lis)vbox.addLayout(grid)vbox.addWidget(self.lis_btn)self.setLayout(vbox)

其余的是四个槽函数部分,主要实现将敏感词文件的所有敏感词加载出来。最后将敏感词与输入的文件进行比对。

    def dir_btn_click(self):'''选择文件夹:return: '''directory = QFileDialog.getExistingDirectory(self, "选取文件夹", self.cwd)self.dir_sens.setText(directory + '/')def get_sens_files(self):'''获取敏感词文件:return: '''file_paths = []self.logger.info("开始批文件路径处理")list = os.listdir(self.dir_sens.text())for i in range(0, len(list)):path = os.path.join(self.dir_sens.text(), list[i])if os.path.isfile(path):file_paths.append(path)self.logger.info("完成批文件路径处理")return file_pathsdef load_sens(self):'''加载敏感词:return: '''paths = self.get_sens_files()sens = []self.logger.info("开始加载敏感词")for path in paths:self.logger.info("当前加载的文件路径是:" + path)with open(path, "rb") as file:data = file.readlines()datac = []for string in data:try:datac.append(string.decode('utf8').replace('\n', '').replace('\r', ''))except:self.logger.error("文件:[" + path + "]解码出现异常")sens = sens + datacsens = sens + datacself.logger.info("完成加载敏感词")return sensdef search_sens(self):'''搜索敏感词:return: '''text_lis = ""sens = self.load_sens()text = self.text_.toPlainText()for se in sens:if se in text and se not in text_lis:text_lis = text_lis + seself.logger.info("包含敏感词:" + text_lis)self.text_lis.setText(text_lis)

最后,直接使用main()函数启动整个应用。

if __name__ == '__main__':app = QApplication(sys.argv)main = SensListen()main.show()sys.exit(app.exec_())

以上就是完整的实现过程,有需要的小伙伴直接将所有代码复制到自己的开发工具中启动main()函数就可以啦!

输入敏感词直接在界面上进行检测,检测到的敏感词会显示在下面的文本框中。


http://chatgpt.dhexx.cn/article/1tdMwGE1.shtml

相关文章

敏感词汇工具类sensitive word的使用及详解

简述: 1.平时工作中,只要涉及到用户可以自由发言(博客、文档、论坛),就要考虑内容的敏感性处理,sensitive word工具是一个快速的敏感词过滤工具,基于 DFA 算法实现的高性能敏感词工具(mirrors / houbb / s…

Python敏感词汇检测

只要思想不滑坡,办法总比困难多 昨天在写练习题的时候写到这点特别迷,一直绕不过这个弯,最后也算是成功实现吧,记录一下,防止下次再绕的出不来。 之前访问的的Github镜像站一直触发滥用检测机制,着实很烦…

敏感词汇检测

1、今天做测试的时候抓到一个数据包,发现一个txt文件(CensorWords.b7e4bfb.txt),第一眼反应以为是系统被入侵了,被入侵者传了个txt到服务器上面,后面发现不对啊,攻击的话也不应该上传这种txt&am…

利用Python做简单的数据可视化

import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from pylab import mpl # 正常显示中文标签 mpl.rcParams[font.sans-serif] [KaiTi] # 正常显示负号 mpl.rcParams[axes.unicode_minus] Falseimport warnings warnings.filt…

Python做风险控制|找出形成环状投资的公司

大家好,我是小小明。 今天我将带大家利用python找到关系数据的环。先说下需求和背景: 需求描述 某投资机构需要考虑各公司的投资风险,手上一份各公司投资方向的数据,主要字段是投资者和被投资者。 而有部分公司并不是真的投资…

如何用Python做好友管理系统

--------------------------------------------------------总代码在最下面----------------------------------------------------------- (1)好友管理系统中不仅需要保存好友名称,还需要保存分组以及分组中的好友,因此&#xf…

怎么用python做网站?

python做网站方法步骤: 1、导入django包 可直接在pycharm下载,或者pip/easy_install Django是一个开放源代码的Web应用框架,由Python写成。采用了MTV的框架模式,即模型M,视图V和模版T。它最初是被开发来用于管理劳伦…

用python做一个简单GUI小软件

用python做一个简单软件 前言 这是一个课设,用python做一个扫描王软件 我主要做的GUI部分,记录分享一下。也是第一次用python做小软件,python的方便果然是名不虚传 遇到问题 1.python版本 下载了python3.7的编译器 由于最终软件要在wi…

手把手教你使用Python做数据分析

一、数据分析是什么 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总和理解并消化,以求最大化地开发数据的功能,发挥数据的作用,使得数据的价值最大化 二、数据分析是做什么的 数据分析是为了提取…

你究竟能用Python做什么?

中英文模式阅读 中文模式阅读 英文模式阅读 What exactly can you do with Python? Here are Pythons 3 main applications. 你究竟能用Python做什么?这是Python的3个主要应用。 If youre thinking of learning Python --- or if you recently started learnin…

用Python做图像处理

用Python做图像处理 最近在做一件比较 evil 的事情——验证码识别,以此来学习一些新的技能。因为我是初学,对图像处理方面就不太了解了,欲要利吾事,必先利吾器,既然只是做一下实验,那用 Python 来作原型开发…

python都能做什么

前言 一、python: Python具有丰富和强大的库。它常被昵称为胶水语言,能够把用其他语言制作的各种模块(尤其是C/C)很轻松地联结在一起。常见的一种应用情形是,使用Python快速生成程序的原型(有时甚至是程序…

你都用 Python 来做什么?

你们都用python做些什么呢? 在开发中 python 这一个语言就像是小叮当,而 python 的第三方库则是“百宝箱”,你只要想着对某一个方向进行开发,那么这个“百宝箱”就会给你想要的东西。 由于我是在开发多年后接触到的 python&#…

怎样利用python做一个软件,python可以自己做软件吗

python能做什么软件? 主要可以做小程序,爬虫程序,用于系统编程等等还是很广泛的。Python 的应用领域分为下面几类。下文将介绍一些Python 具体能帮我们做的事情。 但我们不会对各个工具进行深入探讨,如果你对这些话题感兴趣&…

python可以做什么工作-python都能干什么用

一、Python可以做什么? 1、数据库:Python在数据库方面很优秀,可以和多种数据库进行连接,进行数据处理,从商业型的数据库到开放源码的数据库都提供支持。例如:Oracle, My SQL Server等等。有多种接口可以与…

学了python能干啥举例-Python主要用来做什么?

Python主要用来做什么?Python可以做web应用开发、网络爬虫、AI人工智能与机器学习、处理数据用来分析、数据科学:包括机器学习、数据分析和数据可视化、脚本等方面开发。 Python用来开发的有: 1、做Web应用开发 在国内豆瓣一开始就使用Pyth…

python怎么算列表的平方_总算明了python如何求平方

总算明了python如何求平方 日期:2019-08-25 12:22:17 浏览:341 核心提示:打开电脑上的计算器一看,居然没法求平方,是不是就没办法了呢?用python就可以啦,那么python如何求平方呢?一起来了解下吧: python如何求平方 1.计算乘方 pow(4,3) #结果64 2.计算平方 import…

Python 计算平方根

Python 计算平方根 文章目录 Python 计算平方根平方根封装为函数相关博客 平方根 平方根,又叫二次方根,表示为〔√ ̄〕,一个正数有两个实平方根,它们互为相反数,负数没有平方根,0的平方根是0 …

python中平方_python里平方

广告关闭 腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 我正在写一个函数,它将返回一个平方数列表,但如果该函数使用参数(appl…

python平方和计算技巧,python平方和计算技巧 Python算法练习题:四平方和

全栈记事交流群内一个同学的问题,正好收集一下解决方案; 四平方和的定理又称拉格朗日定理:每个正整数都可以表示至多4个正整数的平方和。如果把0包括进去,就可以表示为4个数的平方和。 比如: 50^20^21^22^2 71^21^21^2…