利用Trie(字典树)实现敏感词过滤算法

article/2025/9/23 17:20:30

Trie(字典树),正如它的名字一样,其主要的作用就是来存储字符串的,用它来实现字符串的查找效率比较高,查找的时间复杂度主要和它的元素(字符串的长度)O(W)相关,但是消耗的内存也比较大。
字典树主要应用于:

  • 字符串的检索
  • 词频统计
  • 字符串的排序

利用Trie实现敏感词过滤器主要有下面三个步骤:

  • 定义前缀树
  • 根据敏感词,初始化前缀树
  • 编写过滤敏感词的算法

定义和初始化前缀树

  • 根节点没有字符
  • 除了根节点每个节点都只有一个字符
  • 每个节点所有的子节点的字符都不相同

字符串的每个字符作为一个Node节点,Node’节点主要有两部分组成
1.是否为单词(boolean isKeyWordEnd)
2.节点所有的子节点,用map来保存 key是字符,value 是子节点

//定义前缀树private class TrieNode {//表示是否为关键词的结尾private boolean isKeyWordEnd = false;//子节点private Map<Character, TrieNode> subNodes = new HashMap<>();//判断是否是关键词的结尾public boolean isKeyWordEnd() {return isKeyWordEnd;}//设置关键词的结尾为truepublic void setKeyWordEnd(boolean isKeyWordEnd) {this.isKeyWordEnd = isKeyWordEnd;}//添加子节点public void addSubNode(Character c, TrieNode node) {subNodes.put(c, node);}//获取子节点public TrieNode getSubNode(Character c) {return subNodes.get(c);}}

根据敏感词,初始化前缀树

//将一个敏感词添加到前缀树中private void addKeyWord(String keyword) {TrieNode temp = rootNode;for (int i = 0; i < keyword.length(); i++) {char c = keyword.charAt(i);TrieNode subNode = temp.getSubNode(c);//如果子节点中不存在该字符节点if (subNode == null) {subNode = new TrieNode();temp.addSubNode(c, subNode);}//指向下一个节点,进行下一个循环temp = subNode;//如果遍历到字符结束的位置,就要设置节点的字符结束标志位为trueif (i == keyword.length() - 1) {temp.setKeyWordEnd(true);}}}

例如把单词abc插入到前缀树中,如果用户输入ab,尽管abc包含了ab,但是trie中仍然不包含ab这个单词,所以插入到单词的最后一个位置时,需要设置当前最后一个节点的结束标志位为true,代表这是一个完整的敏感词。
在这里插入图片描述

敏感词过滤算法的实现

设置三个指针
指针1:初始时指向前缀树的root根节点
指针2:初始时指向待过滤字符的头结点,表示敏感词的开头
指针3:初始时指向待过滤字符的头结点,表示敏感词的末尾
利用StringBuilder接收返回值
在这里插入图片描述
在指针1所指向节点的子节点中寻找是否出现指针3所指向的字符,如果没有指针2和指针3进入下一个位置,并将滑过的值添加到stringbuilder中。
在这里插入图片描述
当指针1之指向的节点的子节点中能找到指针3指向的值时,指针1指向对应的子节点,指针2在原位置不动(疑似敏感词的开头位置)
在这里插入图片描述
指针3继续步进,此时在指针1对应的子节点中找不动指针3的值f!=c,指针3就要回到指针2的下一个节点,指针1需要回到根节点,继续寻找以b开头的字符是不是敏感词。
在这里插入图片描述

在这里插入图片描述
指针3继续步进,并与指针1指向的节点的自己点的值比对,当两者都指向字符’f’的时候,判断节点f的敏感词标志位是否为true,如果为true表示找到一个敏感词,并将其替换为‘***’添加到stringbuilder中,随后指针2指向指针3的下一个位置即a,指针1重回root,继续进行过滤。
在这里插入图片描述
在这里插入图片描述

//敏感词过滤算法的实现public String filter(String text){if(StringUtils.isBlank(text)){return null;}//指针1TrieNode tempNode=rootNode;//指针2 指向字符的开头int begin=0;//指针3 指向疑似敏感字符的结尾int position=0;//结果StringBuilder sb=new StringBuilder();while(begin<text.length()) {char c = text.charAt(position);//跳过符号if (isSymbol(c)) {//如果指针1处于根节点,将此符号计入结果,让指针2向下走一步if (tempNode==rootNode) {sb.append(c);begin++;}//无论符号在开头还是中间,指针3都向下走一步position++;continue;}//检查下级节点tempNode=tempNode.getSubNode(c);if (tempNode==null){//以begin开头的字符串不是敏感词sb.append(text.charAt(begin));//进入下一个位置position=++begin;//重新指向根节点tempNode=rootNode;}else if (tempNode.isKeyWordEnd()){//发现敏感词,将begin-position字符串替换点sb.append(REPLACEMENT);//进入下一个位置begin=++position;//重新指向根节点tempNode=rootNode;}else{//检查下一个字符if (position<text.length()-1){position++;}}}sb.append(text.substring(begin));return sb.toString();}

测试:

 @Testpublic void testSensitiveFilter(){String text="这里可以赌博,可以嫖娼,可以吸毒,可以开票";text=sensitiveFilter.filter(text);System.out.println(text);text="这里可以🀁赌博,可以🀂嫖娼,可以🀂🀂🀂吸毒,可以开🀃🀃🀃票";text=sensitiveFilter.filter(text);System.out.println(text);}

结果:
在这里插入图片描述


http://chatgpt.dhexx.cn/article/CrCT6SDu.shtml

相关文章

trie树之敏感词过滤算法

之前写过一篇关于Trie树的介绍&#xff1a;Trie树——在一个字符串集合中快速查找某个字符串。今天就用Trie树来实现敏感词过滤算法。 首先简单介绍一下Trie树的数据结构&#xff1a; 1.根节点不存储字符。 2.Trie树中除了根节点外其余节点都需要存储一个字符&#xff0c;另外…

敏感词过滤算法:前缀树算法

背景 平时我们在逛贴吧、牛客网的时候,我们经常可以看到一些形如 “***”的符号,通过上下文,我们也可以很容易猜到这些词原来是骂人的话,只是被系统和谐了。那么这是如何实现的呢?作为普通人,我们最先想到的一种办法就是把所有敏感串存入一个列表中,然后用户每发一条内…

敏感词过滤算法DFA

敏感词过滤方案 1 使用数据库模糊查询&#xff0c;效率太低 2 使用String.indexOf("")查找&#xff0c;数据库量大的话也是比较慢 3 把敏感词和内容使用全文检索&#xff08;solr,ElasticSearch&#xff09;技术进行分词再匹配&#xff0c;也是可以的&#xff0c;但是…

java敏感词过滤算法

本文参考博客&#xff1a;https://blog.csdn.net/henshuia/article/details/111498753?utm_mediumdistribute.pc_relevant.none-task-blog-2defaultbaidujs_title~default-0.pc_relevant_default&spm1001.2101.3001.4242.1&utm_relevant_index3 再次感谢作者分享&…

敏感词过滤-DFA算法

目录 DFA算法简介 Java实现DFA算法实现敏感词过滤 测试方法 创建DFAMap 根据DFAMap进行检验 完整代码 与前缀树的类似与不同 类似 不同 复杂度 DFA算法简介 在实现文字过滤的算法中&#xff0c;DFA是唯一比较好的实现算法。DFA即Deterministic Finite Automaton&…

[转*摘要*总结]敏感词过滤的算法原理之DFA算法

问题背景 敏感词、文字过滤是一个网站必不可少的功能&#xff0c;过滤的关键是用户输入内容与敏感字库的匹配。 对于字符串匹配&#xff0c;一般的方法是字符串子串包含判断、正则表达式判断&#xff0c;但对于用户输入的大量内容&#xff0c;它们的效率是非常低的。Google和百…

敏感词过滤算法 为内容保驾护航 Java/.Net/C++/c/Python等语言是如何进行敏感词打码限制的 高效防范违规内容

有人的地方&#xff0c;就有江湖&#xff0c;有输入框的地方&#xff0c;就有注入风险&#xff01;有输入框的地方&#xff0c;就有敏感词&#xff01;敏感词就像一个平台杀手&#xff0c;可能直接导致平台被封锁&#xff01; 敏感词是一个APP、一个网站、一个内容平台的“杀手…

MD5加密解密

md5加密 /*** 采用MD5加密解密** MD5加码 生成32位md5码*/public static String string2MD5(String inStr) {MessageDigest md5 null;try {md5 MessageDigest.getInstance("MD5");} catch (Exception e) {System.out.println(e.toString());e.printStackTrace();re…

一文读懂md5,md5有什么用,什么是md5加盐

md5是一种密码散列函数&#xff0c;在计算机安全领域得到广泛的应用。本文将带大家了解一些md5的知识点&#xff0c;什么是md5&#xff0c;md5有什么用&#xff0c;什么是md5加盐&#xff0c;为什么md5不可逆&#xff0c;为什么md5可能会被解密&#xff1f;帮助大家快速了解md5…

MD5摘要算法的几种解密方法,分享md5免费解密网站

在一个md5解密交流群看到有人讨论MD5算法解密&#xff0c;消息有上百条&#xff0c;但是具体怎么解密却没人讨论。所以&#xff0c;今天就这个话题浅谈一下MD5摘要算法的几种解密方法&#xff0c;以及分享使用MD5免费解密网站如何进行md5加密解密&#xff0c;大家可要轻点喷。 …

多因子选股策略(股票)

注:以下部分内容引用自《因子投资:方法与实践》一书 1. 原理 多因子策略是最广泛应用的策略之一。CAPM模型的提出为股票的收益提供了解释,但随着各种市场异象的出现,使得人们发现股票存在超额收益,这种收益不能为市场因子所解释,因此,出现了多因子模型。 多因子模型最…

MD5算法

写在前面&#xff1a; 本文章旨在总结备份、方便以后查询&#xff0c;由于是个人总结&#xff0c;如有不对&#xff0c;欢迎指正&#xff1b;另外&#xff0c;内容大部分来自网络、书籍、和各类手册&#xff0c;如若侵权请告知&#xff0c;马上删帖致歉。 目录 一、介绍二、算…

md5强比较弱比较

md5强比较&#xff0c;弱比较 强比较&#xff1a;使用三个 比较&#xff0c;比较值&#xff0c;也比较类型 弱比较&#xff1a;使用两个 比较&#xff0c;只比较值&#xff0c;不比较类型 ab 将a&#xff0c;b的值转换成同类型再比较值ab 先判断a&#xff0c;b类型&#…

MD5 几种方法的选择

转&#xff1a;http://zoroeye.iteye.com/blog/2026984?utm_sourcetuicool&utm_mediumreferral md5加密实现方法有很多种&#xff0c;也导致很难选择。大概分析下自己了解的一些用法。 1.sun官方 sun提供了MessageDigest和BASE64Encoder可以用指定算法加密。 例&…

MD5是什么?及其它的特点

比较官方的解释大家可以百度&#xff0c;这里我说一下自己的理解。 一.作用&#xff1a;一般用于互联网一种数据的唯一性标识。 二.实体&#xff1a;本身是一个128位的0/1比特。一般被表示为16进制的字符串。4个比特位组成一个16进制字符&#xff0c;因此常常能见到的是&#…

抓强势股MACD大牛启动通达信指标公式 无未来 不加密

快速抓黑马强势股 好股不错过 利润翻倍的好指标 本指标能帮您快速缩小选股范围&#xff0c;紧盯信号&#xff0c;结合主力资金和主力活跃度来综合判断个股买点机会&#xff0c;强势个股精选&#xff0c;结合指标信号能快速参与强势个股回踩操作机会&#xff0c;买点更…

MD5 加密

什么是MD5算法 MD5 信息摘要演算法&#xff08;Message-Digest Algorithm&#xff09;&#xff0c;一种被广泛使用的密码杂凑函数&#xff0c;可以产生出一个128位元&#xff08;16位元组&#xff09;的散列值&#xff08;hash value&#xff09;&#xff0c;用于确保信息传输…

MD5算法详解

0x00 前言 MD5是一种哈希算法&#xff0c;用来保证信息的完整性。 就一段信息对应一个哈希值&#xff0c;且不能通过哈希值推出这段信息&#xff0c;而且还需要保证不存在任意两段不相同的信息对应同一个哈希值。不过MD5算法算出来的值也就16个字节&#xff08;16*8128&#x…

跟庄买股票得新技巧(2023.05.16)(绝密资料,只发一次)

昨天学了一个跟庄买卖股票的得新技能 统计昨天庄家异动的情况&#xff0c;按照行业分类&#xff08;板块&#xff09;板块对涨幅进行排序&#xff0c;涨幅排名分前三的是&#xff0c;龙头一&#xff0c;龙头二&#xff0c;龙头三买卖规则&#xff1a;看龙一&#xff0c;玩龙二…

股票策略 —— 指数择时 + 因子选股1

1、概述 我们希望建立一个择时策略 因子选股的复合策略&#xff0c;因为指数择时无法直接落地&#xff0c;而单纯的因子选股策略&#xff0c;回撤太大。本贴观察其效果。 2、策略规则 1、大盘指数择时&#xff0c;有持仓信号时&#xff0c;采用某量价因子筛选指数成份股&am…