Java实现敏感词过滤(敏感词替换DFA算法)

article/2025/9/23 16:37:10

DFA:

        DFA即Deterministic Finite Automaton,也就是确定有穷自动机。在实现文字过滤的算法中,DFA是比较好的实现算法。

实现思路:

        1.将敏感词添加到List列表中

private static String s1 = "你妈的";
private static String s2 = "草泥马";
private static String s3 = "日本佬";
private static String s4 = "你大爷的";
private static String s5 = "泥马的";List<String> list = new LinkedList<>();list.add(s1);list.add(s2);list.add(s3);list.add(s4);list.add(s5);

        2.遍历List列表将所有敏感词封装进Map中

/*** 封装敏感词汇** @param list list列表* @return 返回根节点*/private static Map<Character, Map> getSentiveWorld(List<String> list) {//root:根节点Map<Character, Map> root = new HashMap<>();//node:当前节点Map<Character, Map> node = new HashMap<>();//遍历敏感词列表,取出每一个敏感词for (String word : list) {//遍历每个敏感词前先把node指向rootnode = root;//遍历每一个敏感词的每一个字符for (int i = 0; i < word.length(); i++) {if (node.containsKey(word.charAt(i))) {//如果node包含该字符,node指向该字符(key)所对应的valuenode = node.get(word.charAt(i));} else {//如果node不包含该字符,向node中添加以该字符为(key),next为(value)的map,并把node指向next//next:下一个节点Map<Character, Map> next = new HashMap<>();node.put(word.charAt(i), next);node = next;}}//遍历完每一个敏感词之后都在末尾添加一个结束标志node.put('\t', null);}return root;}

        3.替换敏感词

/*** 替换内容的方法** @param str 字符串* @return 返回替换之后的字符串*/private static String replaceContent(String str, Map<Character, Map> map) {//下标指针int index;//是否有敏感词汇统计int count;StringBuilder sb = new StringBuilder();//遍历字符串for (int i = 0; i < str.length(); i += index) {index = 0;count = 0;//将封装好敏感词汇的map赋值给map1Map<Character, Map> map1 = map;//判断map1中是否包含敏感词while (map1.containsKey(str.charAt(i + index))) {//包含敏感词就将str.charAt(i + index)(敏感词)(key)所对应的value赋值给map1map1 = map1.get(str.charAt(i + index));//下标指针加一index++;//判断map1中是否包含结束符if (map1.containsKey('\t')) {//包含结束符代表含有敏感词汇count++;break;}//判断下标指针加一之后是否为特殊字符while (chars.contains(str.charAt(i + index))) {//是特殊字符则下标指针加一index++;}}if (count != 0) {//包含敏感词汇追加*sb.append('*');//i变成(i+下标指针)} else {//不包含敏感词汇追加该字符sb.append(str.charAt(i));//下标指针回到1index = 1;//i变成(i+下标指针)}}return sb.toString();}

        4.完整代码(含测试代码)

package practice;import java.util.*;public class SentiveWord {private static String s1 = "你妈的";private static String s2 = "草泥马";private static String s3 = "日本佬";private static String s4 = "你大爷的";private static String s5 = "泥马的";public static void main(String[] args) {List<String> list = new LinkedList<>();list.add(s1);list.add(s2);list.add(s3);list.add(s4);list.add(s5);Map<Character, Map> map = getSentiveWorld(list);String str = "今天遇见一个 日  本'佬,一万个草 泥'马 的在空中飘过!";String s = replaceContent(str, map);System.out.println(s);}/*** 封装敏感词汇** @param list list列表* @return 返回根节点*/private static Map<Character, Map> getSentiveWorld(List<String> list) {//root:根节点Map<Character, Map> root = new HashMap<>();//node:当前节点Map<Character, Map> node = new HashMap<>();//遍历敏感词列表,取出每一个敏感词for (String word : list) {//遍历每个敏感词前先把node指向rootnode = root;//遍历每一个敏感词的每一个字符for (int i = 0; i < word.length(); i++) {if (node.containsKey(word.charAt(i))) {//如果node包含该字符,node指向该字符(key)所对应的valuenode = node.get(word.charAt(i));} else {//如果node不包含该字符,向node中添加以该字符为(key),next为(value)的map,并把node指向next//next:下一个节点Map<Character, Map> next = new HashMap<>();node.put(word.charAt(i), next);node = next;}}//遍历完每一个敏感词之后都在末尾添加一个结束标志node.put('\t', null);}return root;}//封装特殊字符public static HashSet<Character> chars = new HashSet<Character>() {{add(' ');add('·');add('ˉ');add('ˇ');add('¨');add('々');add('·');add('~');add('‖');add('∶');add('"');add('|');add('〃');add('〔');add('〕');add('〈');add('〉');add('「');add('」');add('『');add('』');add('.');add('[');add(']');add('{');add('}');add('\'');add('【');add('】');}};//    private static char[] chars = {
//            ' ', '·', 'ˉ', 'ˇ', '¨', '々', '~', '‖', '∶', '"', '`',
//            '|', '〃', '〔', '〕', '〈', '〉', '「', '」', '『', '』',
//            '.', '〖', '〗', '【', '】', '[', ']', '{', '}', '\''
//    };/*** 替换内容的方法** @param str 字符串* @return 返回替换之后的字符串*/private static String replaceContent(String str, Map<Character, Map> map) {//下标指针int index;//是否有敏感词汇统计int count;StringBuilder sb = new StringBuilder();//遍历字符串for (int i = 0; i < str.length(); i += index) {index = 0;count = 0;//将封装好敏感词汇的map赋值给map1Map<Character, Map> map1 = map;//判断map1中是否包含敏感词while (map1.containsKey(str.charAt(i + index))) {//包含敏感词就将str.charAt(i + index)(敏感词)(key)所对应的value赋值给map1map1 = map1.get(str.charAt(i + index));//下标指针加一index++;//判断map1中是否包含结束符if (map1.containsKey('\t')) {//包含结束符代表含有敏感词汇count++;break;}//判断下标指针加一之后是否为特殊字符while (chars.contains(str.charAt(i + index))) {//是特殊字符则下标指针加一index++;}}if (count != 0) {//包含敏感词汇追加*sb.append('*');//i变成(i+下标指针)} else {//不包含敏感词汇追加该字符sb.append(str.charAt(i));//下标指针回到1index = 1;//i变成(i+下标指针)}}return sb.toString();}}

        5.测试结果

        有任何问题欢迎在评论区讨论! 


http://chatgpt.dhexx.cn/article/YPxEsDOQ.shtml

相关文章

Java敏感词过滤

方案一&#xff1a;使用String类的contains() contains()方法用于判断字符串中是否包含指定的字符或字符串。 public static void main(String[] args) {String a "敏感词";String b "我的敏感词";System.out.println(b.contains(a));if (b.contains(a…

浅析过滤敏感词过滤算法(C++)

本文转自浅析敏感词过滤算法(C)&#xff0c;自己也在其基础上根据自己的情况做了一点修改。 为了提高查找效率&#xff0c;这里将敏感词用树形结构存储&#xff0c;每个节点有一个map成员&#xff0c;其映射关系为一个string对应一个WordNode。 比如敏感词库里面有枪手、手枪…

js实现敏感词过滤算法

最近弄了一个用户发表评论的功能&#xff0c;用户上传了评论&#xff0c;再文章下可以看到自己的评论&#xff0c;但作为社会主义接班人&#xff0c;践行社会主义核心价值观&#xff0c;所以给评论敏感词过滤的功能不可少&#xff0c;在网上找了资料&#xff0c;发现已经有非常…

DFA 敏感词过滤算法

dfa 算法 创建字典树对输入的词典进行匹配 创建节点 这里的结点就是上面那幅图 package DFAtype Node struct {//结束End bool//节点Next map[rune]*Node }// AddChild add char func (n *Node) AddChild(c rune) *Node {if n.Next nil {n.Next make(map[rune]*Node)}// 这…

利用Trie(字典树)实现敏感词过滤算法

Trie&#xff08;字典树&#xff09;&#xff0c;正如它的名字一样&#xff0c;其主要的作用就是来存储字符串的&#xff0c;用它来实现字符串的查找效率比较高&#xff0c;查找的时间复杂度主要和它的元素&#xff08;字符串的长度&#xff09;O(W)相关&#xff0c;但是消耗的…

trie树之敏感词过滤算法

之前写过一篇关于Trie树的介绍&#xff1a;Trie树——在一个字符串集合中快速查找某个字符串。今天就用Trie树来实现敏感词过滤算法。 首先简单介绍一下Trie树的数据结构&#xff1a; 1.根节点不存储字符。 2.Trie树中除了根节点外其余节点都需要存储一个字符&#xff0c;另外…

敏感词过滤算法:前缀树算法

背景 平时我们在逛贴吧、牛客网的时候,我们经常可以看到一些形如 “***”的符号,通过上下文,我们也可以很容易猜到这些词原来是骂人的话,只是被系统和谐了。那么这是如何实现的呢?作为普通人,我们最先想到的一种办法就是把所有敏感串存入一个列表中,然后用户每发一条内…

敏感词过滤算法DFA

敏感词过滤方案 1 使用数据库模糊查询&#xff0c;效率太低 2 使用String.indexOf("")查找&#xff0c;数据库量大的话也是比较慢 3 把敏感词和内容使用全文检索&#xff08;solr,ElasticSearch&#xff09;技术进行分词再匹配&#xff0c;也是可以的&#xff0c;但是…

java敏感词过滤算法

本文参考博客&#xff1a;https://blog.csdn.net/henshuia/article/details/111498753?utm_mediumdistribute.pc_relevant.none-task-blog-2defaultbaidujs_title~default-0.pc_relevant_default&spm1001.2101.3001.4242.1&utm_relevant_index3 再次感谢作者分享&…

敏感词过滤-DFA算法

目录 DFA算法简介 Java实现DFA算法实现敏感词过滤 测试方法 创建DFAMap 根据DFAMap进行检验 完整代码 与前缀树的类似与不同 类似 不同 复杂度 DFA算法简介 在实现文字过滤的算法中&#xff0c;DFA是唯一比较好的实现算法。DFA即Deterministic Finite Automaton&…

[转*摘要*总结]敏感词过滤的算法原理之DFA算法

问题背景 敏感词、文字过滤是一个网站必不可少的功能&#xff0c;过滤的关键是用户输入内容与敏感字库的匹配。 对于字符串匹配&#xff0c;一般的方法是字符串子串包含判断、正则表达式判断&#xff0c;但对于用户输入的大量内容&#xff0c;它们的效率是非常低的。Google和百…

敏感词过滤算法 为内容保驾护航 Java/.Net/C++/c/Python等语言是如何进行敏感词打码限制的 高效防范违规内容

有人的地方&#xff0c;就有江湖&#xff0c;有输入框的地方&#xff0c;就有注入风险&#xff01;有输入框的地方&#xff0c;就有敏感词&#xff01;敏感词就像一个平台杀手&#xff0c;可能直接导致平台被封锁&#xff01; 敏感词是一个APP、一个网站、一个内容平台的“杀手…

MD5加密解密

md5加密 /*** 采用MD5加密解密** MD5加码 生成32位md5码*/public static String string2MD5(String inStr) {MessageDigest md5 null;try {md5 MessageDigest.getInstance("MD5");} catch (Exception e) {System.out.println(e.toString());e.printStackTrace();re…

一文读懂md5,md5有什么用,什么是md5加盐

md5是一种密码散列函数&#xff0c;在计算机安全领域得到广泛的应用。本文将带大家了解一些md5的知识点&#xff0c;什么是md5&#xff0c;md5有什么用&#xff0c;什么是md5加盐&#xff0c;为什么md5不可逆&#xff0c;为什么md5可能会被解密&#xff1f;帮助大家快速了解md5…

MD5摘要算法的几种解密方法,分享md5免费解密网站

在一个md5解密交流群看到有人讨论MD5算法解密&#xff0c;消息有上百条&#xff0c;但是具体怎么解密却没人讨论。所以&#xff0c;今天就这个话题浅谈一下MD5摘要算法的几种解密方法&#xff0c;以及分享使用MD5免费解密网站如何进行md5加密解密&#xff0c;大家可要轻点喷。 …

多因子选股策略(股票)

注:以下部分内容引用自《因子投资:方法与实践》一书 1. 原理 多因子策略是最广泛应用的策略之一。CAPM模型的提出为股票的收益提供了解释,但随着各种市场异象的出现,使得人们发现股票存在超额收益,这种收益不能为市场因子所解释,因此,出现了多因子模型。 多因子模型最…

MD5算法

写在前面&#xff1a; 本文章旨在总结备份、方便以后查询&#xff0c;由于是个人总结&#xff0c;如有不对&#xff0c;欢迎指正&#xff1b;另外&#xff0c;内容大部分来自网络、书籍、和各类手册&#xff0c;如若侵权请告知&#xff0c;马上删帖致歉。 目录 一、介绍二、算…

md5强比较弱比较

md5强比较&#xff0c;弱比较 强比较&#xff1a;使用三个 比较&#xff0c;比较值&#xff0c;也比较类型 弱比较&#xff1a;使用两个 比较&#xff0c;只比较值&#xff0c;不比较类型 ab 将a&#xff0c;b的值转换成同类型再比较值ab 先判断a&#xff0c;b类型&#…

MD5 几种方法的选择

转&#xff1a;http://zoroeye.iteye.com/blog/2026984?utm_sourcetuicool&utm_mediumreferral md5加密实现方法有很多种&#xff0c;也导致很难选择。大概分析下自己了解的一些用法。 1.sun官方 sun提供了MessageDigest和BASE64Encoder可以用指定算法加密。 例&…

MD5是什么?及其它的特点

比较官方的解释大家可以百度&#xff0c;这里我说一下自己的理解。 一.作用&#xff1a;一般用于互联网一种数据的唯一性标识。 二.实体&#xff1a;本身是一个128位的0/1比特。一般被表示为16进制的字符串。4个比特位组成一个16进制字符&#xff0c;因此常常能见到的是&#…