敏感词过滤算法:前缀树算法

article/2025/9/23 17:18:08

背景

平时我们在逛贴吧、牛客网的时候,我们经常可以看到一些形如 “***”的符号,通过上下文,我们也可以很容易猜到这些词原来是骂人的话,只是被系统和谐了。那么这是如何实现的呢?作为普通人,我们最先想到的一种办法就是把所有敏感串存入一个列表中,然后用户每发一条内容后台就把该内容与敏感串列表的每一项进行匹配,然后把匹配的字符进行和谐。显然这样的效率是很低的。非常影响性能,那么我们有没有其他的算法呢?这就是我这篇博文打算介绍的。

原理讲解

1.首先建立个敏感词前缀树

根节点为空

2.准备好待处理字符串: 哈哈大王八子大猪蹄子哦 ,声明三个指针,分别指向前缀树的根节点以及待处理字符串的开始字符

3.position指向的字符与根节点的所有子节点进行匹配,不匹配,position 和 begin分别指向待处理字符串的下一个字符,tempNode依旧指向 根节点

4.依旧不匹配,position 和begin继续向前走一位,指向“”,treeNode依旧指向根节点


http://chatgpt.dhexx.cn/article/xsnqSVDX.shtml

相关文章

敏感词过滤算法DFA

敏感词过滤方案 1 使用数据库模糊查询,效率太低 2 使用String.indexOf("")查找,数据库量大的话也是比较慢 3 把敏感词和内容使用全文检索(solr,ElasticSearch)技术进行分词再匹配,也是可以的,但是…

java敏感词过滤算法

本文参考博客:https://blog.csdn.net/henshuia/article/details/111498753?utm_mediumdistribute.pc_relevant.none-task-blog-2defaultbaidujs_title~default-0.pc_relevant_default&spm1001.2101.3001.4242.1&utm_relevant_index3 再次感谢作者分享&…

敏感词过滤-DFA算法

目录 DFA算法简介 Java实现DFA算法实现敏感词过滤 测试方法 创建DFAMap 根据DFAMap进行检验 完整代码 与前缀树的类似与不同 类似 不同 复杂度 DFA算法简介 在实现文字过滤的算法中,DFA是唯一比较好的实现算法。DFA即Deterministic Finite Automaton&…

[转*摘要*总结]敏感词过滤的算法原理之DFA算法

问题背景 敏感词、文字过滤是一个网站必不可少的功能,过滤的关键是用户输入内容与敏感字库的匹配。 对于字符串匹配,一般的方法是字符串子串包含判断、正则表达式判断,但对于用户输入的大量内容,它们的效率是非常低的。Google和百…

敏感词过滤算法 为内容保驾护航 Java/.Net/C++/c/Python等语言是如何进行敏感词打码限制的 高效防范违规内容

有人的地方,就有江湖,有输入框的地方,就有注入风险!有输入框的地方,就有敏感词!敏感词就像一个平台杀手,可能直接导致平台被封锁! 敏感词是一个APP、一个网站、一个内容平台的“杀手…

MD5加密解密

md5加密 /*** 采用MD5加密解密** MD5加码 生成32位md5码*/public static String string2MD5(String inStr) {MessageDigest md5 null;try {md5 MessageDigest.getInstance("MD5");} catch (Exception e) {System.out.println(e.toString());e.printStackTrace();re…

一文读懂md5,md5有什么用,什么是md5加盐

md5是一种密码散列函数,在计算机安全领域得到广泛的应用。本文将带大家了解一些md5的知识点,什么是md5,md5有什么用,什么是md5加盐,为什么md5不可逆,为什么md5可能会被解密?帮助大家快速了解md5…

MD5摘要算法的几种解密方法,分享md5免费解密网站

在一个md5解密交流群看到有人讨论MD5算法解密,消息有上百条,但是具体怎么解密却没人讨论。所以,今天就这个话题浅谈一下MD5摘要算法的几种解密方法,以及分享使用MD5免费解密网站如何进行md5加密解密,大家可要轻点喷。 …

多因子选股策略(股票)

注:以下部分内容引用自《因子投资:方法与实践》一书 1. 原理 多因子策略是最广泛应用的策略之一。CAPM模型的提出为股票的收益提供了解释,但随着各种市场异象的出现,使得人们发现股票存在超额收益,这种收益不能为市场因子所解释,因此,出现了多因子模型。 多因子模型最…

MD5算法

写在前面: 本文章旨在总结备份、方便以后查询,由于是个人总结,如有不对,欢迎指正;另外,内容大部分来自网络、书籍、和各类手册,如若侵权请告知,马上删帖致歉。 目录 一、介绍二、算…

md5强比较弱比较

md5强比较,弱比较 强比较:使用三个 比较,比较值,也比较类型 弱比较:使用两个 比较,只比较值,不比较类型 ab 将a,b的值转换成同类型再比较值ab 先判断a,b类型&#…

MD5 几种方法的选择

转:http://zoroeye.iteye.com/blog/2026984?utm_sourcetuicool&utm_mediumreferral md5加密实现方法有很多种,也导致很难选择。大概分析下自己了解的一些用法。 1.sun官方 sun提供了MessageDigest和BASE64Encoder可以用指定算法加密。 例&…

MD5是什么?及其它的特点

比较官方的解释大家可以百度,这里我说一下自己的理解。 一.作用:一般用于互联网一种数据的唯一性标识。 二.实体:本身是一个128位的0/1比特。一般被表示为16进制的字符串。4个比特位组成一个16进制字符,因此常常能见到的是&#…

抓强势股MACD大牛启动通达信指标公式 无未来 不加密

快速抓黑马强势股 好股不错过 利润翻倍的好指标 本指标能帮您快速缩小选股范围,紧盯信号,结合主力资金和主力活跃度来综合判断个股买点机会,强势个股精选,结合指标信号能快速参与强势个股回踩操作机会,买点更…

MD5 加密

什么是MD5算法 MD5 信息摘要演算法(Message-Digest Algorithm),一种被广泛使用的密码杂凑函数,可以产生出一个128位元(16位元组)的散列值(hash value),用于确保信息传输…

MD5算法详解

0x00 前言 MD5是一种哈希算法,用来保证信息的完整性。 就一段信息对应一个哈希值,且不能通过哈希值推出这段信息,而且还需要保证不存在任意两段不相同的信息对应同一个哈希值。不过MD5算法算出来的值也就16个字节(16*8128&#x…

跟庄买股票得新技巧(2023.05.16)(绝密资料,只发一次)

昨天学了一个跟庄买卖股票的得新技能 统计昨天庄家异动的情况,按照行业分类(板块)板块对涨幅进行排序,涨幅排名分前三的是,龙头一,龙头二,龙头三买卖规则:看龙一,玩龙二…

股票策略 —— 指数择时 + 因子选股1

1、概述 我们希望建立一个择时策略 因子选股的复合策略,因为指数择时无法直接落地,而单纯的因子选股策略,回撤太大。本贴观察其效果。 2、策略规则 1、大盘指数择时,有持仓信号时,采用某量价因子筛选指数成份股&am…

md5加密算法

md5是什么? md5是一种信息摘要算法(message-digest algorithm 5 ),一种被广泛使用的密码散列函数,可以产生出一个128位(16字节)的散列值,用来确保信息传输完整一致性。 特点 不可逆 …

bat表白脚本(变色桃心+vbs问答)

今天520,女朋友在抖音上看人家一个html代码就可以实现非常炫酷的表白效果,真是外行看热闹,内行看笑话!!! 殊不知html代码是引用的本地.js等各种文件才能完成,对于非前端开发人员来说想写成很难。 本人分享两个非常简单的表白编辑代码(bat+vbs) 一、bat 效果(变色桃…