方案一:使用String类的contains()
contains()方法用于判断字符串中是否包含指定的字符或字符串。
public static void main(String[] args) {String a = "敏感词";String b = "我的敏感词";System.out.println(b.contains(a));if (b.contains(a)) {System.out.println("有敏感词");}}
方案二:使用String类的indexOf()
indexOf()方法不仅能判断字符串中是否能包含某个字符,还可以返回对应的下标,而且能找出所有相同字符对应的下标。
public static void main(String[] args) {String a = "敏感词";String b = "我的敏感词";System.out.println(b.indexOf(a));if (b.indexOf(a) > 0) {System.out.println("有敏感词");}}
注意:这两个方案有一个很大的问题是,随着敏感词数量的增多,敏感词检测的时间会呈线性增长。项目的敏感词数量只有几十个,使用这种方案不会存在太大的性能问题。但是如果项目中有成千上万个敏感词,使用这种方案就会很耗CPU了。
方案三:DAF有穷自动机算法算法
DFA的算法,即Deterministic Finite Automaton算法,翻译成中文就是确定有穷自动机算法。它的基本思想是基于状态转移来检索敏感词,只需要扫描一次待检测文本,就能对所有敏感词进行检测,所以效率比方案一高不少。
具体实现代码:
controller类
@ApiOperation(value = "是否为敏感词", notes = "是否为敏感词")@ApiImplicitParams({@ApiImplicitParam(name = "token", value = "token令牌", required = false, paramType = "header"),})@ControllerLogger@UnAuthentication@PostMapping(value = "/isSensitive")public JsonResult isSensitive(@ApiParam(name = "words", value = "字符串", required = true) @RequestParam String words,@ApiParam(name = "type", value = "1商品拍品2昵称3店铺名", required = true) @RequestParam Integer type) {JsonResult jsonResult = new JsonResult();HashSet<String> set = new HashSet<>();//这里我的敏感词存在数据库 大家结合自己的业务需求改动 可以存在txt文件中或者excelQueryFilter filter = new QueryFilter(DsSensitiveWords.class);filter.addFilter("type=", type);List<DsSensitiveWords> list = dsSensitiveWordsService.find(filter);for (DsSensitiveWords dsSensitiveWords : list) {//从数据库中取出敏感词 且用set去重set.add(dsSensitiveWords.getWords());}return jsonResult.setSuccess(true).setObj(SensitiveFilterUtil.checkTxt(words, set));}
SensitiveFilterUtil类
/*** 敏感词过滤工具类** @author yunshang*/import java.util.HashMap;
import java.util.HashSet;
import java.util.Map;
import java.util.Set;@SuppressWarnings({"unchecked", "rawtypes"})
public class SensitiveFilterUtil {/*** 敏感词集合*/public static HashMap sensitiveWordMap;/*** 初始化敏感词库,构建DFA算法模型*/public static void initContext(HashSet<String> set) {initSensitiveWordMap(set);}/*** 初始化敏感词库,构建DFA算法模型** @param sensitiveWordSet 敏感词库*/private static void initSensitiveWordMap(Set<String> sensitiveWordSet) {//初始化敏感词容器,减少扩容操作sensitiveWordMap = new HashMap<String, String>(sensitiveWordSet.size());Map<Object, Object> temp;Map<Object, Object> newWorMap;//遍历sensitiveWordSetfor (String key : sensitiveWordSet) {temp = sensitiveWordMap;for (int i = 0; i < key.length(); i++) {//转换成char型char keyChar = key.charAt(i);//库中获取关键字Object wordMap = temp.get(keyChar);//如果存在该key,直接赋值,用于下一个循环获取if (wordMap != null) {temp = (Map) wordMap;} else {//不存在则,则构建一个map,同时将isEnd设置为0,因为他不是最后一个newWorMap = new HashMap<>();//不是最后一个newWorMap.put("isEnd", "0");temp.put(keyChar, newWorMap);temp = newWorMap;}//最后一个if (i == key.length() - 1) temp.put("isEnd", "1");}}}/*** 判断文字是否包含敏感字符* <p>* 文本* <p>* 若包含返回true,否则返回false*/public static boolean contains(String txt) {boolean flag = false;for (int i = 0; i < txt.length(); i++) {int matchFlag = checkSensitiveWord(txt, i); //判断是否包含敏感字符if (matchFlag > 0) {//大于0存在,返回trueflag = true;}}return flag;}/*** 检查文字中是否包含敏感字符,检查规则如下:** @param txt* @param beginIndex* @return 如果存在, 则返回敏感词字符的长度, 不存在返回0*/private static int checkSensitiveWord(String txt, int beginIndex) {//敏感词结束标识位:用于敏感词只有1位的情况boolean flag = false;//匹配标识数默认为0int matchFlag = 0;char word;Map nowMap = sensitiveWordMap;for (int i = beginIndex; i < txt.length(); i++) {word = txt.charAt(i);//获取指定keynowMap = (Map) nowMap.get(word);if (nowMap != null) {//存在,则判断是否为最后一个//找到相应key,匹配标识+1matchFlag++;//如果为最后一个匹配规则,结束循环,返回匹配标识数if ("1".equals(nowMap.get("isEnd"))) {//结束标志位为trueflag = true;}} else {//不存在,直接返回break;}}if (matchFlag < 2 || !flag) {//长度必须大于等于1,为词matchFlag = 0;}return matchFlag;}/*** 获取文字中的敏感词* <p>* txt文字*/public static HashSet getSensitiveWord(String txt) {HashSet hashSet = new HashSet();for (int i = 0; i < txt.length(); i++) {//判断是否包含敏感字符int length = checkSensitiveWord(txt, i);if (length > 0) {//存在,加入list中hashSet.add(txt.substring(i, i + length));i = i + length - 1;//减1的原因,是因为for会自增}}return hashSet;}/*** context是要校验的内容。返回结果是list,为空说明没有敏感词** @param context* @return*/public static HashSet checkTxt(String context, HashSet<String> set) {initContext(set);//包含敏感词返回所有敏感词数据return getSensitiveWord(context);}
}
结果