node实现敏感词过滤及敏感词库

article/2025/9/19 12:39:54

核心代码 

import * as fs from 'fs';
import * as path from 'path';
import * as readline from 'readline';export default class BadWords {private static _instance: BadWords;private data: Array<string> = [];constructor () {const files = fs.readdirSync(path.resolve(__dirname, './libs/'));files.forEach(file => {if (path.extname(file) === '.txt') {const rl = readline.createInterface({input: fs.createReadStream(path.resolve(__dirname, './libs/', file))});rl.on('line', line => {if (line) {if (line.substring(line.length - 1) === ',') {line = line.substring(0, line.length - 1);}this.data.push(line);}});}});}public static get instance () {if (!BadWords._instance) {BadWords._instance = new BadWords();}return BadWords._instance;}filter (content: string) {const tempImgs: Array<string> = [];let result = content;// 将图片部分放入临时数组中,以避免待会儿过滤词会匹配到图片内容result = result.replace(/!\[.+\]\(.+\)/g, val => {tempImgs.push(val);return '#IMG#';});// 匹配过滤词并用*替换this.data.forEach(keyword => {if (result.toUpperCase().includes(keyword.toUpperCase())) {const asterisks: Array<'*'> = [];for (let i = 0; i < keyword.length; i++) {asterisks.push('*');}result = result.replace(new RegExp(keyword, 'gi'), asterisks.join(''));}});// 恢复图片if (tempImgs.length) {result = result.replace(/#IMG#/g, () => <string>tempImgs.shift());}return result;}
}

在需要使用的地方引入

import BadWords from '../../common/badWords/index';
const badWords = BadWords.instance;badWords.filter(userName)

详细资源可点击下方链接下载

每个 `txt` 文件代表一个类型的敏感词词库,词库数据来源:  

https://github.com/fwwdn/sensitive-stop-words  

https://github.com/fighting41love/funNLP/tree/master/data/%E6%95%8F%E6%84%9F%E8%AF%8D%E5%BA%93


http://chatgpt.dhexx.cn/article/b95wS6gK.shtml

相关文章

百度内容审查做敏感词库筛选

最近在做项目的敏感词库筛选更新。笔者最终的目标是通过百度API将现有的敏感词库筛选更新成。 一、准备工作 读者需在百度智能云登陆账号&#xff0c;然后开通百度内容审核功能&#xff0c;然后根据API Key和Secret Key可以获得调用接口所需的access_token。 二、代码调用API…

敏感词过滤之——自定义构建查询词库与快速查询实现

关于敏感词过滤的一点思考与实践 业务场景思考与研究逻辑分析代码实现(php)构建敏感词树分割字符串敏感词树长分支的递归实现读取敏感词库 敏感词树的查询查询实现调用 测试、分析与总结 业务场景 最近在公司维护的小程序上&#xff0c;遇到一个需要用到敏感词过滤功能的业务模…

计算机网络网络协议与网络结构

协议三要素 语法syntax&#xff1a;数据与控制信息的结构与格式&#xff0c;信号与电平 语义semantics&#xff1a;发出何种信息&#xff0c;做出何种响应&#xff0c;差错控制 时序timing&#xff1a;事件顺序 网络边缘 客户/服务器应用模型client/server&#xff1a;如we…

互联网网络协议 网络三种连接方式描述

学习笔记 目录 网络三种连接方式描述 子网掩码 网络三种连接方式描述 桥接模式: 使用外部统一网段,虚拟机可以和外部系统通讯,但是容易照成IP冲突 NAT模式: 网络地址转换模式,虚拟系统可以和外部系统通讯,不造成IP冲突,外部地址不能访问内部虚拟系统应为虚拟系统是通过代理…

计算机网络 协议三要素

1. 语法&#xff1a;数据与控制信息的结构或特点 2.语义&#xff1a;需要发出何种控制信息&#xff0c;完成何种动作以及做出何种响应 3.同步&#xff1a;事件实现顺序的详细说明 例题&#xff1a;

网络协议 -- 最全的网络协议图

转载自&#xff1a;http://www.52im.net 图片较大&#xff0c;建议单击放大或者下载后查看

计算机术语mls指什么意思,了解计算机网络协议的原则与要素两者

计算机网络协议是有关计算机网络通信的一整套规则&#xff0c;或者说是为了进行数据交换而制订的规则、约定和标准。网络协议由语法、语义和时序三大要素组成。现在就跟着小编共同来学习一下&#xff1a;了解计算机网络协议的原则与要素两者。 想必不需要小编多说&#xff0c;大…

网络协议介绍

一、什么是协议 协议&#xff0c;就是大家共同遵守的一些约定&#xff0c;协议是一种约定&#xff0c;是指通信双方共同指定的一个标准约定 举两个例子&#xff1a; 例子1&#xff1a;一个宿舍的人来自五湖四海&#xff0c;开学来到宿舍后&#xff0c;如果大家都说自己家乡的…

计算机网络协议层次

计算机网络学习的核心内容就是网络协议的学习。网络协议是为计算机网络中进行数据交换而建立的规则、标准或者说是约定的集合。计算机网络协议同我们的语言一样&#xff0c;多种多样。 为了给网络协议的设计提供一个结构&#xff0c;网络设计者以分层的方式组织协议。 一个协…

网络协议是什么 网络协议三要素是什么

本文向大家详细介绍网络协议是什么以及网络协议三要素是什么的基础知识&#xff0c;不懂的朋友可以通过本文了解学习 网络协议是什么 网络协议的定义&#xff1a;为计算机网络中进行数据交换而建立的规则、标准或约定的集合。 一个网络协议至少包括三要素: 语法&#xff1a;用来…

常见网络协议

一、网络协议 二、TCP&#xff08;Transmission Control Protocol&#xff0c;传输控制协议&#xff09; TCP头格式 TCP协议中的三次握手和四次挥手 TCP报文抓取工具三、HTTP&#xff08;HyperText Transfer Protocol&#xff0c;超文本传输协议&#xff09; 请求报…

网络通信的三要素

一、要素一&#xff1a;IP地址 设备在网络中的地址&#xff0c;是唯一的标识。 IP地址&#xff1a; IP&#xff08;Internet Protocol&#xff09;&#xff1a;全称”互联网协议地址”&#xff0c;是分配给上网设备的唯一标志。 常见的IP分类为&#xff1a;IPv4和IPv6 I…

计算机中的网络协议包括哪些,网络协议三要素有什么关系

网络协议三要素有什么关系?为进行计算机网络中的数据交换而建立的规则、标准或约定的集合&#xff0c;协议总是指某一层的协议。准确地说&#xff0c;它是对同等层实体之间的通信制定的有关通信规则或约定的结合。佰佰安全网看看吧。 一个网络协议至少包括三要素: 语法&#x…

网络协议概述(一)

目录 一、协议三要素 二、常用的网络协议 2.1 由url确定目标ip地址&#xff08;DNS协议&#xff09; 2.2 打包需要发送的信息&#xff08;http/https协议&#xff09; 2.3 有应用层到传输层&#xff08;TCP协议保证应用层包一定送达&#xff09; 2.4 有传输层到达网络层&…

推荐:大视频免费压缩成指定大小的小视频的解决方法

给大家推荐一款好用的视频压缩软件MOO0视频压缩器&#xff0c;免费压缩&#xff0c;可选压缩画质&#xff0c;小巧便捷&#xff0c;这款软件不像某捷、某云这些软件&#xff0c;不花钱的话你是没办法压缩大文件的 云盘下载&#xff1a; 链接: https://pan.baidu.com/s/1ZUOi7…

如何下载网页中的小视频

想要下载页面中的视频&#xff0c;但是页面中却没有下载选项&#xff1f;教你一招 具体步骤&#xff1a; 一、打开开发者工具。 二、打开网络窗口。 三、刷新页面。 四、右键链接在新标签页中打开。 五、在右下角找到下载选项。 一、开发者工具是用于审查网页元素和查看网页源代…

视频观看小站

[在此处输入文章标题] 这种网站&#xff0c;永远不嫌多~ 视频小站&#xff0c;一次性满足所有观影需求&#xff01; 低端影视&#xff1a;https://ddrk.me/ 优点&#xff1a;1080P全高清均可观看&#xff0c;无广告&#xff0c;支持站内搜索&#xff0c;观影体验不错。 http:/…

如何压缩视频?教你几个简单的视频压缩方法

怎么将视频给压缩一下呢&#xff1f;通过压缩视频&#xff0c;可以减小视频的大小&#xff0c;从而减少需要存储的视频体积&#xff0c;节省存储空间。虽然视频压缩可能会降低视频的清晰度&#xff0c;但是如果压缩比例得当&#xff0c;仍然可以保持较好的视频观看质量&#xf…

爬取福利吧论坛所有的福利汇总文(视频标题链接、图片)

目录 items.py flhz.py pipelines.py 目标&#xff1a;爬取 福利吧论坛 里的 福利汇总 文&#xff0c;将所有 福利汇总 文里的热门视频标题、链接以json格式保存&#xff0c;所有 福利汇总 文里面的图片按目录&#xff08;目录名为当前图片所在页url中的7位数字&#xff0…