1. 场景

  在问答系统中用户问题可能存在违规情况，包含涉政、色情、辱骂文字的文本视为违规文本。本文提出一种违规文本检测方案， 本方案仅限于判断文本是否包含违规内容，属于文本分类问题。

2. 方案

  方案流程图如下所示。违规词和疑似违规词由人工收集，文本中匹配到违规词则识别为违规文本，例如“煞笔”。文本匹配到疑似违规词或者fasttext模型判断为违规文本则进一步由RoBERTa模型判断。

3. 数据增强

  为了防止被系统屏蔽，用户通常会魔改违规用语，常用的魔改方式有：

1. 插入无关字符。例如“强#,奸”；
2. 拆字。例如”弓虽女干“；
3. 同音替换。例如“卧槽”；
4. 拼音替代。例如“wo cao”。

  模拟上述四种情况完成数据增强。

4. 代码

  本方案完整代码https://github.com/wjx-git/IllegalTextDetection