一、入侵检测概述

1.1 入侵检测概念

入侵应与受害目标相关联，该受害目标可以是一个大的系统或单个对象

判断与目标相关的操作是否为入侵的依据：对目标的操作是否超出了目标的安全策略范围

入侵：指违背访问目标的安全策略的行为

入侵检测：通过收集操作系统、系统程序、应用程序、网络包等信息，发现系统中违背安全策略或危及系统安全的行为

入侵检测系统（IDS）：具有入侵检测功能的系统

1.2 入侵检测模型

早期的入侵检测模型主要根据主机系统的审计记录数据，生成有关系统的若干轮廓，并监测轮廓的变化差异，发现系统的入侵行为

入侵检测模型如下

随着入侵行为的种类不断增多，许多攻击是经过长时间准备的。面对这种情况，入侵检测系统的不同功能组件之间，不同IDS之间共享这类攻击信息是十分重要的

于是，一种通用的入侵检测框架模型（CIDF）被提出：该模型认为入侵检测系统由事件产生器、事件分析器、响应单元和事件数据库组成，CIDF各组件之间关系如下

事件：CIDF将入侵检测系统需要分析的数据统称为事件，可以是网络中的数据包，也可以是从系统日志等其他途径得到的信息

事件产生器：从整个计算环境中获得事件，并向系统的其他部分提供事件
事件分析器：分析所得到的数据，并产生分析结果
响应单元：对分析结果做出反应，如切断网络连接、改变文件属性、简单报警等应急响应
事件数据库：存放各种中间和最终数据，数据存放的形式既可以是复杂的数据库，也可以是简单的文本文件

1.3 入侵检测作用

入侵检测系统在网络安全保障过程中扮演类似“预警机”或“安全巡逻人员”的角色

入侵检测系统的直接目的：不是阻止入侵事件的发生，而是通过检测技术来发现系统中企图或已经
违背安全策略的行为

作用表现

发现受保护系统中的入侵行为或异常行为
检验安全保护措施的有效性
分析受保护系统所面临的威胁
有利于阻止安全事件扩大，及时报警触发网络安全应急响应
可以为网络安全策略的制定提供重要指导
报警信息可用作网络犯罪取证。

除此之外，入侵检测技术还常用于网络安全态势感知，以获取网络信息系统的安全状况

网络安全态势感知平台通常汇聚入侵检测系统的报警数据，特别是分布在不同安全区域的报警，然后对其采取数据关联分析、时间序列分析等综合技术手段，给出网络安全状况判断及攻击发展演变趋势

二、入侵检测技术

2.1 基于误用的入侵检测技术

又称基于特征的入侵检测方法：是指根据已知的入侵模式检测入侵行为。攻击者利用系统和应用软件中的漏洞技术进行攻击，而这些基于漏洞的攻击方法具有某种特征模式。如果入侵者的攻击方法恰好匹配上检测系统中的特征模式，则入侵行为立即被检测到

显然，误用入侵检测依赖于攻击模式库。因此，这种采用误用入侵检测技术的IDS产品的检测能力
就取决于攻击模式库的大小以及攻击方法的覆盖面

误用入侵检测的前提条件：入侵行为能够按某种方式进行特征编码

入侵检测过程：实际上就是模式匹配的过程，根据入侵特征描述的方式或构造技术

误用检测方法细分

基于条件概率的误用检测方法：将入侵方式对应一个事件序列，然后观测事件发生序列，应用贝叶斯定理进行推理，推测入侵行为
基于状态迁移的误用检测方法：利用状态图表示攻击特征，不同状态刻画了系统某一时刻的特征，初始状态：对应入侵开始前的系统状态，危害状态：对应已成功入侵时刻的系统状态。初始状态和危害状态之间的迁移可能有一个或多个中间状态。攻击者的操作将导致状态发生迁移，使系统从初始状态迁移到危害状态。通过检查系统的状态变化发现系统中的入侵行为，常用该方法的IDS有 STAT、USTAT
基于键盘监控的误用检测方法：假设入侵行为对应特定的击键序列模式，然后监测用户的击键模式，并将这一模式与入侵模式匹配，从而发现入侵行为。缺点：①在没有操作系统支持的情况下，难以捕获用户击键的可靠方法，②存在多种击键方式表示同一种攻击，③如果没有击键语义分析，用户提供别名很容易欺骗这种检测技术，④该方法不能检测恶意程序的自动攻击
基于规则的误用检测方法：将攻击行为或入侵模式表示成一种规则，只要符合规则就认定它是一种入侵行为。优点：是检测起来比较简单。缺点：检测受到规则库限制，无法发现新的攻击，并且容易受干扰。Snort是典型应用实例

2.2 基于异常的入侵检测技术

是指通过计算机或网络资源统计分析，建立系统正常行为的“轨迹”，定义一组系统正常情况的数值，然后将系统运行时的数值与所定义的“正常”情况相比较，得出是否有被攻击的迹象

异常检测的前提：是异常行为包括入侵行为

理想情况下：异常行为集合等同于入侵行为集合，此时，如果IDS能够检测到所有的异常行为，则表明能够检测到所有的入侵行为

现实情况中：入侵行为集合通常不等同于异常行为集合

具体的行为有4种状况:

行为是入侵行为但不表现异常
行为不是入侵行为但表现异常
行为既不是入侵行为也不表现异常
行为是入侵行为且表现异常

异常检测方法的基本思路：是构造异常行为集合，从中发现入侵行为

异常检测依赖于异常模型的建立，不同模型构成不同的检测方法

异常模型检测方法

1. 基于统计的异常检测方法

利用数学统计理论技术，通过构建用户或系统正常行为的特征轮廓

典型的系统主体特征：系统的登录与注销时间、资源被占用的时间以及处理机、内存和外设的使用情况等。对收集到的数据进行统计处理，并与描述主体正常行为的统计性特征轮廓进行比较，然后根据二者的偏差是否超过指定的门限来进一步判断处理

2. 基于模式预测的异常检测方法

前提条件：时间序列不是随机发生的而是服从某种可辨别的模式

特点：考虑时间序列之间的相互联系。是一种基于时间的推理方法，利用时间规则识别用户正常行为模式的特征。通过归纳学习产生这些规则集，并能动态的修改系统中的这些规则，使之具有较高的预测性、准确性和可信度。如果规则大部分时间是正确的，并能够成功的用于预测所观察到的数据，那么规则就具有较高的可信度

优点:

能较好地处理变化多样的用户行为，并具有很强的时序模式
能够集中考察少数几个相关的安全事件，而不是关注可疑的整个登录会话过程
容易发现针对检测系统的攻击

3. 基于文本分类的异常检测方法

基本原理：是将程序的系统调用视为某个文档中的“字”，而进行运行所产生的系统调用集合就产生一个“文档”。对于每个进程所产生的的“文档”，利用K-最近邻聚类文本分类算法，分析文档的相似性，发现异常的系统调用，从而检测入侵行为

4. 基于贝叶斯推理的异常检测方法

是指在任意给定的时刻，测量 $A_{1}$ , $A_{2}$ , ..., $A_{n}$ 变量值，推理判断系统是否发生入侵行为。其中，每个变量 $A_{i}$ 表示系统某一方面的特征

5. 其他检测方法

基于规范的检测方法：介于误用检测和异常检测之间，优点：不仅能发现已知攻击，也能发现未知攻击
基于生物免疫的检测方法：关键技术在于构造系统“自我”标志以及标志演变方法
基于攻击诱骗的检测方法：指将虚假的系统或漏洞信息提供给入侵者
基于入侵报警的关联检测方法：通过对原始的 IDS 报警事件的分类及相关性分析来发现、攻击行为
基于沙箱动态分析的检测方法：通过构建程序运行的受控安全环境，形成程序运行安全沙箱
基于大数据分析的检测方法：通过汇聚系统日志、IDS报警日志、防火墙日志、DNS日志、网络威胁情报、全网流量等多种数据资源，形成网络安全大数据资源池

三、入侵检测系统组成与分类

3.1 入侵检测系统功能模块组成

数据采集模块功能：是为入侵分析引擎模块提供分析用的数据，包括操作系统的审计日志、应用程序的运行日志和网络数据包等
入侵分析引擎模块功能：是依据辅助模块提供的信息( 如攻击模式)，根据一定的算法对收集到的数据进行分析，从中判断是否有入侵行为出现，并产生入侵报警。该模块是入侵检测系统的核心模块
管理配置模块功能：是为其他模块提供配置服务，是IDS系统中的模块与用户的接口
应急处理模块功能：是发生入侵后，提供紧急响应服务，例如关闭网络服务、中断网络连接、启动备份系统等
辅助模块的功能：是协助入侵分析引擎模块工作，为它提供相应的信息，例如攻击特征库、漏洞信息等

通用入侵检测系统图

根据IDS的检测数据来源和它的安全作用范围，可将IDS分成三大类:

基于主机的入侵检测系统(HIDS)：通过分析主机的信息来检测入侵行为
基于网络的入侵检测系统(NIDS)：扫描网络通信数据包，即通过获取网络通信中的数据包，对这些数据包进行攻击特征扫描或异常建模来发现入侵行为
分布式入侵检测系统(DIDS)：从多台主机、多个网段采集检测数据，或者收集单个 IDS 的报警信息，根据收集到的信息进行综合分析，以发现入侵行为

3.2 基于主机的入侵检测系统（HIDS）

通过收集主机系统的日志文件、系统调用以及应用程序的使用、系统资源、网络通信和用户使用等信息，分析这些信息是否包含攻击特征或异常情况，并依次来判断该主机是否收到入侵。CPU利用率、内存利用率、磁盘空间大小、网络端口使用情况、注册表、文件的完整性、进程信息、系统调用等常作为识别入侵事件的依据

HIDS一般适合检测以下入侵行为:

HIDS适合检测的入侵行为
针对主机的端口或漏洞扫描重复失败的登入尝试远程口令破解主机系统的用户账号添加服务启动或停止系统重启动	文件的完整性或许可权变化注册表修改重要系统启动文件变更程序的异常调用拒绝服务攻击

HIDS中的软件

SWATCH：用于实时监视日志的PERL程序
Tripwire：一个文件和目录完整性检测工具软件包，用于协助管理员和用户监测特定文件的变化
网页防篡改系统：基本作用是防止网页文件被入侵者非法修改，即在页面文件被篡改后，能够及时发现、产报警、通知管理员、自动恢复

HIDS优点

可以检测基于网络的入侵检测系统不能检测的攻击
基于主机的入侵检测系统可以运行在应用加密系统的网络上，只要加密信息在到达被监控的主机时或到达前解密
基于主机的入侵检测系统可以运行在交换网络中

HIDS缺点

必须在每个被监控的主机上都安装和维护信息收集模块
由于HIDS的一部分安装在被攻击的主机上，HIDS可能受到攻击并被攻击者破坏
HIDS占用受保护的主机系统的系统资源，降低了主机系统的性能
不能有效地检测针对网络中所有主机的网络扫描
不能有效地检测和处理拒绝服务攻击
只能使用它所监控的主机的计算资源

3.3 基于网络的入侵检测系统（NIDS）

通过侦听网络系统，捕获网络数据包，并依据网络包是否包含攻击特征，或者网络通信流是否异常来识别入侵行为

NIDS通常由一组用途单一的计算机组成，其构成分为两部分

探测器：分布在网络中的不同区域，通过侦听方式获取网络包，探测器将检测到攻击行为形成报警事件，向管理控制器发送报警信息，报告发生入侵行为
管理控制器：可监控不同网络区域的探测器，接收来自探测器的报警信息

NIDS能够检测以下入侵行为:

同步风暴(SYN Flood)
分布式拒绝服务攻击(DDoS)
网络扫描
缓冲区溢出
协议攻击
流量异常
非法网络访问

NIDS优点：

适当的配置可以监控一个大型网络的安全状况
基于网络的入侵检测系统的安装对已有网络影响很小，通常属于被动型的设备，它们只监听网络而不干扰网络的正常运作
基于网络的入侵检测系统可以很好地避免攻击，对于攻击者甚至是不可见的

NIDS缺点:

在高速网络中，NIDS很难处理所有的网络包，因此有可能出现漏检现象
交换机可以将网络分为许多小单元VLAN，而多数交换机不提供统一的监测端口，这就减少了基于网络的入侵检测系统的监测范围
如果网络流量被加密，NIDS中的探测器无法对数据包中的协议进行有效的分析
NIDS仅依靠网络流量无法推知命令的执行结果，从而无法判断攻击是否成功

3.4 分布式入侵检测系统（DIDS）

网络系统结构的复杂化和大型化，带来许多新的入侵检测问题

系统的漏洞分散在网络中的各个主机上，这些弱点有可能被攻击者一起用来攻击网络，仅依靠基于主机或网络的IDS不会发现入侵行为
入侵行为不再是单一的行为，而是相互协作的入侵行为
入侵检测所依靠的数据来源分散化，收集原始的检测数据变得困难。如交换型网络使监听网络数据包受到限制
网络传输速度加快，网络的流量增大，集中处理原始数据的方式往往造成检测瓶颈，从而导致漏检

面对这些新的入侵检测问题，分布式入侵检测系统应运而生，它可以跨越多个子网检测攻击行为，特别是大型网络

DIDS分类

基于主机检测的分布式入侵检测系统（HDIDS): 其结构分成两个部分：主机探测器和入侵管理控制器。主机探测器多以安全代理的形式直接安装在每个被保护的主机系统上，并通过网络中的系统管理控制台进行远程控制
基于网络的分布式入侵检测系统（NDIDS): 其结构分成两个部分：网络探测器和管理控制器。网络探测器部署在重要的区域，用于收集网络通信数据和业务数据并进行分析和报警。NDIDS一般适用于大规模网络或者是地理区域分散的网络，采用这种结构有利于实现网络的分布式安全管理

四、入侵检测系统主要产品与技术指标

4.1 入侵检测相关产品

1. 主机入侵检测系统

产品技术原理：根据主机活动信息及重要文件，采用特征匹配、系统文件监测、安全规则符合检查、文件数字指纹、大数据分析等综合技术方法发现入侵行为

典型产品形态：有终端安全产品，如北信源主机监控审计系统、360 安全卫士等

2. 网络入侵检测系统

产品技术原理：根据网络流量数据进行分析，利用特征检测、协议异常检测等技术方法发现入侵行

3. 统一威胁管理（UTM）

通常会集成入侵检测系统相关的功能模块。UTM是由硬件、软件和网络技术组成的具有专门用途的设备，该设备主要提供一项或多项安全功能，同时将多种安全特性集成于一个硬件设备里，形成标准的统一威胁管理平台，是针对网络及应用系统的安全威胁进行综合防御的网管型设备或系统

通常部署在内部网络和外部网络的边界，对流出和进入内部网络的数据进行保护和控制

部署方式：包括透明网桥、路由转发和NAT网关

4. 高级持续威胁检测（APT）

是复杂性攻击技术，通常将恶意代码嵌入word、excel、ppt、pdf文档或电子邮件中，以实现更隐蔽的网络攻击，以逃避普通的网络安全检查

高级待续威胁检测系统是入侵检测技术产品的特殊形态，其产品技术原理基于静态／动态分析检测可疑恶意电子文件及关联分析网络安全大数据以发现高级持续威胁活动

5. 其他

根据入侵检测应用对象，常见的产品类型

Web IDS：利用Web网络通信流量或Web访问日志等信息，检测常见的Web攻击
数据库IDS：利用数据库网络通信流量或数据库访问日志等信息，对常见的数据库攻击行为进行检测
工控IDS：通过获取工控设备、工控协议相关信息，根据工控漏洞攻击检测规则、异常报文特征和工控协议安全策略，检测工控系统的攻击行为

4.2 入侵检测相关指标

可靠性：由于入侵检测系统需要不间断地监测受保护系统，因此，要求入侵检测系统具有容错能力，可以连续运行
可用性：入侵检测系统运行开销要尽量小，特别是基于主机的入侵检测系统，入侵检测系统不能影响到主机和网络系统的性能
可扩展性：该指标主要评价入侵检测系统是否易于配置修改和安装部署的能力，以适应新的攻击技术方法不断出现和系统环境的变迁需求
时效性：要求入侵检测系统必须尽快地分析报警数据，并将分析结果传送到报警控制台，以使系统安全管理者能够在入侵攻击尚未造成更大危害以前做出反应，阻止攻击者破坏审计系统甚至入侵检测系统的企图
准确性：指入侵检测系统能正确地检测出系统入侵活动的能力。当一个入侵检测系统的检测不准确时，它就可能把系统中的合法活动当作入侵行为，或者把入侵行为作为正常行为，这时就出现误报警和漏报警现象，实用的入侵检测系统应具有低的误警率和漏警率
安全性：与其他系统一样，入侵检测系统本身也往往存在安全漏洞。若对入侵检测系统攻击成功，则直接导致报警失灵，使攻击者的攻击行为无法被记录。因此，入侵检测系统的安全性要求具有保护自身的安全功能，能够抗攻击干扰

五、入侵检测系统应用

5.1 入侵检测应用场景类型

上网保护：通过采集域名请求数据及网络威胁情报，利用入侵检测系统检测不良网址，保护上网计算机安全，防止互联网黑客直接攻击内部网络，切断不良信息访问
网站入侵检测与保护：通过入侵检测技术对Web服务器的所有请求或Web访问日志进行检测，发现网站安全威胁
网络攻击阻断：在受保护的区域边界处部署入侵检测系统，对受保护设备的网络通信进行安全检测，阻断具有攻击特征的操作，防止攻击行为
主机/终端恶意代码检测：在主机/终端设备上安装入侵检测系统或功能模块，检测主机服务器、终端设备的攻击行为，防止主机或终端设备受到侵害
网络安全监测预警与应急处置：利用检测系统监测网络信息系统中的异常行为，及时发现入侵事件，追踪恶意攻击源，防止网络安全事件影响扩大
网络安全等级保护：如在关键网络节点处监视网络攻击行为；检测虚拟机与宿主机、虚拟机与虚拟机之间的异常流量；检测针对无线接入设备的网络扫描、DDoS攻击、密钥破解、中间人攻击和欺骗攻击