OHEM算法提出于论文 Training Region-based Object Detectors with Online Hard Example Mining，链接：https://arxiv.org/abs/1604.03540。在hard example（损失较大的样本）反向传播时，可以减少运算量。

OHEM主要思想是，根据输入样本的损失进行筛选，筛选出hard example，表示对分类和检测影响较大的样本，然后将筛选得到的这些样本应用在随机梯度下降中训练。在实际操作中是将原来的一个ROI Network扩充为两个ROI Network，这两个ROI Network共享参数。其中前面一个ROI Network只有前向操作，主要用于计算损失；后面一个ROI Network包括前向和后向操作，以hard example作为输入，计算损失并回传梯度。这种算法的优点在于，对于数据的类别不平衡问题不需要采用设置正负样本比例的方式来解决，且随着数据集的增大，算法的提升更加明显。

在论文中作者主要是将OHEM算法用在Fast RCNN结构中。Fast RCNN的结构图如下，主要包含两个部分：

1、卷积网络。主要由多个卷积层和max pooling层组成；

2、ROI pooling网络。主要包括ROI pooling层，一些全连接层和两个损失层。

hard example是根据每个ROI的损失来选择的，选择损失最大的一些ROI。但是这里有一个问题：重合率比较大的ROI之间的损失也比较相似。因此这里作者采用NMS（non-maximum suppresison）去除重合率较大的ROI，这里作者给的阈值是当IOU大于0.7就认为重合率较高，需去除。 
那么具体要怎么把OHEM放在Fast RCNN网络结构中呢？可能首先会想到的做法是修改损失层，将没选择的ROI的loss设置为0。但是这种做法并不高效，因为即便很多ROI的loss都是0，也就是不需要更新梯度，但是这样仍需要给每个ROI都分配存储空间，并且每个ROI都需要后向传播。
因此就有了作者将OHEM应用在Fast RCNN的网络结构，如下图。这里包含两个ROI network，上面一个ROI network是只读的，为所有的ROI在前向传递的时候分配空间。下面一个ROI network则同时为前向和后向分配空间。 
首先，ROI经过ROI plooling层生成feature map，然后进入只读的ROI network得到所有ROI的loss；然后是hard ROI sampler结构根据损失排序选出hard example，并把这些hard example作为下面那个ROI network的输入。