先验与后验

在阅读这篇Paper之前，我们首先需要明确什么是先验和后验。先验是指根据以往经验和分析，而后验是指基于新的数据，对原来的先验修正。
通俗而言，
先验知识：这些柿子红了，肯定已经熟了
后验知识：我刚刚吃了柿子，已经熟透了

目前的放射学报告生成的局限性

目前的大多数的放射学报告都采用encoder-decoder结构，比如CNN-HRNN等，CNN从整个图像中提取图像特征，然后由HRNN生成报告。
这样的是直接将image-caption方法引入到了放射学报告生成这一领域，未免太粗暴了一些，会产生以下两个问题：

• Visual data deviation:数据集中正常图像是多数，而异常是少数，其次，正常图像的外观大大优于异常图像，会分散模型的注意力，使其无法准确捕捉罕见且多样的异常区域特征
• Textual data deviation: 一份放射学报告，医生倾向于在衣服图像中描述所有的项目，使得对正常区域的描述占了主导，这样就会导致文本分布的极不平衡，使用这样的数据集进行训练就会导致模型无法定位关键异常，例如HRNN就只能生成一些重复的正常句，并不能描述异常。在放射学报告中，产生异常的正确性应比其他正常情况更受重视，而在自然图像段落中，每句话都具有同等的重要性。

这里解释HRNN的原理，HRNN——分层循环神经网络，可以用来生成长且语义连贯的段落来描述输入图像，HRNN用两级RNN，一个段落RNN，一个句子RNN，段落RNN生成主题向量，句子RNN对每一个主题向量生成句子描述图像

Paper的贡献

• 为了缓解数据偏差问题，本文提出了后验和先验知识探索和提取方法，包括后验和先验知识探索器(PoKE和PrKE)和多领域知识提取器(MKD)。
• PoKE使用疾病的词袋探索后验知识，捕捉罕见、多样和重要的异常区域;PrKE从以前的工作经验和以前的医学知识中探索以前的知识;MKD将提取的知识提取出来生成报告。
• 通过对IU-Xray和MIMIC-CXR公开数据集的实验和分析，验证了该方法的有效性，在这两个数据集上，该方法的性能优于目前最先进的模型。

模型详解

模型输入

• PPKED需要的输入：Image Embedding、Word Embedding（包含大部分常见的abnormalities和findings）、先验工作经验、先验医学知识，一共四部分
• Image Embedding：利用ResNet152 提取2048个 7*7的特征图，然后把它们映射到512维上
• Word Embedding: 实验中，选择了20个最常见的异常主题，例如心脏肿大、脊柱侧凸、骨折等等。
• 先验的工作经验：从ResNet-152的最后一个平均池化层提取image embedding，这个image embedding是针对所有图像的; 然后对于给定一张图片。在语料库中找与输入图像余弦相似度最高的100张图片，将这样检索到的100张图片的报告用BERT和一个最大池化连接层进行编码，以此得到工作经验
• 先验医学知识：构建一张医学图。词袋中的主题被设置为节点，根据它们相关的器官和身体部分进行分组；对于分在一起的主题用边连接起来，用图卷积神经网络提取先验医学知识（一组节点）When radiology report generation meets knowledge graph.

模型主要部分

• PoKE: 从输入的图像中提取后验知识，对图像进行编码，然后根据余弦相似度过滤掉不想关的主题，因为词袋中包含的是异常的主题，所以这样就可以找到异常区域，还可以将参与的异常区域和相关主题进行对齐，模拟放射科医生在检查异常区域时将疾病主题分配给异常区域的工作模式，对齐后直接相加经过LayerNorm就得到了图像的后验知识，这些后验知识被称为放射科医生检查异常区域的第一印象
• PrKE: 由先前工作经验和先前医学知识组成，分别用Wpr和Gpr来表示，通过这两个部分来处理PoKE中的后验知识，就可以获得输入图像异常区域的先验知识
• MKD: 获得先验与后验知识后，MKD作为解码器来生成最终的放射学报告；MKD将词嵌入和位置嵌入和作为输入