为了说明本文所提出基于深度学习的SIR模型方法的性能，我们比较了闭集合(Close-set Dataset)数据和开集合(Open-set Dataset)数据两种情景下的已确诊Covid19病例的数量的预测值。模型的闭集合数据内拟合是模型估计潜在参数的有效性的重要指标，而开集合数据预测结果则对于政策制定者来说具有重要参考价值。为了使模型具有可比性，我们应用了均方预测误差（MSFE）以及均值绝对百分比误差（MAPE）。均方预测误差（MSFE）以及均值绝对百分比误差（MAPE）的细节可参见4.2.4 模型评估标准内容。
我们报告MAPE百分比误差是为了允许各国之间进行交叉比较，但要特别注意MSFE和MAFE中的绝对数字。由于确诊病例的绝对水平包含决策者的重要信息，而当感染数非常低时，预测错误的重要性降低，而对于大量感染，更高的准确性是流行病学预测模型的理想属性。主要结果会在图4.9和图4.10中给出。我们报告了神经SIR的指标以及动态SIR产生的预测。我们进一步给出了单变量LSTM的结果，该结果仅在确诊病例Robs上进行训练。如果未特别指定，则网络架构与Neural SIR设置中的相同。我们还包括一个多元LSTM指标，它是对耦合多元LSTM的预测，而没有将其模型预测与SIR模型结合在一起。
除了比较了闭集合(Close-set Dataset)数据和开集合(Open-set Dataset)数据两种情景下的已确诊新型冠状肺炎病例的全球数据的预测值，本文还在小范围数据样本中进行了实验。本文所做研究在校园流动人口的数据上进行了实验，并且使用同样的评估指标对训练模型进行了评估。
基于COVID-19全球开放数据的实验结果
闭集合数据(Close-set Dataset)样本结果分析
本文对模型的预测进行了闭集合数据(Close-set Dataset)数据样本结果分析。
图LSTM-DSIR方法在均方预测误差（MSFE）指标方面均优于所有其他模型
FigThe LSTM-DSIR method is superior to all other models in terms of mean square prediction error ((MSFE)) indicators.
图中柱状图显示，就所有国家/地区而言，LSTM-DSIR方法在均方预测误差（MSFE）和平均绝对百分比误差（MAFE）指标方面均优于所有其他模型。其中，在某些国家数据的预测中，虽然动态SIR(Dynamix SIR)模型具有良好的预测准确性，但是其评估指标的表现仍低于神经SIR。同样地，神经SIR（Neural SIR）方法在不同国家数据的模型实验中也显示了相似的结果。由于LSTM方法本身在准确性方面的表现较弱，这更表明了将LSTM方法与SIR模型的动态特性相结合可以显著地提高网络的准确性并增强模型的预测性能。
图LSTM-DSIR方法在平均绝对百分比误差（MAFE）指标方面均优于所有其他模型
FigThe LSTM-DSIR method outperforms all other models in terms of the average absolute percentage error (MAFE) indicator.
图中柱状图展示了平均绝对百分比误差（MAFE）结果，其表明在印度的病毒发展预测值中的LSTM-DSIR的性能表现是最好的，值得注意的是，印度的报告病例与总人口相比非常低，这种报告的不准确也在很大程度上会影响模型的预测结果。从图中可以看出，动态SIR（Dynamic SIR）方法的性能要优于LSTM方法，LSTM方法在感染不足时预测性能就会下降。
我们从图中柱状图可以看到，SIR模型是遵循传染病动力学的指数发展趋势的，同样，LSTM网络的预测值也显示出了这种趋势。神经SIR（Neural SIR）方法更加灵活，它可以呈现出最接近地近似观察到的预测。图展示的菲律宾新冠疫情发展趋势的预测结果显示了相似的模式，尽管动态SIR（Dynamic SIR）框架在早期样本中是更好的预测指标，但是当绝对感染数进一步提高时，其性能会有下降的趋势。
图使用世界各国数据训练的各个预测方法的模型预测值的平均绝对百分比误差(MAPE)
FigThe average absolute percentage error (MAPE) of the model prediction values of each prediction method trained using data from countries around the world in the experiment.
以上是我们通过闭集合数据(Close-set Dataset)样本进行的实验并分析结果，通过实验结果我们可以得出如下结论：
动态SIR（Dynamic SIR）方法和神经SIR（Neural SIR）方法的性能指标均凸显了使用差分方程对新冠病毒传播模型进行建模的缺点。当相对于人群的、可观察到的感染数量增加时，其模型将预测出非常大量的、不可观察到的感染病例，这对预测准确性产生了明显的负面影响。由于LSTM-DSIR包含了微分方程的信息，但其没有明确地受到微分方程的约束，因此本文所提出的LSTM-DSIR方法预测性能更好、对于新冠病毒传播的趋势预测更准确。
开集合数据(Open-set Dataset)样本结果分析
本文对模型的预测进行了包括多日的开集合数据样本结果分析，以下我们选取的为5月19日至5月29日十一日的开集合数据(Open-set Dataset)进行测试，测试结果如图所示：
图在巴西的新型冠状病毒疫情预测数据集中，使用不同方法对发展趋势进行预测的折线图。
Fig A line chart using different methods to predict development trends in the novel coronavirus epidemic forecast data set in Brazil.
图在菲律宾的新型冠状病毒疫情预测数据集中，使用不同方法对发展趋势进行预测的折线图。
Fig. A line chart using different methods to predict development trends in the novel coronavirus epidemic forecast data set in the Philippines.
图中折线图和图中折线图分别描绘了巴西和菲律宾的新型冠状病毒疫情的发展趋势预测曲线。在使用巴西的新冠疫情数据集进行的实验中，采用不同的方法进行预测，图显示的预测感染曲线是增加的。本文提出的LSTM-DSIR预测的新确诊病例数最少，而动态SIR的预测动态性高得多，在预测期结束时斜率会增加。LSTM具有相似的预测结果，尽管预测水平较低，但在预测期结束预测感染数同样会增加。
图还表示出了由于菲律宾的新冠感染人数波动不太明显，其新冠病毒感染率较低，新冠病毒确诊人数总体水平较低，仅为其总人口的0.013％。菲律宾确诊病例在事实上的强劲增加影响了数据样本准确性，进而影响了模型预测的准确性。在巴西，LSTM-DSIR预测的确诊病例的趋势准确度较高。对于巴西和菲律宾而言，预测结果表明巴西正面临着感染数量增加的趋势；虽然菲律宾的确诊新冠肺炎的病例数量呈强劲上升趋势，但是其报告病例总数总体较低，这表明未来其确诊病例数可能还会有更强劲的增长。
基于校园师生流动数据的实验结果
本文提出了LSTM-DSIR预测方法，并且比较了闭集合(Close-set Dataset)数据和开集合(Open-set Dataset)数据两种情景下的已确诊新型冠状肺炎病例的全球数据的预测值。更进一步的，本文还在小范围数据样本中进行了实验—校园流动人口的数据上的实验，在实验中，我们使用同样的评估指标对训练模型进行了评估。
图每个学院针对疫情地区返校人数和总人数针对不同流动水平的迁移率
Fig.Migration rate of each college for different levels of mobility for the number of people returning to school and the total number of people in the epidemic area
图每个学院针对疫情地区返校人数和总人数针对不同流动水平的感染人数
Figthe number of people infected by each college according to the number of people returning to school and the total number of people in the epidemic area for different mobility levels.
图和图分别显示了在每个学院针对疫情地区返校人数和总人数针对不同流动水平的预测模型。其表明本文所提出的LSTM-DSIR能够使用迁移率信息确定SEIR单元的接触率，从而很好地按院系划分返校地区人数。根据预计的预测，我们观察到，防疫水平流动性的持续发展将导致感染人数急剧减少。根据图显示，如果将迁移率限制降低到标称迁移率的50％，该模型将接近稳定峰的边缘，在某些情况下，曲线将会保持在较低的峰值，与隔离的迁移率相比，该峰在晚期会急剧增加。根据模型，该迁移率预计会导致略微延迟的峰值，大约是正常迁移率最大峰值的2/3。根据图和图的曲线图我们可以得出，控制迁移率是控制疫情发展的关键手段。因此，有效控制返校人数对疫情的防控是很有帮助的。
图不执行迁移率限制政策的活跃病例预测曲线
Fig Forecast curve of active cases without mobility restriction policy
图中显示了对于不执行迁移率限制政策的活跃病例预测曲线，其更好地说明了流动性水平之间的差异。图中的曲线图表明，如果将限制迁移率的疫情防控政策继续保持下去，病例数最终回趋于零。
通过以上的趋势图可以分析出，由于LSTM-DSIR包含了微分方程的信息，但其没有明确地受到微分方程的约束，因此本文所提出的LSTM-DSIR方法预测性能更好,对于新冠病毒传播的趋势预测更准确（样本准确定较低的数据集除外）。然后，本文更进一步的在小范围数据样本中进行了实验—校园流动人口的数据上的实验，在实验中，本文使用同样的评估指标对训练模型进行了评估，实验结果表明，控制迁移率是控制疫情发展的关键手段。因此，有效控制返校人数对疫情的防控是很有帮助的。如果将限制迁移率的疫情防控政策继续保持下去，病例数最终回趋于零。
LSTM和Bi-LSTM网络体系结构性能对比实验
本文基于所提出的LSTM-DSIR方法增加了不同网络体系结构对模型性能影响的对比实验。在网络体系结构性能对比实验部分，对比了LSTM网络结构和Bi-LSTM网络结构的性能指标。评估指标使用平均绝对百分比误差（MAPE）、均方预测误差（MSFE）和R2分数（r2 score），有关评估指标的详细介绍见4.2.4。
图为LSTM网络结构和Bi- LSTM网络结构MAPE和MSFE 性能指标柱状图，可以看出，LSTM网络结构的平均绝对百分比误差和预测误差均比Bi-LSTM网络结构的相应指标小。因此，可以认为在以上两个评估指标下，使用LSTM网络结构所训练模型性能好于Bi-LSTM网络结构所训练模型性能。
图LSTM网络结构和Bi- LSTM网络结构MAPE和MSFE性能指标柱状图
Fig. LSTM network structure and Bi- LSTM network structure MAPE and MSFE performance metrics histogram
图 LSTM网络结构和Bi- LSTM网络结构r2 score性能指标柱状图
Fig. LSTM network structure and Bi- LSTM network structure r2 score performance metrics histogram
图为LSTM网络结构和Bi-LSTM网络结构r2 score性能指标柱状图，可以看出，LSTM网络结构的r2 score远大于Bi-LSTM网络结构的相应指标，并且Bi-LSTM网络结构所训练模型的r2 score为负数。因此，可以认为在r2 score评估指标下，使用LSTM网络结构所训练模型性能好于Bi-LSTM网络结构所训练模型性能。
综上所述，基于本文所提出的LSTM-DSIR方法，使用LSTM网络结构训练模型可以取得更好的性能效果。
实验结果的置信度
在给定的样本容量下，置信水平（置信度）和精确度是相互制约的。置信水平越高，精确度越低；反之，精确度越高，置信水平越低。置信水平确定了置信区间的大小，如果置信水平非常高（例如接近1），那么置信区间就会非常宽。这个时候，无论怎么抽样，得到的区间估计几乎总会包含待估计的真值。但是由于范围太大了，这个估计的区间也就失去了意义（精确度太低）。
本文提出的LSTM-DSIR新冠疫情趋势预测方法是基于深度学习的方法，在使用基于深度学习的方法进行预测时，考虑预测的置信区间和误差范围是非常重要的。在本文的研究中，本文所提出的方法在其预测的特定区域上进行了训练，并具有特定区域的假设，其中包括：报告不足、报告延迟、恢复率以及从暴露到感染的转变率。在接下来的研究工作中，还会根据全局报告的数据为这些变量中的每个变量解释误差范围，并使用它来预测预测方案中的潜在波动。LSTM-DSIR的另一个重要应用场景是将学习扩展到多个区域，从而提供可以捕获不同区域之间的差异，进而实现泛化性能更好的预测模型。
本结小节
本节首先介绍了本文所做实验的环境配置，然后，介绍了本文实验的性能评估标准：准确率(Accuracy)、均方预测误差(MSFE)、平均绝对百分比误差(MAPE)和R2分数，最后对实验结果进行分析：首先比较了闭集合(Close-set Dataset)数据和开集合(Open-set Dataset)数据两种情景下的已确诊新型冠状肺炎（COVID-19）病例的数量的预测值，通过趋势图可以分析出，由于LSTM-DSIR包含了微分方程的信息，但其没有明确地受到微分方程的约束，因此本文所提出的LSTM-DSIR方法预测性能更好,对于新冠病毒传播的趋势预测更准确。然后，本文更进一步的在小范围数据样本中进行了实验—校园流动人口的数据上的实验，在实验中，我们使用同样的评估指标对训练模型进行了评估，实验结果表明，控制迁移率是控制疫情发展的关键手段。因此，有效控制返校人数对疫情的防控是很有帮助的。
