微观角度的可解释性，一个深度学习模型的可解释性是其内在的固有性质，指模型的决策在多大程度上可以被人类预测和理解。模型的可解释性越强，代表模型的行为对人类越透明，模型的不确定性也就越低；反之模型的可解释性越弱，模型做出预测的机制就不能被人类所理解，它的不可控性也越大

主动解释和事后解释两大类：主动解释为模型在做出预测的过程中可以同时生成相应的解释，如注意力显著性在网络前向传播时即可生成，自我可解释的网络会设计一些可解释单元。事后解释为在模型做出决策之后，通过一些算法来有效地揭示模型做出预测的原因

可解释深度知识追踪模型

刘坤佳-国防科技大学博士 2021年10月21月

引言

目前知识追踪存在的问题：

当前知识追踪方法多针对知识点建模,忽略了习题信息建模与用户个性化表征,并且对于预测结果缺乏可解释性

当前深度知识追踪方法多针对习题对应的知识点建模,而忽视了题目本身蕴含的丰富信息．例如,考察同一知识点的不同题目可能由于难度设置不同而导致不同的作答结果．另外,目前的方法假设学生认知水平变化程度相同,忽视了学生认知状态与习题表示的个性化交互,因此无法建模学生知识状态变化的个体差异．再者,基于深度学习的方法预测过程和结果缺乏可解释性．在实际应用中,尤其是在线教育领域,可解释的预测结果不仅可以提升系统透明度,还能提高用户对系统的信任和对预测结果的接受程度．当前的研究对预测结果的可解释性多集中在为认知状态变化过程提供可视化展示,但是并未给出得到当前预测结果所依据的推理路径,因此不能直接为预测结果提供解释

解决方法

１)利用习题与知识点的上下文信息挖掘其间隐含关系,丰富习题知识点图关系类型,缓解数据稀疏问题;

２)基于用户认知状态学习个性化注意力权重,得到习题知识点关系图中用户对不同邻居节点的关注程度,充分考虑用户知识状态差异,实现习题个性化表示;

３)提供一种可解释框架,通过个性化注意力机制,在习题知识点关系图中选择推理路径,实现对知识追踪结果的可解释;

４)在多个知识追踪数据集上对提出的IDKT模型进行广泛验证,均取得最佳预测表现,有力验证了所提模型的有效

模型框架

如图４所示,IDKT 生成了２条推理路径:对照id的实际含义,就可以对所得推理路径进行解释．以推理路径１为例,模型预测用户未正确作答id为86623的习题可能因为其考察了id为280的知识点．而知识点280与知识点310相关,由此得出的解释路径是,用户在知识点310存在薄弱环节导致当前习题没有回答正确．通过以上过程,IDKT 将个性化注意力权值转化为推理路径,为结果提供可解释性．该解释可以指导用户找出学习过程的薄弱知识点,也可以为后续个性化学习资源推荐、智能问答等提供依据

展望

后续工作将主要研究引入更丰富上下文知识的方法,将习题知识点图扩展为有向带权图,以此有效刻画知识之间先修关系的方向性和节点之间的关联程度差别

Deep-IRT Make Deep Learning Based Knowledge Tracing Explainable Using Item Response Theory

解决问题：深度知识追踪模型其参数和表示长期以来一直被批评为无法解释。

Deep-IRT，它是项目响应理论 (IRT) 模型和基于称为动态键值记忆网络 (DKVMN) 的深度神经网络架构的知识追踪模型的综合，用于进行深度学习基于可解释的知识追踪。具体来说，我们使用 DKVMN 模型来处理学生的学习轨迹，并随着时间的推移估计项目难度水平和学生能力。然后，我们使用 IRT 模型使用估计的学生能力和项目难度来估计学生正确回答项目的概率。实验表明，Deep-IRT 模型保留了 DKVMN 模型的性能，同时提供了对学生和项目的直接心理解释。

引言

据我们所知，还没有一个模型是高度复杂和通用的，但同时可以解释。因此，设计一个继承这两个类别优点的模型是很有吸引力的。

本文提出深度项目反应理论(Deep- IRT来解释基于深度学习的知识追踪模型。Deep- IRT模型的灵感来自贝叶斯深度学习[17]学习模型和心理测量模型。具体来说Deep- IRT模型利用DKVMN模型来处理输入数据，并返回IRT模型的心理上有意义的参数。DKVMN模型执行特征工程工作，从学生的历史问答交互中提取潜在特征。然后，所提取的潜在特征被用于推断随着时间的推移每个KC的难度水平和学生能力。基于估计的学生能力和KC难度水平，IRT模型预测学生正确回答KC的概率。通过用DKVMN模型和IRT模型来描述知识追踪任务，我们从这两个模型中获得了优点。Deep- IRT模型受益于深度学习技术的进步，例如，捕捉人类难以设计的特征。另一方面，我们通过引入一个众所周知的心理测量模型来增强可解释性，这个模型很容易被许多人理解。

我们的实验表明，提出的Deep- IRT模型保留了DKVMN模型的性能。我们还通过Deep- IRT模型对难度水平和学生的学习能力进行了分析。分析表明，Deep- IRT模型估计的难度水平与其他传统方法一致，如IRT模型和项目分析[1]。然而，深IRT模型仍然存在DKT模型中发现的重建问题[20]。

我们的主要贡献总结如下: