如何在码学堂组织练习、考试、竞赛？

组织练习、考试、竞赛时就是将多个题目组成题目集，然后加入学生组完成。题目集是由多个题目构成的集合，可以理解为组卷、出卷，码学堂上“练习/作业”、“考试”或“竞赛”操作方式一致，故下面以考试为例来说明操作方法。

1 设置题目集

1.1 填写题目集基本信息

进入码学堂主页后，单击菜单“教学活动”，选择“练习/作业”、“考试”或“竞赛”，进入如下界面。

单击“新建”，选择“新建题目集”，也可通过别人分享的题目集新建。在如下图所示界面中填写好相关信息后，单击“提交”保存基本信息。
注意：随机组卷模式选择后不能更改，使用此模式时，系统随机为学生在教师设置的随机池中随机选择题目，选择题各选项也会随机排列。

1.2 启用考试系统（监考系统OMS）

说明：如果需要启用考试系统，应在机房先安排码学堂考试系统客户端最新版本，下载地址请见“如何使用码学堂考试系统进行考试？”。在考试信息设置中，单击监考系统后的“启用”按钮，系统会自动自成“考试密码”与“监考密码”，如下图所示，考试密码指学生登录考试系统时进入口令，所有学生一样，在考试时发放给学生。监考密码指学生在老师的许可下退出考试系统，再次登录时，需要监考老师输入监考密码，请不要将监考密码透露给学生。当选择了“强制使用监考密码时”，学生首次进入考试系统也要监考教师输入监考密码才能进入系统考试。

设置为全屏：如果考试过程中，学生不需要使用电脑的其他资料，可以启动此模式。
白名单设置：指考试期间允许运行的程序。
黑名单设置：指考试期间不允许运行的程序，如通讯工具，默认没有在白名单的所有程序均在黑名单集合中。
监考过程中，输入监考密码是一件枯燥无味的事，因此，码学堂提供了微信扫码进入功能，在设置时，单击监考密码右侧的二维码图标，打开二维码，用监考教师的微信先扫友授权，在监考时，教师只需用自己的微信扫码即可代替输入监考密码，方便快捷，如下图所示。

如果需要添加监考教师时，单击“监考教师”按钮，出现如下图所示窗口。

在左侧输入框中填写待加入的教师邮箱，单击“添加”按钮即可，如需删除，将鼠标移动待删除教师的头像处，单击“删除”按钮。也可以右侧查找出待加入的教师，单击头像加入即可。加入后，监考教师可登录“码学堂”的“监考”模块查看监考密码、考试密码等信息。

1.3 加入学生组

在1.1中单击“提交”按钮后，系统出现如下图所示界面，单击“学生组”下方的“添加”按钮可将题目集与学生组联系起来，在设置的时间范围内，学生可以查看、提交题目集的答案。选中学生组，单击“微信推送”按钮，可对已经绑定微信的学生发送通知信息，如通知考试时间、地点、注意事项等。
注意：如果学生在当前时间存在有考试，学生将不能使用除考试外的任何功能。

1.4 加入题目

单击各类型题目旁边的“添加”按钮，搜索、选择待加入的题目，如下图所示。特别提醒：如果启用随机组卷，请务必检查分数是否冲突，在考试开始后，将不能修改题目属性。

单击各题目对应的“编辑”按钮，可设置题目的分数等属性，务必排顺序填写题目序号。对函数题、程序题，可设置各项测试数据的分数，有三种测评方式可选择，一是普通OJ（Online Judge）模式，二是AI静态测评模式，三是师机混合增强测评模式。
师机混合增强测评：机器智能测评+教师评阅，教师评阅时可通过系统的反馈给出分数，综合系统在计算方面的优势与教师经验的优势，将程序的评测分为6个指标：程序执行、程序规范、程序设计、程序风格、注释习惯、创新性。
程序执行：指程序可以正确的编译与执行，并产生正确的结果，涵盖了输出的一般特征，即正确的值、格式和完整性，建议占20%；
程序规范：对于一个可以得到正确输出的解决方案，但可能不满足考查的结构规范，如需要用for循环求解1+2+…+100，学生不用for循环，直接输出5050，结果正确但不满足规范，建议占20%；
程序设计：满足规范并可以正确输出的程序质量，包括程序结构、模块化、数据结构和算法的选择，建议占25%；系统提供AI静态测评，通过智能分析程序的语义、结构、数据依赖关系等，检查程序的正确性，不用执行程序，对于有部分逻辑错误、语法错误的程序，也可作出合理的测评，给出部分分数。
程序风格：部分学生提交的代码尽管是设计良好的程序，可能也会晦涩难读，因此需要强调良好的编码习惯，包括变量的命名、函数或子程序的命名、语言结构和功能的使用、缩进与空格的使用等，建议占15%；系统提供自动测评得分，帮助教师快速评分。
注释习惯：注释并不影响程序的运行，然而好的注释可以增强程序的可读性，方便他人和自己理解程序，对于新学编程的学生来说养成良好的注释习惯是非常重要的，建议占10%；
创新性：指问题策略的计算思维。一个源程序满足前5条标准可以算得上是好的程序，但并不代表是卓越的程序，学生可以设计出具有创新性的解决方案，如具有比要求更高的健壮性或读起来让人愉快的设计方式来获得“创造性”的分数等，建议占10%。

1.5 修改题序

对于普通类型的题目集（非随机组卷），题序决定了题目在试卷中的显示顺序。修改题序有两种方式：手动修改与一键自成题序。
(1)手动修改
单击题目所在行上“编辑”按钮，在弹出窗口中输入题序，单击“提交”保存即可，注意题序不能重复，如下图所示。

(2)一键自成题序
单击“一键自成题序”按钮即可完成，如下图所示。注意：对于已经考试开始的题目集，须谨慎使用。

2 批改学生试卷

码学堂中，除主观题外的7种题型可由系统自动完成评测，但主观题目需要人工评测。对于系统误判的填空题、编程题，教师可再次重新评阅。对于采用师机混合增强测评模式的编程题目，需要教师完成部分指标的评分。

2.1 批改主观题

对于主观题，可采用教师评、学生互评两种模式，在考试结束后，单击题目集左侧菜单的“批改主观题”，进入批改页面，如下图所示。

单击各题目后的“批改主观题”，可按顺充逐一完成批改，方便快捷，批改完成后，教师发布成绩后学生方能看见成绩，如下图所示。

注意：批改完成主观题后，分数不会直接推送给学生，只有教师确定批改无误后，进入“发布”模块，点击“发布”以后，分数才会推送给学生，也就是，排名与提交列表中的主观题目分数才会显示。发布模块的操作步骤如下：
首先进入“批改主观题”界面，在各题目后面单击“查看”按钮，进入发布成绩界面。如下图所示。

单击“发布”，即可发布成绩。如下图所示。

2.2 重批误判的填空题

由于自然语言语义丰富，系统有时会出现误判，如学生填写答案为：三个人，题目答案为：3人，如果答案模板中未设置“三个人”可能会造成误判，这种情况需要教师手动修正。进入系统考试页面的“提交列表”模块，找出误判的答案，单击“特殊裁判”，在页面中修改后提交即可，如下图所示。

2.3 师机混合增强测评

对于采用师机混合增强测评模式的编程题目，需要教师完成部分指标的评分。进入系统考试页面的“提交列表”模块，找到需要教师测评的答案，在对应指标中输入分数，提交保存即可，如下图所示。

3 考试监控

3.1 查看学生提交情况

单击考试页面中左侧菜单上的“提交列表”可显示所有学生实时提交的答案情况，如下图所示。

3.2 查看学生成绩排名

单击考试页面中左侧菜单上的“排名”可显示所有学生成绩情况，竞赛模式时支持查看榜单，如下图所示。

此模块下，支持导出考试材料，如学生答卷、成绩单，支持将错题推送到学生错题本。

3.3 监控面板

对于选择使用监考系统的题目集，考试过程中，教师在控制台上可以查看每一个学生做题的进度、花费时间等，有助于教师及时掌握学生对知识点的掌握情况，也有助于分析试卷质量等，如下图所示。

==对于使用随机组卷的题目集，可以在监控面板中强制重新抽题或强制退出。==如果使用了监考（考试）系统，码学堂将自动记录学生键盘行为，下图展示了一个学生在考试中的键盘行为。

3.4 分析报告

教育大数据是指在组织教育教学过程中所产生的所有数据集合。它是大数据的一个子集，专指教育领域的大数据，具有驱动教育决策科学化、学习方式个性化、教育管理人性化和教育评价体系全面化的潜在价值。在在线教育平台的设计与应用过程上，应考虑好对相关数据的收集、分析与应用。码学堂平台不仅可以收集、存储教育大数据，还设计了数据处理分析模块，可视化学生的学习绩效与教师的教学绩效等数据。在考试页面左侧菜单中，单击“分析报告”，进入分析报告页面。

3.4.1 题目集质量分析

从难度、区分度、信度及标准差四个维度对题目集质量进行分析。
难度分析：难度系数P是0-1之间的量值，难度系数越大，表示难度越小。当难度值<0.5时题目集偏难。容易：0.9<=P<=1，较易：0.8<=P<0.9，中等：0.5<=P<0.8，较难：0.2<=P<0.5，困难：0<=P<0.2。
区分度分析：区分度D反映了数目集对考生素质的区分情况。其数值在-1~1之间，数值越高，说明该题目集的区分性越好。优秀：D>=0.4，良好：0.3<=D<0.4，中等：0.2s=D<0.3，较差：D<0.2。
信度分析：信度R一般在0-1之间，信度值越大，说明题目集越优秀。优秀：R>=0.9，良好：0.8<=R<0.9，中等：0.7<=R<0.8，较差：R<0.7。
标准差分析：标准差在满分的5-15%以内属于正常。因此100的满分，标准差在5.00-15.00分之间属正常。低于5.00分，说明学生成绩太趋于平均分，高于15.00分，说明学生成绩离散度太大。
如下图所示。