本课程，将从信用评分模型的发展、应用、类型及开发流程等多个方面展开介绍，旨在让初学者全面了解其在信贷金融领域里的可靠性及重要性，并且掌握一定的开发能力。

1.评分卡简介

1.1 简介

定义： 信用评分模型是运用数据挖掘技术和统计分析方法，通过对消费者的人口特征、信用历史记录、行为记录、交易记录等大量数据进行系统的分析，挖掘数据中蕴含的行为模式、信用特征，捕捉历史信息和未来信用表现之间的关系，发展出预测性的模型，以一个信用评分来综合评估消费者未来的某种信用表现。

应用：信用评分模型是消费者信贷中先进额技术手段，是银行、信用机构、个人消费信贷公司、电信公司、保险公司等涉及消费信用的企业实体最核心的管理技术之一。被广泛应用于信用卡生命周期管理、骑车贷款管理、住房贷款管理、个人贷款管理、消费信贷管理等多领域，在市场营销、信贷审批、风险管理、账户管理、客户关系管理等多方面发挥着十分重要的作用。

起源：信用评分模型的应用和发展，首先是应消费信贷金融机构风险管理的需要而产生的，然后才逐步应用到市场营销管理、收益管理、客户关系管理等领域。

发展：从数理分析技术发展的层次上讲，信用评分魔性的发展经历了3个历史阶段：

• 以客户分类为核心：使用一些描述性统计方法，如均值、方差、频率、概率分布等和探索性统计方法，如聚类分析、因子分析、相关性分析等，对客户资质信息进行简单的分析，结合经验进行初步评估，以此为基础对客户进行分门别类。
• 以预测模型为核心：是信用分析技术的重大突破，它通过对消费信贷机构的外部信息和内部信息等进行深度挖掘，提炼出大量的反映消费者行为特征和资信能力的衍生变量，并运用先进的数理统计技术把各种变量的信息进行综合，系统性地对客户未来某方面的信用表现作出预测。
• 以决策模型为核心：比纯粹的预测模型又进了一步，它不仅对消费者未来信用表现进行预测，还会将其以函数的形式加入决策，综合其他多个参考因子，将其对决策的影响数量化。如风险定价、额度管理，不同消费者对不同的利率、额度等的敏感度不同，也就意味着，需要对不同类型的消费者进行区分决策。

现状：如今，消费金融信贷领域中，评分模型主要应用于：

• 风险管理
  • 审批
  • 授信
  • 评级
  • 定价
  • 贷后管理
  • 催收
• 市场营销
  • 获客
  • 精准营销
  • 交叉销售

效能：它可以为管理人员提供大量具有高度预测力的信息，帮助管理人员制定行之有效的管理策略，以较高的精度有效地开拓市场、控制风险、挖掘收益，实现消费信贷业务的高效益。

技术：数据库技术、数理统计技术、计算机技术的发展，使信用评分模型的发展获得科技基础。消费信贷活动的过程产生大量发展信用评分模型所需要的相关数据，这些数据反映了消费者信用历史、资信状况、信用行为等方面的信息。

• 数据库技术：用于大规模收集、整理、保存、提取数据；
• 数理统计技术：用于从大量的、纷繁复杂的数据中挖掘有用的信息、提炼行为特征、分析行为模式；
• 计算机技术：使数据分析、模型发展、模型自动化实施等的数据处理规模、速度不断扩大，加速了整体技术的发展。

1.2 种类

1.2.1 依预测目的分

• 风险评分模型
  • 对违约拖欠的风险概率进行预测
• 收益评分模型
  • 对消费者给信贷机构带来收益的潜力大小进行预测
• 流失倾向评分模型
  • 对现有客户在未来一定时期内流失的概率进行预测
• 市场反应评分模型
  • 对目标客户接受信贷机构影响的概率进行预测
• 转账倾向评分模型
  • 对目标客户把贷款余额从别的银行转账过来的概率进行预测
• 循环信贷倾向
  • 对目标客户或现有客户利用信用卡账户进行循环信贷的概率进行预测
• 欺诈评分模型
  • 对信用卡申请或信用卡交易为欺诈行为的概率进行预测

1.2.2 依发展主体分

• 信用局评分模型（通用化模型）
• 行业共享模型（通用化模型）
• 以银行内部自有数据为评分基础的客户化模型（客制化模型）

1.2.3 依实证化程度分

• 专家风险评分模型
• 半客户化评分模型
• 完全客户化评分模型

1.2.4 依模型对象分

• 账户层次评分模型
• 客户层次评分模型
• 消费者层次评分模型

1.2.5 依生命周期分

• 拓展客户
  • 管理决策：目标客户判断、产品/激励、利率/年费/其他收费
  • 评分模型：信用局风险评分、信用局收益评分、信用局破产评分、市场反应评分、转载倾向评分
• 审批客户
  • 管理决策：是否批准、定价、初始信用额度、交叉销售
  • 评分模型：申请风险评分、信用局风险评分、信用局收益评分
• 管理客户
  • 管理决策：提高/降低信用额度、交易授权、超额透支授信、反欺诈、重新定价、激活/挽留、坏账催收、续发信用卡
  • **评分模型：**行为风险评分、行为收益评分、流失倾向评分、坏账催收评分

1.2.6 依使用时机分

• A_score

  • **定义：**进件评分（application score）对每一笔新申请的贷款进行评分，主要用在信贷准入门槛的设计和授信额度的确定方面
  • **数据：**申请前的客户基本信息、登录、行为信息、外部征信数据
  • **目的：**预估到期后发生严重拖欠的概率（逾期天数>60天）
  • 范围：
    • 不经过评分、特列类型的案件处理
    • 信息缺失的案件处理
    • 评分截点的设定策略
    • 例外推翻的控制
    • 应用评分决定贷款额度的策略和定价
  • 项目：
    A_score.rar

• B_score

  • 定义：行为评分（behavior score）按月对未逾期的贷款进行评分，主要用来在贷后管理中确定客户风险的高低，进而根据风险的不同采取不同的贷后管理手段。
  • 作用：行为评分可用于信贷客户多方面管理，包括额度管理、市场活动、提前预警等。B_score、历史信贷行为、外部征信源、恶意刷额识别评分
  • 策略：按照不同评分，给予不同管理手段策略：
    • 特差：早期预警
    • 差：限额
    • 中：不予调额
    • 流失：流失挽回
    • 好：提升额度
  • 数据：

• 项目：
  B_score.rar

• C_score

  • 定义：催收评分(collection score)，对当前月逾期的贷款进行评分。主要是用来在催收管理中确定风险比较高的客户，进而根据风险的不同采取不同的催收手段
  • 数据：逾期信息、行为信息、征信信息、风险分类标注、催收日志挖掘、催收语音转文本
  • 模型：
    • 催收难度及力度
    • 失联修复
    • 催收亲密度模型
  • 作用：应用评分决定贷款催收管理策略：
    • **入催客户：**忘还款、手头紧、老赖
    • **计算催收容易度：**设备特征、行为特征、信贷表现、前几期还款情况
    • **决策结果：**易、中、难
  • 项目：
    C_score.rar

• F_score

  • 定义：F_score，利用多种定量方法，评估欺诈概率，拒绝疑似恶意骗贷客户的进件及申请
  • 模型：
    • 多种算法集成学习
      • 业务规则
      • 逻辑回归
      • 随机森林
      • 神经网络
    • 关联风险模型
      • 图数据库
      • 关联图谱
        • 定义：利用图数据库、聚类分析和复杂网络，实时识别群体欺诈风险，给出团案预警
        • 过程：实时数据清洗——计算连通图——团体分割——团伙特性分析
      • 复杂网络
    • **反欺诈预警模型 **
  • 数据：
    • 设备信息：异常设备、网络、地址
    • 行为信息：异常注册、登录、点击
    • 关联信息：关联人风险
    • 授信信息：征信数据、机构黑名单
  • 项目：
    F_score.rar

1.3 作用及优势

特性：客观性、一致性、准确性、全面性、效率性

作用：

• 风险模式数据化
• 提供客观风险量尺：减少主观判断
• 提高风险管理效率：节省人力成本
• 风险管理
• 市场营销
• 财务、资本预算及考核绩效
• 资产证券化及组合模式的创新

优势：

• 更稳：大数定律，坏账率更可控
• 更快：自动化审批，提升效率
• 更省：降低人力成本（审批、反欺诈、催收）
• 更充分地使用弱变量
• 反欺诈：预防 > 亡羊补牢

2. 评分卡项目规划

在设置评分卡前，风险管理单位必须先就其对信用评分的期望、应用计划及策略提出项目规划，主要包括以下六项：

2.1 项目目标

陈述目前作业现况以及想通过评分卡项目解决的问题。信用评分卡的建置需投入大量时间、精力、金钱、人力，风险管理各单位人员需思考当前工作问题及对评分卡的期望，目标设定必须清楚明确，最后产出结果有真正的帮助。
目标确认后，若需与外部信用评分卡厂商合作，依需求内容、开发时间、开发成本、开发经验与能力等构面设计选商条件并定订各项条件的评分权重。

2.2 项目范围

依急迫程度排列优先处理程序，避免一次性处理太多问题，做到聚焦。
针对选定目标设定项目范围，包括项目主要内容、涉及业务、相关部门、项目组织架构、项目成员等，逐项确认并列于计划书内。

2.3 时程规划

时程规划可分为：内部前置规划、流程与系统修改、评分模型建置、效力测试、上线导入等几个重要阶段。项目长度依复杂度及数据质量而定，一般来说大约界于6~9个月。

2.4 成本效益分析

成本评估包括相关设备扩充、系统购置或修改、模型开发等费用。效益则分为质化与量化两方面，质化效益包括风险管理技术与观念的提升、授信质量稳定等，量化效益须估算可节省的人力、作业时间及作业成本等。

2.5 配套措施

与信用评分有关的相关事项如授信规范、申请书格式修改、进件及征审流程设计、数据质量确认、教育训练等皆须事先规划，另外与之搭配的系统如评分运算引擎、决策系统及征审系统等也须在评分模型建置完成前准备就绪，否则将出现空有评分模型却无使用平台或业务流程运转不顺等窘境。

2.6 运营计划

信用模型上线之后的实际应用于管理，诸如信用评分的应用、模型效能监控、相关系统维护、紧急备援计划、运营作业成本、MIS分析等作业皆须详细规划，以确保信用评分与风险管理业务整合之后能够顺利运行。

3.评分卡开发流程

3.1 业务理解

3.1.1 开发目的

此步骤非常关键，却易被忽略。开发模型前，必须先决定评分目的及要预测的事件，并要有明确的定义。模型应用目的不同，对变量选择或好坏客户的定义也会有所不同。
风险管理单位按照项目规划设定的目标与模型建置人员讨论，确认建置模型的目的。另外双方对项目进行方式、建置时程、成本、交付文件项目及格式、模型测试指针、项目验收标准、教育训练，以及其他特殊要求或条件限制达成共识。

3.1.2 模型要求

如：可解释、复杂度、样本量

3.1.3 客户类型

如：自有渠道、外部渠道、新客、老客

3.1.4 产品类型

如：大额、小额、单期、分期

3.2 基本定义

评分目的确认之后，紧接着要对建模所需的重要指标的基本定义进行讨论。

3.2.1 窗口期

• 观察期
  • 定义：变量计算的历史期间
  • 区间：不宜太短，稳定性不高；也不宜过长，无法反映近期情况，一般为6~24个月
  • 特点：观察期时间窗口越长，建模样本数越少
• 表现期
  • 定义：准备预测的时间长度，如：预测客户未来12个月内出现违约的几率
  • 区间：一般为12~24，根据产品不同会有变化
  • 特点：表现期越长，违约率越高

3.2.2 违约定义

对于预测建模，定义目标变量是最重要、对建模结果影响最大的一步。坏客户定义越严格，意味着坏账率越低，同样意味着通过率越低。
违约定义并不限定为逾期，只要认定为非目标客户，如未来一年内出现M2以上逾期、催收、呆账、强停、拒住、协商等，皆可当成评分模型中的违约条件。
银行业信用评分解决方案默认的目标事件定义选择：

• 不良或逾期
  • （观察窗口内）90天逾期
  • （观察窗口内）230天或260天或1*90天
• 良好：
  • 从未逾期
  • 从未在观察期内逾期

也可根据坏账转移矩阵定义，不同账期客户转移到更坏的概率不同，选取显著变化的节点

定义好的目标变量（GOOD/BAD）基于以上良好/不良定义创建并与ABT表并接后预测建模。

3.2.3 适用范围

• 灰色区间

某些条件下的客户，风险处于较为模糊的灰色地带，很难将其归类为好客户或坏客户，此类客户无鲜明的风险特征，很难判断好坏。为强化模型的区隔能力，灰色地带的客户不适合纳入建模样本中。不过在模型完成后，看加入测试，观察分数落点，理论上中等分数居多。
业务中，可利用**转移分析（roll rate analysis）**观察各条件下的客户经过一段时间后的表现，观察区隔力和稳定度，作为灰色区间客户的好坏判断条件。
也可加入人工干预，直接进行评估。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sCERUsrq-1569656926265)(https://uploader.shimo.im/f/Ms3vUKfOFrIyOgvl.png!thumbnail)]

• 无评分意义

并非所有状况都须依赖评分来判断风险，有些类型客户评分意义不大。例：

• 目前处于逾期中的客户，本身已出现违约事实，无须加以评分

• 数据缺漏严重

• 数据期间过短

• 近来无信用往来记录

• 非常规对象

用于建模的客户或申请者必须是日常审批过程中接触到的，需排除几类人群：

• 异常行为：如销户、按条例拒绝的、特殊账户
• 特殊账户：出国、失窃、死亡、未成年人、员工账户、VIP
• 其他建模对象：欺诈、主动销户者（流失）

3.2.4 样本区隔

为了达到最佳效果，通常依客群或产品特性做样本区隔，分别开发数张字评分卡。
**例：**信用卡的行为评分卡，预借现金、长期循环及全额缴清等几类客户行为各有特殊，其风险变量及变量权重可能有所差异，可考虑分别就这几类客户开发专属的子评分卡。
若受预算、开发时间、数据积累等限制，暂时无法细切区隔而共享同一评分卡也可以，权宜做法为调整切分点或外加条件以做调整，不过效果可能较差。
样本区隔不宜过度，适度有助于提高模型预测效果，过度则不但不利于后期子评分卡维护，且建模样本不足，反而影响模型的预测能力及稳定度。

3.3 数据准备

整个建模项目，最耗费时间的通常是数据整理阶段，对于入模数据，有如下多方面的准备条件。

3.3.1 数据来源

3.3.2 数据有效性

• 正确性：数据真实准确
• 完整性：广度、深度、长度，数据保留完整，缺失率低
• 实时性：可以反映客户近期情况，实时更新客户动态信息变化
• 合法性：数据使用必须合法，使用前需确认当地法令对授信准驳依据是否有特殊限制。某些国家不允许以性别、年龄、种族、地域等因子作为准驳依据条件。
• 可用性：
  • 不合理数据。如年龄过小或多大，予以剔除
  • 缺失数据。可利用平均数、众数、邻近值进行填充，如空值有特殊意义，可保留。
  • 数据加密格式。了解数据格式，厘清数据使用限制。

3.3.3 原始变量选择

获取到数据后，根据业务提取重要特征，建立对应数据字典

3.3.4 样本选择

• 样本数量：

不同模型对数据量的要求不同，基本要求在5000+，最好可以达到3~10W，数据量越多越好。

• 样本质量：

样本内的数据需满足如下要求：

• 代表性：
• 充分性：样本分布均匀
• 时效性：窗口期内
• 排除性：唯一标识
• 表现推测性：正负样本分布明显

3.3.5 抽样方式

• 随机抽样
• 分类抽样

3.3.6 数据集准备

按照要求准备原始变量及样本集，并且完成数据合并

3.3.7 数据采样

• 采样目的
  • 均衡样本
• 采样方式
  • 过采样
  • 欠采样
  • 变量权重调整
• 采样结果
  • 好坏样本比率为：3:1~5:1

3.3.8 样本切分

通常将样本集拆分为训练集与测试集，通过评估模型在两个数据集上的表现，评估准确性及稳定性。可增加验证集，迭代模型区隔力和稳定度。

• 训练集
  • 即发展组样本，一般占比70%
  • 用于建模
• 测试集
  • 即对照组样本，一般占比30%
  • 建模完成后做验证之用

3.4 数据探索

3.4.1 数据质量检查

• 正态性检验
• 准确性诊断

3.4.2 描述性统计分析

• 样本总体
  • 样本量
  • 特征量
• 变量类型
  • 连续型变量
  • 离散型变量
    • 数值型
    • 类别型
• 变量分布
  • 位置度量
    • 中位数、众数
  • 集中程度
    • 均值、方差
  • 离散程度
    • 偏度、峰度
• 缺失程度
  • 变量缺失
  • 样本缺失

3.4.2 EDA探索性分析

探索性分析和数据描述是检查数据并理解其特征的一系列过程的名称。在评分卡开发过程中，需要进行下列指标计算及变量分析：

• WOE转换（证据权重）

WOE值是分箱i的坏客户分布与好客户分布的比值的对数，调整为分箱i的坏好比与总体样本的坏好比 的比值的对数，衡量了分箱i对整体坏好比的影响程度。

• IV（信息值）

• 单变量分析（Single Factor Analysis）：候选变量单变量统计特征的评价，及其取值在变量范围内的分布。完成变量分箱、WOE编码与IV计算后，我们需要做单变量分析，一般从两个角度进行分析：

  • **单变量X分布稳定性：**各箱占比相对均匀，每项占比不宜过高或过低，一般不低于5%
  • 单变量X与目标变量Y关联：验证单变量重要性
    • 从IV出发，筛选IV较高值
    • 单变量与目标变量做回归检验P值

• 多变量分析（Multi Factors Analysis） ：通过列联表、关联性和相关性指标确定不同变量之间的检验关系。多变量分析从两个角度分析变量的特性并完成筛选工作：

  • 变量间的两两线性相关性，通过相关系数矩阵
    • 选择IV较高的
    • 选择分箱均衡的
  • 变量间的多重共线性与目标变量关系，变量筛选
    • 特征重要性：随机森林、GBDT、XGBOOST
    • 模型拟合优度和复杂度：基于AIC的逐步回归
    • 带约束：LASSO
    • 多重共线性检验：VIF

• 违约要素分析：计算每个候选预测变量分类或分段条件下的违约率分布。

3.5 数据清洗

3.5.1 格式处理

3.5.2 缺失值处理

3.5.3 异常值处理

3.5.4 数据规约

3.5.5 变量粗筛

• 无意义变量
  • 如唯一标识、手机号等无效字段
• 常量
  • 单类别比例超过95%，默认为常量，可剔除
• 缺失率
  • 缺失率不高于设定值
• 单类别比例
  • 单类别比例不低于5%

3.6 特征工程

3.6.1 特征衍生

• 衍生目的

基于业务，衍生适合入模的好特征，好的特征具有以下优势：

• 稳定性高：市场因素，人群产品稳定的情况下，特征的分布稳定
• 区分性高：违约与未违约客群的分布显著不同
• 差异性大：不能在全部或大多数客群上取单一值
• 可解释性强：特征与信用风险的关系符合风控逻辑
• 衍生方式
  • 基于不同类别型变量，衍生不同时间切片某种操作频率、频次、登录方式个数等。
  • 基于时间变量，衍生账龄、在账月份数
  • 波动率指标，某种操作频次的频率、标准差
  • 决策树创建新特征

• 衍生手段
  • 手动创建
  • 暴力生成

3.6.2 特征分箱

• 分箱定义：
  • 连续变量离散化
  • 状态多的离散变量合并少状态
• 分箱优势：
  • 稳定性：避免特征中无意义的波动对评分带来波动
  • 缺失值处理：可将缺失作为独立的分箱带入模型
  • 异常值处理：可于其他值合并作为一个分箱
  • 无需归一化：从数值型变为类别型，没有尺度差异
• 分箱限制：
  • 有一定的信息丢失，数值型变量分箱后变为取值有限的几个值
  • 需要编码。分箱后的变量是类别型，不能直接带入Logistic模型中，需要进行一次数值编码
• 分箱方法：

分箱原理为相似度高的归为一组，有监督考虑业务含义相似度，无监督考虑样本分布相似度。

• 有监督
  • Best KS
  • ChiMerge卡方分箱
  • 决策树最优分箱

• 无监督
  • 等频
  • 等距
  • 聚类

3.6.3 特征编码

• 编码方式
  • 数值编码
  • one-hot编码
    • 针对类别型大于2的分类变量，将其哑变量化
  • WOE编码

3.6.4 特征选择

为了提高信息值，需调整合并WOE相近的组别，最后得到的分组结果为粗分类。待所有长清单的变量信息值皆计算完成后，即可从中挑选变量，优先排除高度相关、趋势异常、解释不易及容易偏移者。
经过筛选后的变量集合成为短清单，这个清单即模型的候选变量。在建模时可利用顺向进入
法（forward selection）、反向排除法（backward elimination）、逐步回归法（stepwise）等方法选出效果最佳的变量组合。

• 选择方式
  • 重要性
  • 共线性
  • 信息值
    • IV值高于0.2
    • IV高于10的剔除
  • 模型筛选
    • LASSO
    • stepwise

3.7 模型训练 model training

3.7.1 算法选择

• Logistic
• 优点：
  • 成熟、成功
  • 评分结果稳定
  • 评分构成透明
  • 实施部署简单
  • 不容易过拟合

• GBDT

• XGBOOST

• 神经网络

• 组合模型

3.7.2 训练 train

3.7.3 测试 test

3.7.4 验证 oot

• 准确性、稳健性、有意义
• 样本外测试
• 时间外测试

3.8 拒绝推断

通常，我们用以建立评分卡的建模对象人群（以前的Accepts）在结构上可能与实际申请人群存在着结构上的差异。因为只有接受了的申请者才能够对其定义目标变量。但我们将在生产系统中部署的模型需要对未来所有申请者评分。因此需要对拒绝过的用户做违约推断，即拒绝演绎、婉拒推论。
只有当建模的接受人口（Accepts）与实际申请总体差别才需要拒绝推断：

• 很大的时候评分卡批准率相对较低（低于70%）
• 或以前的拒绝标准根据完全的人为判断决定的时候

是否两总体间存在较大差异，可以通过一系列特征比较的图表来进行判断
基本思路：

• 利用在接受人群基础上训练的模型对拒绝人群评分
• 将拒绝人群分为“推断好/推断不良”
• 将此作为拒绝人群的目标变量累加（Append）到接受人群建模数据里
• 对新数据集重复模型训练过程

过程图

具体方法

• K近邻法

当K=5时，对于新样本的预测选取最邻近的5个观测的分类的众数。

3.9 标准评分转换

基于预先设定的PDO及Base Point 对每个入模特征规则配置相应分值

3.10 效力验证

评分卡模型构建完成后需要验证魔性的性能，保证模型既稳定、有效，部署后需持续监测模型的表现，做到及时更新与迭代

3.10.1 基本要求

一般一个好的模型应该达到以下几个基本要求：

• 精确性。达到可接受水平，避免过拟合。
• 稳健性。要求最终模型的变量应该能够确保包含稳健一直的数据，能够在后续实施阶段准确获取，能够适用于更广范围的数据集。
• 有意义。即业务变量及其预测值是可解释的，例如：信用卡的额度利用率越高，违约率相应也越高。
• 模型中变量不宜过多。通常，包含的变量不超过10_{20个（最优10}12个）,变量太多可能导致过拟合，变量太少往往区分度不够。

3.10.2 模型准确性

• KS

KS(柯尔莫哥洛夫-斯米尔诺夫kolmogorovsmirnow)图纵轴为坏客户累计百分比，横轴为 总体样本累计百分比。perf_eva函数绘制KS 曲线过程:
◦ 先将样本随机排列，随机种子seed默认为 186
◦ 按照预测违约概率倒序排列(坏客户累计百 分比曲线位于上方)
◦ 分为groupnum(默认20)等份 ◦ 计算每一等份中违约与正常客户的累计百 分比
◦ 绘制出两者之间差值即为KS曲线
• KS曲线中的最大值即为KS值，其取值范围 0~1。KS值越大模型的区分能力越好。
• 通常申请评分卡要求KS 0.3。而且测试集 与训练集的KS值相差小于0.01。

• ROC与AUC

• ROC(受试者工作特征曲线Receiver Operating Charactersitic)曲线纵轴为 真正例率(True Positive Rate, TPR)，横 轴为假正例率(False Positive Rate, FPR)：
◦ 先将样本随机排列，随机种子seed默认为 186
◦ 按照预测违约概率降序排列
◦ 分概率值计算好坏客户数量，然后计算 TPR=TP/(TP+FN)与FPR=FP/(TN+FP) ◦ 以TPR为纵轴FPR为横轴绘制散点图即为 ROC曲线
• AUC(Area Under ROC Curve)为ROC曲线 下面积之和，其取值范围0~1。AUC值越大模 型效果越好。
• 行为评分卡通常要求AUC 0.75，申请评分 卡的AUC相对低一些也能够接受。

• GINI系数

3.10.3 模型排序性

• Lift

3.10.4 变量有效性

• IV

3.10.5 模型稳定性

• 评分稳定性指标（PSI）

• 特征分布指标（VSI）

3.10.6 评分排序性

信用评分与违约概率成反比，分数越高停贷率越低；客群的评分分布区间一般符合正态性，有一定的离散度。

3.11 模型报告

整理完整的模型开发过程报告

4.模型部署

4.1 模型文件

4.1.1 pkl

4.1.2 pmml

4.2 部署方式

4.2.1 脚本

4.2.2 决策引擎

决策引擎配置

• 位置：DW
• 内容：信用评分——风险策略——数据集市CRM
• 作用：决策额度、计算、定价

5.评分卡的切分与使用

5.1 评估指标

利润贡献者所带来的利润，在弥补着利润消耗者带去的损失，信贷风险管理，讲究一个平衡和最优。综合评估模型不同决策点下的通过率和逾期率，制定最优效益的评分决策

• 逾期率
• 通过率
• 综合盈利
• 准入线

5.2 设定策略

• 准入线的设定策略
• 风险切分点的设置
• 不经过评分、特别类型的申请件的处理
• 评分卡信息缺失的申请件处理
• 例外推翻的控制

5.3 基于A_score的额度定价

预先设定好基础额度base limit(B)，盖帽额度hat limit(H)，托底额度floor limit(F)。评分最高的区间杜颖的预期违约率是Pmin，评分最低的区间对应的预期违约率是Pmax，占比最高的区间对应的预期违约率是P0，某一条进件对应的预期违约率是P1，则该进件对应的授信额度是：

5.4 基于A_score的利率定价

增添多种其他利率因子，同样与模型评分相关

6.模型监控

模型实施后，要建立多个报表对魔性的有效性、稳定性进行监控

6.1 监控报表

6.1.1 稳定性监控

比较评分卡上线后建模训练样本客户的分值分布，监控模型的有效性。

6.1.2 特征监控

比较评分卡上线后和建模训练期间的每个特征的分布，监控特征的变化趋势，从而评估模型的有效性和稳定性

6.1.3 未过评分账户监测

6.1.4 不良贷款分析

评估不同分数段的不良贷款，并与建模训练期间的预测进行比较，监控客户信贷质量。
通过对不同分数段的不良信贷资产进行账龄分析、迁徙率分析，监控信贷资产质量是否发生显著性的变化。

6.1.5 拒绝原因分析

分析被评分卡拒绝的原因分布

6.2 风险跟踪

• 风险趋势分析
• 异常行为分析
• 欺诈网络分析
• 风险警告

7.模型调优

网贷市场环境变化快，评分卡生命周期短，相比传统信贷模型迭代频率高。评分模型需保持稳定，当产品、客群、宏观经济、监管政策等没发生重大变化时，不同时间上的评分结果应保持稳定，便于策略应用。

7.1 调优原因

7.1.1 市场环境变化

• 市场转移
• 行业变化
• 产品变化

7.1.2 模型监控

• 入模变量发生重大偏移
• 当前评分与建模评分分布发生变化
• 模型区分能力变差
• 变量区分度变差

7.1.3 新变量探索引入

• 新数据源引入
• 新的预测变量探索

7.2 调优方法

收紧或放松

7.2.1 A类调优

• 在通过的客群中寻找差客户拒绝
• 将会降低通过率，且降低逾期指标
• 离线即可完成量化分析

7.2.2 D类调优

• 在拒绝的客群中寻找好客户通过
• 将会提高通过率，逾期指标可能增加
• 需要决策引擎标记豁免部分样本分析

7.3 调优步骤

• 确认调整贷前策略还是贷中策略
• 是D类调优还是A类调优
• 量化分析调优阈值
• 预测按照方案调整后的效果
• 调整后验证结果与预计效果是否
• 重复修正

7.4 调额步骤

• 筛选可调额客户
• 分为调额组合对照组
• 调额后调额组对照组资产趋势分析
• 根据结果回调最初筛选可调额客户的规则

8.常见问题

8.1 数据问题

• 历史数据量过少
• 历史数据无切片

8.2 建模问题

• 建模目标不明确
• 模型过拟合
• 模型选型不合理
• 错误使用后验变量
• 评分的评估指标不合理
• 离线数据与在线数据不一致

8.3 业务问题

• 沟通问题