首页 > 生活 > 生活妙招

评价模型有哪些(5种常用的分析方法)

常驻编辑 生活妙招 2022-01-21 模型   常用   评价
QIV拜客生活常识网

1. 好的模型,是一个可以达到更好业务效果的模型。QIV拜客生活常识网

不同的业务场景中,数据形态各不一样。即便是同样的业务场景下,由于数据量的规模有大有小,数据维度有多有少,“上界”就会不一样。有时,我们会认为可以取得更好业务效果的模型就是更好的模型,认真来讲,有时这个锅真不应该模型来背。一个好的模型,应该是在一定的数据规模和数据维度的条件下,可以最接近上界的映射反应。QIV拜客生活常识网

2. 好的模型,是一个可以反映真实业务关系的模型。QIV拜客生活常识网

靠近数据与特征确定的上界,主要依赖模型自身通过参数的调节能力。但另一个影响模型业务效果的因素也不能被忽略:模型的归纳偏置。模型的归纳偏置在数据科学的理论中,被当作反映数据样本的先验假设。归纳偏置本是一个数学与逻辑学中比较正式的概念,但在数据科学中,这个概念与函数模型得到很好的解耦。归纳偏置是一些简单的逻辑表述,这些逻辑并不应该被凭空构想,而应该基于实际的业务场景进行提炼。QIV拜客生活常识网

例如,在SVM模型中,我们会认为不同分类之间的分类超平面应该距两个分类的支持向量间的距离是相等的并且是最大的。但是为什么?这是因为我们认为两个分类间的间隔就应该如此,这是在“业务”上带入的假设。但如果是在下面的场景中,两个分类之间的平面应该更靠近A还是更靠近B?方块样本的数量非常多,如此多的样本集中分布在一片空间,我们也有理由相信,B更有可能是分类的分界超平面。当然,这也是一个假设。QIV拜客生活常识网

QIV拜客生活常识网

什么样的模型是好的模型?

QIV拜客生活常识网

QIV拜客生活常识网

在考虑模型构建时,不用太多考虑归纳偏置的问题。真正需要考虑归纳偏置应该是在模型构建之前(即选择模型时)进行。归纳偏置在选择模型或设计模型时是非常重要的考虑因素。有些模型甚至就是基于特定的归纳偏置而设计的,如果归纳偏置本身就与业务现实差距很大,那基于该归纳偏置设计的模型也将失去意义。QIV拜客生活常识网

3. 好的模型,有时也需要更好的可解释性。QIV拜客生活常识网

一般来讲,用数据训练一个机器学习模型,这个机器学习模型就可以被当作一个“黑盒”,使用这个模型时,只需要输入与输出就可以了。但在很多场景中,人们在输入与输出的关系时,也非常造成输出结果的原因。例如,建立起一个医疗智能诊断模型,当输入一个人的各项身体机能指标后,它会输出身体的健康状态,以及如果身体状态不佳时,最可能患上哪种疾病。如果有一个参与者,使用该模型后,被诊断出身体状态不佳,近期最可能患上感冒。此时参与者自我感觉良好,想知道自己身体状态不佳是为什么,表现在哪里。此时,如果模型可解释性不强,就得不到相应的衍生结论。QIV拜客生活常识网

模型的可解释性同时也可以为接下来业务的提升与改进提供非常有意义的指导与借鉴。例如,如果通过一个金融风控模型准确高效识别出有金融欺诈意图的用户,模型的可解释性可以对接下来如何进一步保障服务安全,从哪里入手,采取措施后预计会有什么样的后果等都有非常可靠的指导与评价。QIV拜客生活常识网

一些模型本身带有表达特征重要性的因子,如很多的树型结构的模型(决策树、随机森林、GBDT等)、线性模型(特征参数的绝对值大小)、LR模型等。这些表达重要性的因子可以提供一定的模型解释能力。QIV拜客生活常识网

有些模型虽然不包含表达重要性的因子,但它的结构是透明的,可以通过解析模型结构,提炼输出的可解释原因。例如,KNN、很多聚类模型等。QIV拜客生活常识网

像人工神经网络这样的模型,从结构上很难获得模型的可解释依据,它的可解释性就非常差。这也是制约人工神经网络在结构化数据的业务中被进一步应用的一个很大原因。QIV拜客生活常识网

03有万能的模型么?QIV拜客生活常识网

很难对这样的一个问题,给出肯定的答案。因为一个万能的模型,就一定会照顾到这个世界上几乎所有的数据,所有的特征,以及所有的业务知识。这是非常困难的一件事。

相关阅读:

  • 3d打印软件有哪些(3d打印模型素材下载)
  • 驾模要多久(做牙模型需要多久)
  • 数据挖掘实例及数据分析流程,数据挖掘的概念与过程
  • 人工智能与动物对话
  • 改变世界的发明32丨DNA双螺旋结构分子模型
  • 氧化锌的蚀刻模型
  • 白癜风原创突破背后:一部历时六年的“失败简史”
  • 数字孪生城市,提升城市高效运营管理,推动智慧城市建设
  • 科学家建立仿真模型以研究大质量恒星在塑造周围环境中
  • CoCa:多模态图像
    • 网站地图 |
    • 声明:登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不做权威认证,如若验证其真实性,请咨询相关权威专业人士。