必威体育Betway必威体育官网
当前位置:首页 > IT技术

模型评估方法之held-out data(留出法)

时间:2019-07-28 23:12:31来源:IT技术作者:seo实验室小编阅读:77次「手机版」
 

held

留出法(hold-out)

留出法的含义是:直接将数据集D划分为两个互斥的集合,其中一个集合作为训练集S,另外一个作为测试集T,即D=S∪T,S∩T=0。在S上训练出模型后,用T来评估其测试误差,作为对泛化误差的评估。其中T也叫held-out data。

需要注意的问题:

  1. 训练/测试集的划分要尽可能的保持数据分布的一致性,避免因数据划分过程引入额外的偏差而对最终结果产生影响
  2. 在给定训练/测试集的样本比例后,仍然存在多种划分方式对初始数据集D进行划分,可能会对模型评估的结果产生影响。因此,单次使用留出法得到的结果往往不够稳定可靠,在使用留出法时,一般采用若干次随机划分、重复进行实验评估后取得平均值作为留出法的评估结果
  3. 此外。我们希望评估的是用D训练出的模型的性能,但是留出法需划分训练/测试集,这就会导致一个窘境:若另训练集S包含大多数的样本,则训练出的模型可能更接近于D训练出的模型,但是由于T比较小,评估结果可能不够稳定准确;若另测试集T包含多一些样本,则训练集S与D的差别更大,被评估的模型与用D训练出的模型相比可能就会有较大的误差,从而降低了评估结果的保真性(fidelity)。因此,常见的做法是:将大约2/3~4/5的样本用于训练,剩余样本作为测试

来源于周志华的西瓜书。

相关阅读

一文看懂25个神经网络模型

1. 引言 在深度学习十分火热的今天,不时会涌现出各种新型的人工神经网络,想要实时了解这些新型神经网络的架构还真是不容易。光是

停止你的无效增长:一个模型解决 90% 的增长难题

环境在不断地发生改变,如果你还在苦恼为何增长做不起来,那不妨找找问题根源——增长的方法是否正确。增长做不起来,大概率不是增长手

数模(8)——排队论模型

MM1排队系统: MMS模型 MMS排队模型程序(S=1时即为MM1排队模型) s=2;%服务台数 mu=4;%单个服务台一小时内服务的顾客数 la

OSI参考模型各层的功能详解

网络  就是使用集线器或交换机将计算机连接起来构成一个网络 互联网 OSI 分层的好处: 1.每一层更改不会影响其他层; 2.有利于网络

关于er模型中的identifying relationship or non-iden

最近,主要负责项目管理和领域模型设计方面的工作,昨天在将UML类图转换为ER模型的时候,发现有identifying relationship or non-ident

分享到:

栏目导航

推荐阅读

热门阅读