如何将数据集划分为训练集和validation集有一个经验法则吗?

如何最好地将数据划分为训练集和validation集,是否有一个经验法则? 甚至50/50分割是可取的? 或者有更多的训练数据相对于validation数据有明显的优势(反之亦然)? 或者是这个select非常依赖于应用程序?

我一直在分别使用80%/ 20%的培训和validation数据,但是我没有任何原则性地select这个部门。 能有机会学习更有经验的人给我build议吗?

有两个相互矛盾的问题:用更less的训练数据,你的参数估计有更大的差异。 用较less的testing数据,你的performance统计将有更大的差异。 一般来说,你应该关心的是如何划分数据,使得方差不是太高,这与每个类别的绝对数量有关,而不是百分比。

如果总共有100个实例,那么您可能会遇到交叉validation问题,因为没有任何一个分割会给您的估计带来令人满意的变化。 如果你有100,000个实例,select80:20分割还是90:10分割并不重要(如果你的方法是特别计算密集的话,你可以select使用更less的训练数据)。

假设你有足够的数据来做适当的保持testing数据(而不是交叉validation),下面是一个有用的方法来处理差异:

  1. 把你的数据分解成训练和testing(80/20确实是一个很好的起点)
  2. 训练数据分解为训练和validation(再次,80/20是公平的分割)。
  3. 随机select您的训练数据,用此训练分类器,并在validation集上logging性能
  4. 用不同数量的训练数据进行一系列的运行:随机抽样20%,比如10次,观察性能,然后分别用40%,60%,80%进行testing。 您应该看到更多的数据,而且在不同随机样本中的变异也更大
  5. 为了处理由于testing数据的大小而导致的差异,请执行相同的步骤。 训练所有的训练数据,然后随机抽样多次validation数据的百分比,并观察性能。 您现在应该发现,validation数据的小样本的平均性能与所有validation数据的性能大致相同,但是对于较less数量的testing样本,方差更高

你会惊讶地发现80/20是一个相当常见的比率,通常被称为帕累托原则 。 如果你使用这个比率,通常是安全的。

但是,根据您使用的培训/validation方法,比例可能会改变。 例如:如果您使用10倍交叉validation,那么您将在每次折叠时以10%的validation集合结束。

对于训练集和validation集之间的适当比例有一些研究:

为validation集保留的模式部分应与自由可调参数数量的平方根成反比。

他们在结论中指定了一个公式:

validation集(v)到训练集(t)的大小比率v / t,比如ln(N / h-max),其中N是识别器族的数目,h-max是这些族的最大复杂度。

他们所说的复杂性是:

识别器的每个家族的特征在于其复杂性,其可能与VC维度 ,描述长度,可调节参数的数量或其他复杂度量相关或不相关。

采用第一条经验法则(即validation集应与自由可调参数数的平方根成反比),可以得出结论:如果有32个可调参数,则32的平方根为〜5.65,分数应为1 / 5.65或0.177(v / t)。 预留17.7%左右,培训82.3%。

去年,我跟随了Andrew Ng的在线机器学习课程。 他的build议是

培训:60%

交叉validation:20%

testing:20%

也许63.2%/ 36.8%是合理的select。 原因是如果你有一个总的样本大小为n,并且想要随机地用n个样本中的replace样本(又如重新样本,就像在统计引导程序中那样) n个样本中的一个样本,如果n不是太小,重新取样大约是0.632,如下所示: https : //stats.stackexchange.com/a/88993/16263

对于n = 250的样本,select重复取样为4位的个案的概率为0.6329。 对于n = 20000的样本,概率是0.6321。

这一切都取决于手头的数据。 如果你有相当数量的数据,那么80/20是一个不错的select,如上所述。 但是如果你没有交叉validation,50/50分组可能会帮助你更多,并阻止你创build一个模型过度适合你的训练数据。

那么你应该考虑一件事。

如果你有非常大的数据集,比如10万个例子,80/10/10可能是不必要的,因为10%= 100000个例子不需要告诉模型可以正常工作。

也许99 / 0.5 / 0.5就足够了,因为5000个例子可以代表大部分的数据变化,你可以很容易地根据这5000个例子在testing和开发中的工作。