模型参数与超参数的区别

机器学习中最容易混淆的两个术语是模型参数和超参数。在这篇文章中,我们将尝试理解这些术语的含义以及它们之间的不同之处。

什么是模型参数?

模型参数与超参数的区别

模型参数是所选模型的变量,可以通过将给定数据拟合到模型来估计。示例:在上图中,x 是自变量,y 是因变量。目标是为数据拟合回归线。然后使用这条线(模型)来预测未见过的 x 值的 y 值。这里,m 是斜率,c 是直线的截距。这两个参数(m 和 c)是通过最小化 RMSE(均方根误差)将一条直线拟合到数据来估计的。因此,这些参数称为模型参数。不同模型中的模型参数:

  • 线性回归中的 m(斜率)和 c(截距)
  • 神经网络中的权重和偏差

什么是模型超参数?

模型参数与超参数的区别

模型超参数是在模型开始训练之前设置其值的参数。它们不能通过将模型拟合到数据来学习。示例:在上图中,x 轴代表 epoch 的数量,y 轴代表 epoch 的数量。我们可以看到,当 epochs 超过这个时间点之后,虽然训练准确度提高了,但验证和测试准确度开始下降。这是一个过度捕捞的案例。这里的时期数是一个超参数,是手动设置的。将此数字设置为较小的值可能会导致欠拟合,而较高的值可能会导致过拟合。不同模型中的模型超参数:

  • 梯度下降中的学习率
  • 梯度下降中的迭代次数
  • 神经网络中的层数
  • 神经网络中每层的神经元数量
  • k中的簇数(k)表示聚类

模型参数和超参数之间的差异表:

模型参数超参数
模型参数是进行预测所必需的超参数是估计模型参数所必需的
模型参数是通过优化算法(梯度下降、Adam、Adagrad)估计的。超参数是通过超参数调整来估计的
模型参数不是手动设置超参数是手动设置的
训练后找到的最终参数将决定模型在看不见的数据上的表现。超参数的选择决定了训练的效率。在梯度下降中,学习率决定了优化过程在估计参数时的效率和准确性
—— 完 ——
相关推荐
评论

立 为 非 似

中 谁 昨 此

宵 风 夜 星

。 露 , 辰

文章点击榜

细 无 轻 自

如 边 似 在

愁 丝 梦 飞

。 雨 , 花