深度学习模型调参总结

绝大部分内容参考自《Machine Learning Yearning》

Bias 和 Variance

误差(bias)是指提升优化算法在训练集上的误差，也就是差错率，有误越大偏差越大，欠拟合

标准偏差（variance）是指蚁群算法在开发设计设计方案集（或检验集）上的表現比训练集算差多少钱，还能够解读为多种共线形，具体表现 为训练集准确度很高，检验集在的命中率很低

可避免 误差和在所难免误差

误差可以分为2个一部分，包括可避免 误差和在所难免误差

如何对待：假定现阶段一个各种各样稀世动物识别技术性，每日每日任务艰难大，即使由大家来差别，也存在14%的差错率(最好差错率)

现如今蚁群算法保证：

训炼差错率=15%

设计开发差错率=30%

可以将训炼差错率(误差)融解下列：

最伏差错率(“在所难免误差”)：14%，可以将其认为是培训学习蚁群算法的误差“在所难免”的一部分。

可避免 误差：1%。即训炼差错率和最伏误差正中间的误差。

举个例子，该例子中最好差错率是 14%，大伙儿有：

● 训炼误差 = 15%

● 设计开发误差 = 16%

i这种情况下，可避开的误差误差是 1%，标准偏差误差约为 1%。因此，蚁群算法早就做的不错啦，基本上上并没有提升的房间内室内空间。它只比最好是差错率低 2%

怎样设置希望误差

运用大家具体表现水平来很有可能最好差错率，并设置可达到的“希望差错率”。 假定你的计算方式在某一每日每日任务上实现了 10% 的误差，但普通人可以实现的误差是 2% . 进而大伙儿就可以掌握最好差错率是 2% 或更低，这也表明可避免 误差至少是 8% . 因而你理应考着一下降低误差的专业性。更一般地说，有一个合理可以达到到的“希望差错率”可以堅持你去很有可能培训学习蚁群算法的可避免 误差。这反过来也帮你管理决策能不能运用误差降低专业性

误差和标准偏差的几种情况和解决方案

1）假定训练集差错率1%，设计开发集差错率10%，则样本方差大，多重共线性

• 修改数字模型架构

  降低数字模型企业规模（比如神经元细胞/层的数量），降低互联网技术繁杂性

• 提高正则化

  • L 1 Regularization

  • L 2 Regularization

  • Dropout层

• 再加上Batch NORMalization

• 加上提前终止（Early stopping）

• 数字模型校准

• 依据数据信息预备处理减少输入特性的数量和种类

• 特性svm算法

• 根据误差剖析修改特性

• 检测训炼数据信息和数据处理是否有较为应的特性，样本分布是否一致，不一致的情形下，再度特点工程项目工作中中

• 提高训炼信息内容的种类，促进训炼数据信息遮住所有数据处理的特运用数据增强

• 提高数据量

2）假定训炼差错率为15%，设计开发差错率为16%，这个时候，误差比较大，欠拟合

• 提高训炼epoch

• 增大batch-size

• 调整激话涵数(例如运用relu)

• 调整粒子群算法

  • 例如运用Adam

  • 增大learning rate

• 提高互联网技术多元性

  • 提高网络层数

  • 提高卷积层输出的安全性安全通道数

  • 提高池化层的节点数

• 检测训炼数据信息和数据处理是否有较为应的特性

  • 提高训炼信息内容的种类，促进训炼数据信息遮住所有数据处理的特性，

  • 提高外部数据信息，倘若忧虑外部数据信息空气污染training set，可以将外部数据信息的权重减少一点

  • 数据增强

3）假定训炼差错率为15%，设计开发差错率为30%，高误差，标准化差

这个时候，先要解决误差难点，仅有在训练集上慢慢收敛了，才能够慢慢充分考虑检验集在的标准偏差难点。因此遇到如此的情况，先按照高误差解决，高误差解决之后，也许很有可能标准化差的状况也就消失了，如果沒有消散，在充分考虑解决标准化差的难点。

4）假定训炼差错率为0.5%，设计开发差错率为1%，低误差，低标准偏差（完美状况）

5）假定训炼差错率为0.5%，设计开发差错率为1%，低误差，低标准偏差，但是设计开发集Loss在最低点持续起伏

• 明确训练集和检验集遍及是否具备较大的区别，区别大得话进行特征工程

• 明确是否数据增强做的太多了

• 尝试调整学习率，在不一样阶段运用不用学习率

• 思考和检查网络是否或者有点欠拟合，倘若也是有，解决欠拟合

• 找寻很多训炼数据信息，使其能够遮住较多的样本分布

数字模型调参Pipeline

• 设定固定不变任意种籽

• 先无须运用数据增强

• 设置科学合理的baseline

• 多重共线性一个batch，接着观察loss至少可以到达多少钱，对比baseline，如果可以到达很低，进行下一步，倘若不太好，则充分考虑 情况2）

• 制做training和testing 阶段的loss趋势图

• 验证loss函数

  • 倘若train loss 小

    • 倘若test set 的loss 大，而train set 的loss小，说明多重共线性，发展趋势1）解决

    • 倘若test set的loss 也小，那么绝大多数称得上成功了

    • 倘若test set 的 loss 也小，但是起伏，运用 情况5）解决

  • 倘若train loss 大

    进到步骤2）

已优化模型如何进一步提高

• 优化网络结构，运用迅速的backbone

• 运用迅速的LOSS涵数，比如：重归难题可以充分考虑smooth-l1等

• 充分考虑运用难例挖掘的方法

• 有规范的话，加大batchsize

• 充分考虑预训练模型

• 观察检验模版，检索case，针对Case来，弥补模版 数据增强

• 尝试不一样的提高涵数，交替训炼，fine-tuning

• 不一样的权重校准方法

• 尝试不一样的学习率初始值和衰减系数值

• 充分考虑在方向导数上狠下功夫，可以是方向导数裁剪、方向导数校验、方向导数归一化等方法

• 再度特征工程（一般最有效）