LFD第二章笔记:Bias-Variance-Learning-Curve
07 Sep 2017从书本的泛化误差VC 分析, 我们了解假设集 \(\cal H\) 的选择既要考虑在训练集上与目标函数 \(f\) 相近—\(E_{in}\) 要小, 又要考虑其泛化能力, 在输入空间中的其他数据上的识别或预测性能要好 — \(E_{out}\) 要小.
Life is an _if_ case & an accumulation!
Life is an _if_ case & an accumulation!
从书本的泛化误差VC 分析, 我们了解假设集 \(\cal H\) 的选择既要考虑在训练集上与目标函数 \(f\) 相近—\(E_{in}\) 要小, 又要考虑其泛化能力, 在输入空间中的其他数据上的识别或预测性能要好 — \(E_{out}\) 要小.
书本上一节介绍 VC dimension, 并得到泛化误差的 VC 泛化边界, 具体笔记可参考 LFD第二章笔记:VC维 · Anifacc. 书本这一节解释 VC 泛化边界及其在实际中的理解, 具体包括一下内容.
深度学习模型花费时间大多很长, 如果一次训练过程意外中断, 那么后续时间再跑就浪费很多时间. 这一次练习中, 我们利用 Keras checkpoint 深度学习模型在训练过程模型, 我的理解是检查训练过程, 将好的模型保存下来. 如果训练过程意外中断, 那么我们可以加载最近一次的文件, 继续进行训练, 这样以前运行过的就可以忽略.
在前一节的读书笔记泛化误差中, 我们已了解泛化误差, 并经历千山万水得到假设集有效数的边界. 我幼稚的以为, 到这里, 证明的过程总算可以结束. 但是, 事实并不如此, 在书中, 我们还要啃一块骨头—VC维(VC Dimension). 本节笔记主要内容包括以下两部分.
本次练习将已经训练好的神经网络模型保存至本地磁盘, 如果未来仍需使用, 则可以直接读取调用. 因为训练深度学习不易, 不要不保存, 要不然以后再次需要模型, 则又要花好多时间成本去训练.
本文内容是阅读文献1的学习笔记.主要内容： G. Strang, Introduction to Linear Algebra(4th edition) ↩
