Decision tree被广泛应用于分类、回归任务中，树有着强大的拟合能力，只要一棵DT的层数够深，就能够no error拟合任何训练集，当然，如果这棵树的深度太深，那不可避难地带来overfitting的问题。训练集上的no error，在测试集上肯定直接凉凉。所以，如果以决策树为基本的预测模型，一棵深树拟合能力很强，从训练集上看是一个强分类器，但泛化性能很菜（bias小，方差大）；一棵浅树必然拟合能力很弱鸡，是一个弱分类器（方差小，bias大）。如何取长补短、博采众长呢？那就是ensemble，木林森。 en…
上一篇关于batch normalization的文章我们写了BN的基本思想和做法。一言以蔽之，BN就是把输出在batch中做平均，数目为样本数；而LN是对一层layer中的输出做平均，数目为layer的节点数。 之所以要LN而非BN有三层原因。第一层是，当batch很小的时候，batch无法代表全局样本的分布，所以此时做平均就走偏了。第二层是，如果模型是一个动态的layer，比如RNN，那么有些数据可能有30个序列，有些数据有10个序列，那么在一个batch里，数据的序列数不同、layer数也不同，那么做batc…
batch normalization自从2015年由谷歌提出来之后，被广泛应用于神经网络的训练之中。例如在resnet中，作者在卷积层和激活函数之间应用了BN，从而提高模型的训练速度和平稳性。 BN简单来讲就是在激活函数前对输入的向量进行普通的标准化操作，不管它是来自于全连接层的输出还是卷积层的输出，都可以通过BN来进行标准化。 resnet block中使用了BN 一般情况下，普通的数据标准化是原始值减去样本均值，除以样本方差。也就是$\hat{x}_i = \frac{x_i - \mu}{\sigma} $…
