BianC的日常

  • 首页
  • 机器学习
  • 摄影作品
  • 算法拾遗
  • 热爱生活
机器学习
机器学习

树们-ensemble

Decision tree被广泛应用于分类、回归任务中,树有着强大的拟合能力,只要一棵DT的层数够深,就能够no error拟合任何训练集,当然,如果这棵树的深度太深,那不可避难地带来overfitting的问题。训练集上的no error,在测试集上肯定直接凉凉。所以,如果以决策树为基本的预测模型,一棵深树拟合能力很强,从训练集上看是一个强分类器,但泛化性能很菜(bias小,方差大);一棵浅树必然拟合能力很弱鸡,是一个弱分类器(方差小,bias大)。如何取长补短、博采众长呢?那就是ensemble,木林森。 en…

2021-07-05 0条评论 337点热度 1人点赞 superbianc 阅读全文
机器学习

Layer Normalization

上一篇关于batch normalization的文章我们写了BN的基本思想和做法。一言以蔽之,BN就是把输出在batch中做平均,数目为样本数;而LN是对一层layer中的输出做平均,数目为layer的节点数。 之所以要LN而非BN有三层原因。第一层是,当batch很小的时候,batch无法代表全局样本的分布,所以此时做平均就走偏了。第二层是,如果模型是一个动态的layer,比如RNN,那么有些数据可能有30个序列,有些数据有10个序列,那么在一个batch里,数据的序列数不同、layer数也不同,那么做batc…

2021-07-03 0条评论 301点热度 2人点赞 superbianc 阅读全文
机器学习

Batch Normalization 批量标准化

batch normalization自从2015年由谷歌提出来之后,被广泛应用于神经网络的训练之中。例如在resnet中,作者在卷积层和激活函数之间应用了BN,从而提高模型的训练速度和平稳性。 BN简单来讲就是在激活函数前对输入的向量进行普通的标准化操作,不管它是来自于全连接层的输出还是卷积层的输出,都可以通过BN来进行标准化。 resnet block中使用了BN 一般情况下,普通的数据标准化是原始值减去样本均值,除以样本方差。也就是$\hat{x}_i = \frac{x_i - \mu}{\sigma} $…

2021-06-24 0条评论 558点热度 2人点赞 superbianc 阅读全文
机器学习

SVM 一瞥

为什么从SVM开始呢,是因为之前听说SVM的中文“支持向量机”最早是由我的导师翻译过来的,如果没猜错的话应该是从关于统计学习理论与支持向量机这篇2000年的文章开始广泛传播的。不过在知网上也能搜到1999年李衍达院士写的交互支持向量机学习算法及其应用,但考虑到李先生是张老师的导师,具体是谁想出来的这个名字暂时也就无从考证了。 本文主要参考支持向量机通俗导论(理解SVM的三层境界)这篇来自CSDN的2012年的文章,写得十分深入浅出。我以学习的态度来写本文,既是为了重温一下经典的算法(谁知道去大厂面试的时候会不会考这…

2021-06-19 0条评论 170点热度 1人点赞 superbianc 阅读全文

superbianc

弱水三千,只取一瓢

请点击上方头像注册
归档
  • 2021年7月 / 5篇
  • 2021年6月 / 7篇
分类
  • 摄影作品
  • 机器学习
  • 热爱生活
  • 算法拾遗

COPYRIGHT © 2022 海的一边. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

京ICP备2021021901号-1