batch normalization自从2015年由谷歌提出来之后，被广泛应用于神经网络的训练之中。例如在resnet中，作者在卷积层和激活函数之间应用了BN，从而提高模型的训练速度和平稳性。 BN简单来讲就是在激活函数前对输入的向量进行普通的标准化操作，不管它是来自于全连接层的输出还是卷积层的输出，都可以通过BN来进行标准化。 resnet block中使用了BN 一般情况下，普通的数据标准化是原始值减去样本均值，除以样本方差。也就是$\hat{x}_i = \frac{x_i - \mu}{\sigma} $…
latex中的各种“帽子” hat \hat{A} $\hat{A}$; \widehat{A} $\widehat{A}$; \tilde{A} $\tilde{A}$; \overline{A} $\overline{A}$; \overbrace{A} $\overbrace{A}$; \overset{a}{b} $\overset{a}{b}$; \overleftarrow{A} $\overleftarrow{A}$; \overrightarrow{A} $\overrightarrow{A}$;
今天使用python3.6读取存好的pickle文件时报了unsupported pickle protocol: 5的错误。 原因是我用的python版本是python3.6，但是那个pkl文件是用python3.8创建的，而pickle protocol:5是3.8的默认protocal，python3.6只支持到4。 解决方法是：在python3.6的环境里装上pickle5这个包。 然后再到python代码里，用import pickle5 as pickle; 之后就把它当pickle用就完事了。
