看到梯度消失的时候，突然发现了 Capsule Net 竟然是解决反向传播留下来的问题的，很感兴趣，打算研究一下。

这是深度学习经常会遇到的问题。

现在 CNN 网络中，没有不加 BN 层，来优化网络的，但是一直不怎么清楚原理，所以，在这里探究一下。

虽然，这里主要针对的是 CNN 之后的 BN 层，但是，其中的部分原理，对于数据的预处理归一化或者标准化也适用。

毕竟

Normalization 是数据标准化（归一化，规范化），Batch 可以理解为批量，加起来就是批量标准化。

这是 pytorch 中和 CNN 有关的方法。

毫无疑问，我们现在的和平生活是老一辈执剑人努力的结果。

因为 github 的搜索在百度并不好，并且，我的个人镜像网站，建了一个月了，百度还没有收录，所以，不如自己在 gitee 上建一个。

当然，也是因为国内人访问 github 的时候，网速不行。

最原始的 GAN 论文用的是 DNN 网络，而，DCGAN 用的是 CNN 网络。

代码来自于网上，我给修改成 torch 的比较新版本。

• pytorch实现GAN