考虑加深网络的深度，肯定希望是出现右图的情况，即更深的网络搜索的范围一定比原来的更广阔并且对全局 minima 更近，但是网络可能会出现左边的情况，也就是更深层的网络距离最优解更远

pp8J8fJ.png

因此可以提出一种残差网络的做法：定义残差块为

\(h^l=W*h^{l-1}+h^{l-1}\) 这样更深层的网络就包含了前面的网络

pp8JJp9.png

pp8J3Y4.png

pp8aoyd.png

以下是流程

从 224*224*3->112*112*64 通过一个 7*7 的 64 个 fliter 的卷积核，然后通过 mean-pooling

之后的网络升级维度可以看这个网站

不过没有 ResNet34