Generalization in Deep Learning, Kenji Kawaguchi

arXiv: https://arxiv.org/abs/1710.05468

ReLU 网络的路径展开

Section 5、6 是全文最有趣的地方了，可惜这个地方作者表达得不是特别好。一个比较主要问题就是作者没有说明 $w_\sigma$ 的定义，这导致了很多人往后就开始懵逼。我问了一下 Kenji ，确认了一下我的理解，他也承认这个地方写得不是很好，因为 $w_\sigma = \bar{w}$，他使用不同记号的原因在于在 5.3 里面要解释 two-phase training。

从高中毕业以后，再也没有受过正儿八经的文学熏陶，感觉几乎丢失了表达能力，以前的我是很喜欢用键盘来宣泄情绪的。 而现在的我，无论是生活、感情还是技术都有过不同程度的感悟、提升后，几乎不愿意甚至不再能够行云流水的分享自己的感悟了。现在的我，突然感觉已经加速「衰老」，步入「三十岁中年」了。2017 年过得很累，希望 2018 能够过得好些吧。

2017 年一整年十二个月的时间总共有是十一个月待在国外，接触到中文实体书的几率大大降低了。加上越来越忙，而精力有限，一年下来回头看看发现论文倒是看

本文译自：http://www.offconvex.org/2018/02/17/generalization2/ 译者：欧长坤 正如我们在博客

最近两天参加了 SIMENSE 举办的 AI Lab Hackathon，手残在 GitHub 上把账号和密码信息泄露上去了。 不过好在账号是临时注册的账号。虽然是临时账号，但我还是比