Here lists some issues when I was exploring Human-bot interaction.

本文译自：http://www.offconvex.org/2018/02/17/generalization2/ 译者：欧长坤

本文是关于我最新的论文并提供了一些之于我之前一篇文章新的关于「泛化谜题」的观点。

这篇新论文引入了一个基于压缩的基本框架来证明泛化界。并表明深度网络的是高度噪音稳定并可进行压缩。这个框架同时还未去年的一些论文提供了简单的证据（下面会讨论）。

回忆关于泛化理论的基本定理：具有 $m$ 个样本的训练集则泛化误差（定义为训练数据和测试数据之差）是 $\sqrt{\frac{N}{m}}$ 的高阶项，其中 $N$ 是网络的有效参数（或复杂度度量）；它最多可能是实际参数数，但实际上可能会少得多（为了便于说明，这篇文章将忽略 $\log N$等这些在计算中产生的干扰因素）。泛化之谜在于：当网络参数量高达百万级时即便当 $m=50K$，网络同样具有相当低的泛化误差（比如 CIFAR10）。反过来想，从某种意义上来说这似乎在告诉我们，网络的实际的参数量是远低于 $50K$ 的。

这里N是网络的有效参数（或复杂性度量）的数量; 它至多是可训练参数的实际数量，但可能会少得多。 （为了便于说明，这篇文章将忽略\ logN等这些也出现在这些计算中的讨厌因素）。神秘的是，即使当m = 50K时，具有数百万参数的网络也具有低泛化误差（如在CIFAR10数据集中） ，这表明真实参数的数量实际上远低于50K。

Bartlett et al. NIPS'17 与 Neyshabur et al. ICLR'18 尝试类似于 PAC-Bayes 和 Margin 的有趣想法对复杂度度量进行量化（同时也影响了我们的论文）。但终究这种量化是不切实际的——量级比实际参数量还要多。相比之下，我们的新估计值要好几个数量级，并且更加有意义。下面的条形统计图进行了说明（所有的 bound 都忽略了干扰因素，可训练参数的数量仅用于表示比例）：

几个初步的 Go 语言特点：

• 类型安全
• 简洁的面向对象
• 语言级并发
• 垃圾回收

一共 25 个关键字：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

package         包引入
import          包引入

const           常量

var             变量

type            类型

goto            流程控制
if              流程控制
else            流程控制
break           流程控制
continue        流程控制
default         流程控制
switch          流程控制
case            流程控制
fallthrough     流程控制
for    	        流程控制

func            函数相关
return          函数相关
defer           函数相关

struct          面向对象
interface       面向对象

map             数据结构
range           数据结构

go              并发相关
chan            并发相关
select          并发相关

在前面两篇文章中，我们快速的聊完了深度学习的相关历史知识，从第一个学习机器感知器的诞生、到反向传播的首次再发明、理论派和实践派对 ERM 原则的不同看法以及为学习理论能够真正学到智能从而解决 ill-posed 问题的正则化手段。在理论学派看来，自然语言性质的描述永远是不够的，我们需要发展一套理论来严密的从最一般性的原理出发，彻彻底底的解决机器学习的基础，我们常说的学习到底是什么？我们提过很多次的 ERM 到底有什么特殊之处能在起基础之上产生两个方向完全不同的学派？这篇文章就正儿八经的从符号定义出发，对「学习理论」进行形式化。