说明 欧长坤 原创作品转载请注明出处 《Linux内核分析》MOOC课程http://mooc.study.163.com/course/USTC-1000029000 这学期学校恰好有操作系统的课程，上个学习就开始寻思研究研究Linux内核代码，恰好MOOC有这个课程，遂选了此课。 一、实验过程 首先，我们将C语言代码利用编译器编译成汇编代码，下面是C语言代码： 1 2 3 4 5 6 7 8 9 10 11 12 int g(int x) { return x + 999; } int f(int x) { return g(x); } int main(void) { return f(0) + 1; } 值得一提的是，事实上在我们没有使用标准C语言库的时候，可以不引用任何头文件（比如#include 就是不需要的）。显然，上面的代码并没有用到任何库函数。 通过gcc的功能，我们可以自定义编译参数来控制编译选项，我们为了让上面的代码编译成32位汇编代码，使用下面的命令： 1 gcc -S -o main.s main.c -m32 其中我们的编译环境为Mac OS X 10.10，所以提供的编译环境为64位编译环境，所以使用了参数-m32将C语言代码编译为32位汇编代码，而-S表示只是编译不汇编，生成汇编代码。而-o file表示将结果输出到file中。 我们可以观察生成的.s文件，如下图所示。 bwlq分别代表8、16、32、64位寄存器操作，所以我们可以看到这里的汇编指令l结尾，说明这些指令都是操控32位寄存器长度。 我们保留纯汇编代码的部分，得到如下的汇编代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 _g: pushl %ebp movl %esp, %ebp pushl %eax movl 8(%ebp), %eax movl %eax, -4(%ebp) movl -4(%ebp), %eax addl $999, %eax ## imm = 0x3E7 addl $4, %esp popl %ebp retl _f: pushl %ebp movl %esp, %ebp subl $8, %esp movl 8(%ebp), %eax movl %eax, -4(%ebp) movl -4(%ebp), %eax movl %eax, (%esp) calll _g addl $8, %esp popl %ebp retl _main: pushl %ebp movl %esp, %ebp subl $24, %esp movl $0, %eax movl $0, -4(%ebp) movl $0, (%esp) movl %eax, -8(%ebp) ## 4-byte Spill calll _f addl $1, %eax addl $24, %esp popl %ebp retl 下面我们来分析这段代码的行为。

欧长坤初次发表于『知乎』, 转载请注明出处。

这个问题问得很深刻，人们花了很长的时间才领悟到这个问题的答案，所以解释起来有点费力。我这里尝试性地做一个解释。 首先，我们需要搞明白三件事情：什么是一个学习问题、什么是风险最小化、什么是经验风险最小化归纳原则。

什么是学习问题？

对于一个学习问题而言，给定了训练样本$(x_1,y_1),(x_2,y_2), … , (x_l,y_l)$，而训练的样本是根据联合分布$F(x,y)=F(x)F(y|x)$抽取的l个独立同分布的观测。学习问题就是从给定的函数集$f(x,\alpha),\alpha \in \Lambda$中选出能够最好地逼近训练样本的函数，换句话说，就是用最优函数估计样本背后蕴含的统计规律——用$f(x,\alpha)$估计$y$。 注意，$\Lambda$是参数集合，参数$\alpha\in\Lambda$并不一定必须是向量，可以是任意多抽象参数。

还没到年根儿，却已经忍不住开始默默地盘点。2014年对我而言感受最深的一个词，就是修行。 有人说，世人痴愚、真妄难辨，人间殊途尽是同归，一切尽是福报，关努力什么事。 有人说，你那么努力，忍受那么多寂寞和纠结，也没觉得你有多优秀。 修行为何，为何修行？且听我娓娓道来。 一、关于奋斗 {% centerquote %} I have never let anyone else interfere with my education. {% endcenterquote %} 还是和去年一样，从美赛说起吧。 美赛的时候有几个小插曲，也算是比较难忘的经历，有一个队友原本应该赶回学校一同奋战，却因天气原因无法赶到。 当然，这不是最有趣的，最有趣的是，我三个人竟然同时搞错了比赛时间，原本应该持续四天的比赛被我们当做了三天。 也就是说我整整提前了一天提交了论文。在第三天的晚上，我和在学校的队友黄沐简直急得火急火燎，看着其他比赛的同志们，我们俩心理是这么想的：“我去…等会儿早上八点就要交paper了你们真的大丈夫吗…竟然回去睡觉…而且比赛的最后一个晚上了竟然一个老师都没有…”。而且按去年的经验，邮件提交了paper之后应该会有一份收到确认的邮件，而今年却迟迟没有出现。（比赛结束后才知道今年的比赛没有邮件确认的回复） 当然啦，很自然的过了早上八点以后我们就意识到是我们自己傻逼了…原来距离比赛结束还有整整24小时，果断滚回去睡觉了… 其实看到最后证书上是个M奖的时候自己还是小激动了一下，不过马上就听到说章谢刘诸神们竟然拿了O奖，我觉得我还是滚去机房默默敲代码了［1］。 春节很快就过去了，我毫不犹豫的进一步完善到现在为止综合代码量已经接近四万行的项目（注意：行数越多，水平越渣，你可以想象我有多渣了），并继续推进它，无论怎样，人们总会希望将自己的作品在最完美的时候展示给他人，当然我也不例外。 所以为了给自己营造一种满满的期待感，便带着去年大创作品的微小改进版去参加了省内的某个比赛，当然，我不能妄加猜测评审老师如何如何，但我成功的在一个平台上充分的展示了它们，以及这个项目未来的意义。至于是否有吸引到其他人，他人是否能够理解，我觉得都不太重要了。 这个项目花了我很长时间来思考，在架构整个项目的过程中，我几乎独立的“重新发明”了计算机科学领域的几个核心学科。 比如，对于一个完全对协议栈没有概念的人，在思考如何让整个服务器架构变得自洽时，我几乎重新发明的几个关键性的网络协议； 又比如，对于一个仅写过一些拙劣的C++代码（当然现在也很烂）、只懂得基本OO思想的人，在思考如何保证数据传递的有效性时，我几乎重新发明了lambda演算； 还比如，对于一个完全对数据库系统没有概念的人，在思考如何使用txt对海量数据进行IO时，我几乎重新发明了数据库； 再比如，对于一个完全没有详细研究过操作系统设计的人，在思考如何部署分布式集群服务器时，我几乎重新发明了操作系统中关于并发控制、内存cache与抢占等几部分； 等等等等… 在这个项目里面，有很多我自认为很帅气的架构方式，比方说项目的某部分infrastructure是我独立开发的一套专门给我自己用的支持分布式集群的并行ML算法框架（我现在占时把它叫做OOMLPalallel.framework，当然肯定不是最后的名字啦，肯定要换一个既文艺又牛逼的名字，好吧，虽然写了一年多，支持的算法也只有五个Orz… ），尽管网络上可能已经有类似商业实现，但是作为一个程序员，总会有自己全新打磨一个轮子的冲动，所以也算是自己亲身经历了一次大型项目开发的快感。 我预支了几个月的生活费租用服务器抓取了新浪微博的所有我想要的信息，只是为了有足够的计算资源，验证我的框架究竟能不能奏效。 所以到了项目中期答辩的时候就开始各种忍不住了，本来这套ML框架我打算墨迹到最终结项时候再搬出来吹牛逼，却还是忍不住偷偷在答辩的Keynote里面透露了一点点影子。结果没想到效果很不成功，已经花了一篇日志［2］的篇幅来描写我自己的看法，这里就不继续赘述了。 无论怎样，我还是决定继续奉行所有部分一定要在基本完工、基本完美的时候向世界宣布。所以如果不出什么意外的话，我计划等到项目结题的时候我再把 all these stuff 全部开源，也算是作为我大学时光里耗时最长、投入最多项目的一个印记吧。 暑假时算是上了一门比较正式的外语课了，这门课的名字叫做人机交互。Hussmann教授一股带有浓烈德语腔的英文说得我一惊一乍（澄清一下，是我英语烂，不是老师说得烂），到现在我仍然非常惭愧的对不起这门课的是，有好几堂课真的是全程天书完全没有听明白说了什么。 值得一提的是，这门课几乎彻底激发了我体内潜在的处女座特性（好吧虽然我是天秤Orz..），尽管以前我对用户体验有一些个人的拙劣看法，但是上过这门课并读过推荐的基本读物之后，我反正是感觉世界观都被小小的波动了一下的。 大一的时候就听学长学姐们说，大三之后真的是非常的忙，简直忙透了。我一直都不以为然，结果当我真正经历的时，还真是从开学忙到期末，抛开自己给自己安排的休息时间基本上就是跑跑跑。 比如什么一天到晚都是课即啦； 比如周末还要去上班啦； 比如根本不敢生病啊一生病就是校医院玩不起的那种得天天往人民医院跑啦； 比如什么报个帐要先预约再签字后画押，从开始上班时排队排到下班都没有排到我，来来回回折腾至少得两三个星期啦； 等等。 基本上都是整个人感觉要疯掉了的节奏。 当然，忙中作乐也是很常见的，讲课就是一件非常有趣的事。我第一次上讲台不仅是初中，而且还是数学老师叫我上的台。从那时起，几乎每次有机会上台都有让我爽到。我一直觉得都很幸运，高中的数学老师也很帅，也上我上过好几起讲台。肚子里只要是攒了一点干货，总是会找着机会吹吹牛逼。 不过令我没想到的是数学建模协会又一次让我去给学弟学妹们讲课，当然，虽然口头上有所推迟，其实还是很高兴的答应了。逮着机会能在学弟学妹们面前吹吹牛逼，何乐而不为(￣▽￣)呢。值得一提的是，这届新生真的好爱学习啊！ 去年的这个时候，我就决定要做一个视频教程，一做就是半年［3］。尽管网上有很多网友催我继续更新，但是就我现在这个忙活劲儿，短期之内是不太可能的了。不过，下次更新的时候，可能就是一个全新的系列了。 但是今年重讲建模的时候，我新做了几份，内容精简了不少，我个人感觉也精致了不少，就我个人的感触，经过了一年的沉淀，以及一次获奖的实战，对建模的认识更进了一步，算做这个系列的Version2，我个人还是非常满意的。一旦我有时间，就重制整个教程。 二、关于感悟 {% centerquote %} By appreciation, I make excellence in others my own property.

睡前在知乎上看到一个类似的问题，于是也忍不住也自己盘点了一番，看的书不多，不过列出来的我感觉都是精品。 技术类的书就不说了，主要分享一下更偏人文类的吧。 这些书分别有实体版购买的，有多看购买的，也有kindle版购买的。 下面就是清单，考试完再加一下自己的推荐理由吧： 《创业时：我们在知乎聊什么》 知乎编著 《金钱有术》 知乎编著 《金融的解释》 王福重著 《我知道你不知道的自己在想什么》果壳著 《工匠精神：向价值型员工进化》付守永著 《乔纳森传》 利恩德·卡尼著 《失乐园》渡边淳一著 《Sophie’s Choice》 William Styron著 《极简欧洲史》 约翰·赫斯特著 《怪诞心理学2：不可思议的心里操控》 理查德·怀斯曼著 《颠覆医疗：大数据时代的个人健康革命》凯文·凯利著 《教训：互联网创业必须避免的八大误区》 腾讯科技频道著 《跨界的诱惑：中国软件外包和当下社会转型的个人记录和思考》 张涛著 《跨界：开启互联网与传统行业融合新趋势》 腾讯科技频道著 《普林斯顿数学指南（第三卷）》 Timothy Gowers 主编 《生命不息 奋斗不止》 罗永浩著 《硅谷百年史》 阿伦·拉奥等著 《摄影的想象与创新 超现实摄影》 丹尼拉·鲍克著 《乔布斯的魔力演讲》 卡迈恩·加洛著 《呼兰河传》 萧红著 《生死场》 萧红著 《参与感：小米口碑内部营销手册》 黎万强著 《黑客与画家》 Paul Graham著 《大道至易：实践者的思想》 周爱民著

早晨起床看邮件，发现收到了水果发来的WatchKit框架发布通知，遂中午下课马上开始看框架，发现WatchKit暂时作为一个iPhone App的Extension，还算是比较简单，Apple Watch只负责显示，一切计算都由iPhone完成。但是粗略读了文档后相信水果肯定会把Apple Watch逐步打造为一个独立平台，毕竟这个框架还是beta版。

Python操作MySQL，一个常用的方案就是使用MySQLdb库，安装在之前的日志已经介绍过了： Mac下新安装的MySQL无法登陆root用户解决方法 下面我们来看看如何使用Python操作MySQL，基本逻辑分为四个步骤。 包含MySQLdb库 1 import MySQLdb 与MySQL建立连接 1 conn = MySQLdb.connet(host='localhost', user='root';, passwd='root", db = 'euryugasaki', port=3306) connect()方法用来提供与MySQL的连接，接受多个参数，返回连接的对象： host: 数据库主机名，默认是本地主机 user: 数据库登录用户，默认是当前用户 passwd: 数据库登录密码，默认是空 db: 使用的数据库名，没有默认值 port: MySQL服务使用TCP端口，默认3306 连接对象提供了对事务操作的支持，标准方法有： commit() 提交 插入更新数据的时候一定要执行commit()否则不能真正的插入数据。 rollback() 回滚 运行SQL语句并接受返回值 1 2 cursor = conn.cursor() n = cursor.execute(sql,param) 我们需要使用连接返回的对象获得一个cursor对象，并使用cursor提供的方法来进行工作。这类方法包括两大类： a) 执行命令 callproc(self, procname, args): 用来执行存储过程，接受的参数为存储过程名和参数列表，返回值为受影响的行数. execute(self, query, args): 执行单条SQL语句，接受的参数为SQL语句本身和使用的参数列表，返回值为受影响的行数. executemany(self, query, args): 执行单条SQL语句，但是重复执行参数列表里的参数，返回值为受影响的行数. nextset(self): 移动到下一个结果集 b) 接受返回值 fetchall(self):接受全部的返回结果行.

谈CV，其实只需要从著名的Image Net Challenge说起就已经足够了。 多年前， CV的data set都非常非常小，几百个category几万张image已经顶天了，使得无法设计complex vision model。否则由于模型复杂度太高，data set太小，最终只能Overfitting。 2012年的时候，有个叫Feifei Li的女士人发起了巨型数据库ImageNet。如今ImageNet上已经有了接近1500W张图片了。每张图都是人工记录图片中物体的名字，并向全世界宣布：同学们，你们谁开发出了新的Object recognition算法，就在这个数据库跑跑看吧。 所以，2012年的时候，就有了 Large Scale Visual Recognition Challenge，而比赛的结果会放在每年年底的NIPS公布。 当时大多数“科研工作者"还在用传统的computer vision算法时，DL大牛Hinton放出大招——DeepNet。 差距是这样的： 第一名DeepNet的error rate是0.16422 第二名是日本东京大学，error rate是0.2617 第三名是牛津大学，error rate是0.2679 其实仔细对比第二三名的具体实现，他们使用的技术框架都非常接近，基本上就是传统的local descriptor+feature compression这一套。而在这套实现上，两者的差距几乎是可以忽略的——看看DeepNet的error rate就知道了。 当时Hinton大神就放话了：“你要是没有参加前十几年的NIPS，没有关系，因为DeepNet今年才开始真正的work了”。虽然DeepNet如此牛逼的效果，但是很多的“业内人士”就觉得很不爽了，觉得这玩意儿简直就是扯淡。我觉得可能有下面几个原因： DeepNet很可能只是Overfitting，因为参数实在是太多了…6KW+ DeepNet实际上是一个黑箱，还不能从理论上详细分析里面到底在干嘛，对CV的贡献可能很有限。 DeepNet只能解决Object recognition这一个问题，而想要做到Object detection、segmentation这些基本问题，基本上也就残废了。 其实，在0.5个百分点的performance提升都可以被顶级会议收录为“major contribution”这样的一个时代，被一个和最近十年computer vision尤其是object recognition领域的进展几乎没有任何交集的方法超过了十个左右的百分点，难免出现大众不接受的情况。但是，一场“革命”却已经开始了。 一年后，2013年，新一轮的large scale visual recognition challenge又开始了，这时候，DeepNet却已经统一江湖了：排名第一的算法，在没有额外的traning data的情况下，跑到了error rate 0.1174这样的成绩。 这个成绩是这样的：随机挑选一张图片，扔给算法去跑，算法返回五个结果。如果有一个结果猜对了，那么就算作正确。也就是说，如果允许瞎猜五次，第一名已经能够拿到90%的准确率。注意，这里的object category有两万多种，几乎覆盖了所有类别。 那么，DeepNet的瓶颈在什么地方呢？看看CVPR14paper的title and abstract，CV圈子里在两个方面做improvement，但是却没有push。最终搞得DeepNet越来越像一门具有浓烈性质的实验学科，大概就是这个样子： 如果对2012年Hinton大神的架构修改太多，将会出现各种惨不忍睹，各种毁于一旦。 很少人有强劲的数学功底能够从理论上分析DeepLearning到底在干嘛，而即便是有强劲数学功底的那些人估计也看不上这套理论。 可惜，图片数量实在是太过庞大，从工程上来看，在几周或者几天时间内完成百万级甚至千万级的Image data，真的是太难太难了。 这样的话我更有理由去相信：只要愿意花时间，一个本科学生train出来的DeepNet和那些在Google百度工作了积累了十几年经验的工程师、教授train出来的，没有太大区别。 不知今年的结果不知道怎么样，得等到12月份的NIPS14了。也不知学术界什么时候能够找对方向，结束这个目前以实验报告为成果展示的探索阶段，从理论上，从根本上解释这个被“炒”得“伟大”的理论究竟为什么如此奏效。 参考与进一步阅读 ImageNet Large Scale Visual Recognition Competition 2012 ImageNet Large Scale Visual Recognition Competition 2013 Conference on Computer Vision and Pattern Recognition 2014 https://code.

今天听P哥说写了个爬虫抓我网站玩，所以就比较好奇分析了一下P哥来抓我网站的一个行为。 其实听着分析很高端的样子，本来我打算用python写个脚本的，后来一想干脆就用awk算了，也就简单分析一下，等以后有时间部署个分析平台。 这是日志格式: 1 2 3 4 5 6 218.5.46.14 - - [26/Jun/2013:19:21:28 +0800] "GET / HTTP/1.1" 200 1115 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1" - 218.5.46.14 - - [26/Jun/2013:19:21:29 +0800] "GET /favicon.ico HTTP/1.1" 404 564 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1" - 218.5.46.14 - - [26/Jun/2013:19:21:45 +0800] "-" 400 0 "-" "-" - 220.181.126.47 - - [26/Jun/2013:19:29:02 +0800] "GET / HTTP/1.

第一次有图书馆概念的时候是初中，还是从数学老师那儿听来的，当时为了能够进去借书，好像还费了点儿功夫，记得初中的图书馆是不能在书架（虽然只有不到二十个架子的书）上直接查阅的，管图书馆的老师会给你一盒卡片，卡片上只写了图书的名字，看上了，就把卡片取出来，让老师进去取，而且只能借一周，否则就得罚钱，作为一个连零花钱都得申请的小朋友当时真是深感忧伤。不过想想当时在这种规模的图书馆能够借到北大文革时期的高等代数的教材，也是觉得很幸运，也不知道现在图书馆拆了没有。 高中就没有图书馆了，所以那段时间我一再怀疑是不是高中还没有初中牛逼。没有图书馆，就让我养成了一个比较“坏”的习惯：买书。 我似乎是那座县城里面比较早使用淘宝的人，初三的时候为了买魔方，才好不容易从我妈成功申请允许我办网银。然后才发现淘宝是一个逆天的玩意，所以从那以后我的所有数学书都是从淘宝上获取的。记得高二那会儿听网友说陈天权编了一本逆天的数学分析，果断就淘了一本回来，确实碾压以前读过的欧阳光中编的数学分析。作为一个爱买书胜过爱看书小朋友，如果本本书都自己买，实在是没有那个经济能力。所以后来准备高考，也就收敛了许多。 到了大学里，对图书馆的激情一下子又被调动了起来，大二以前，几乎一有时间就会往图书馆跑，尤其是大一，那会儿就如同乡巴佬进城，对大学图书馆的向往简直是无法言喻——太特么大了，看到满架子都是自己感兴趣的书，真是一件超级爽的事情。尤其是高二那会儿去长沙比赛的时候，到中南的图书馆仅仅短暂走了两圈，简直感觉就像进了天堂。而今天经过图书馆的时候，我实在是提不起进去的兴趣了，我觉得可能有几个原因： 图书馆资源相对陈旧，我感兴趣的图书多半早就已经读过至少一遍，或者已经自己买过了。 自己有了电脑并且拥有了能随时接入互联网的能力，还并具备轻量级的经济能力，图书馆资源的更新速度之缓慢实在是无法满足自身的需求了。借书？太慢了，还不如我上午下单，下午收货来得愉快。甚至，图书馆还不一定有。 毕竟是借的书，不能在书上“乱写乱画”，我有个癖好就是会把自己的一些想法附注在书的旁边（从费马那偷来的），所以这样的书也只能读读，不能把东西真正变成自己的，即便是摘抄下来。 图书馆对我而言现如今更像是一个能安静的看书的地方，但是，这样的话图书馆不就失去了它坐拥海量资源的优势了吗？说到底，还是信息化又在逐步干掉另一个“百年老树”了。

这是最糟糕的一次pre。想想之前我还饶有兴致的做着可能是这辈子最认真的keynote，各种神奇的特效，而实际收获的效果为零。 首先答辩的整个scene就很随意，在整个pre还没有正式开始之前我，我大致说明了一下，内容是：“这次pre的内容可能有点多，所以我可能语速有点快，如果有没听清楚的内容，及时打断我，这次pre的内容主要包括一下几个方面：……”…“我说一下，你注意主要围绕xxx说一下就行”…………无情的被插话，而且是完全无视我之前说了什么的插话，明明我正在说的就是你插话的内容。瞬间我想到了罗永浩的嘴脸。 所以我决定保持风度，像自如老大一样。但是内心仍然是非常的不爽，于是我果断决定切换到准备的第二套pre方案。 开始讲近场定位，本来这里有很多关于hci的idea，但是没有说出口，我知道说了和没说其实是一样的，所以干脆也就咽了下去。讲完后：”关于这里有疑问吗？“，我好像听到了有小声说了一句：”这家伙说的到底是什么东西？“………………what are you doing before? 开始讲machine learning和deep learning了，这是我最自豪和得意的part，但是我猜想除了周老师其他几个老师可能根本不懂我在说什么。 还真的是这样，开口就说我不知道convergence还怎么做这个algorithm。 我甚至怀疑ta到底不知道basic statistics model，开口就喷，也是醉了，我在keynote里提到convergence还不明确，这是诚实，看看那些诡异的才push 0.5个百分点的conference paper，他们什么都不说，研究paper的时候我也只有一路呵呵。 刚开始我还抱有幻想，尝试去解释清楚让ta理解为什么这个算法的convergence在theoretic analysis还做不到，说了一半我放弃了，whatever。 我想，关于cloud computing的idea全完没有传达，这部分的关键性idea才是这个project真正有趣的地方。可是得到的是不断提醒我注意时间，我想我也是醉了…明明才讲了五分钟不到…………………………说好的十分钟呢…能听我讲完吗？能听我说一句吗？明明时间花在了你们提问上，我的语速已经够快了……… 最后强调了一下所有的result都会用GPL到我的homepage上，但我知道我的homepage不会有任何额外增加的UV，就像之前我描述他们现场行为表现的那样。 我猜想我可能get到了真相，其实nobody cares what are you create, what is the most creativity idea for the project, they just wanna finish this early. 又或许是我自作多情了，有点过分看重pre了，but I did all this seriously, at least. 好吧，我这个吐槽的习惯不好，对不起。