三四中文

手机浏览器扫描二维码访问

第14章 万事俱备(第2页)

更深的网络特别难以训练,因此原本直到14年,谷歌和牛津才分别把这个深度推进到22层和19层。

而Resnet的思想,彻底从根本上解决了网络变深就没法顺利训练的问题。它让5o,1oo,15o,甚至1ooo层网络的训练成为可能。

“从去年的8,到今年的1oo+层,甚至1ooo层也可以训练。在2o13年的视角来看,这一剂猛药应该够劲了。”

不仅是深度上取得了开创性的突破,Resnet的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构,单模型达到了4.6%左右。

如果综合几个不同方式训练的Resnet,平均他们的输出再去预测的话,其Top-5错误率甚至低至3.7%。

“其实在ImageneT上做得太准了反而是一件怪事。”

考虑到后世的研究中,该数据集中的标签其实有不小的比例是错误的,越贴近百分之百的准确率反而越有一些荒诞的感觉。

Resnet的Res指residua1,正经点说是残差,说得明白一些是一种短路或者是跳跃链接。

再说的浅显一点,假设原本的操作为f(x),Resnet就是把计算过程从f(x)改为f(x)+x。

这也是孟繁岐最早与付院长讨论的内容之一。

这种不带任何参数的支路链接,直接把操作前的内容加到操作后的内容上,是深度网络突然能够在上千层的深度下收敛的秘密所在。

在此之后的几乎所有aI文章,都很难绕得开这个思路。kaiming本人单就这一篇文章,就在六七年的时间内收获了十五六万的文章引用。

不得不说这是一个天文数字。要知道即便是naturenetce三大世界级顶刊常客,著名华国美国双料科学院士抽出一个来,至今为止所有文章的总引用数量加在一起五万多都算是多的了。

当然了,单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。

很多基本学科曲高和寡,看得人少写得人也少。引用自然就上不去。

但就aI这个实用性实验性比较强的学科来说,内部去对比的话,引用的多少含金量还是相当之高的。

大家只会用代码投票,有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术,则会被一直引用下去。

学术界一直有这样的说法,搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。

kaiming凭借几篇代表作奠定自己历史地位后,就总有个别人喜欢说什么“Resnet的思想早就有人提过了”

,“几十年前的东西不算什么东西”

,“这篇文章也就是流量大罢了,和流量明星是一样的”

酸味都要溢出屏幕了。

孟繁岐不是没读过一些理论类的文章,但他个人觉得时代的aI,ta1kischeap,shomethecode。你说几十年前就有的东西,怎么不写一个Resnet突破人类水准呢?

Resnet的核心代码难写吗?不难的。

基于a1ex的框架,只需几个小时的时间,他就可以基本复现出Resnet论文中的所有结构。

弱小和无知不是生存的障碍,傲慢才是。

本章完

热门小说推荐
诡异恐怖,我养成的诡更惊悚

诡异恐怖,我养成的诡更惊悚

简介关于诡异恐怖,我养成的诡更惊悚诡异复苏,全城宵禁!设计师林昊,在被诡异袭杀的过程中,意外触了他所设定的惊悚小游戏!随着投影仪投射出来的贞子沾染了林昊的鲜血,她的手指动了!林昊惊悚世界之主的命运齿轮,也在此时缓缓的开始了转动主人喂饱我哦,不然会死了!韩漫顶级身材的贞子,缓缓的爬到了林昊的面前小声说着,前辈,我饿了...

开局被卖,权臣夫人她医冠京华

开局被卖,权臣夫人她医冠京华

元柚作为堂堂一个二十一世纪的医学博士,美食博主,一睁眼竟然穿成被渣爹渣娘卖给残疾当妻子的小可怜想她医术群,治得好亲亲相公。厨艺绝佳,各种美食也能家致富。谁料她家男人扮猪吃虎,背后运筹帷幄上辈子位极权臣,重生后心中自有乾坤大人,你别挡我开店赚钱。自然,只要夫人先给为夫生个仔。她要店铺一家接一家,他要孩子一个接一个。她有医术为他防小人,他有权谋各位书友要是觉得开局被卖,权臣夫人她医冠京华还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦!...

洪荒二郎传

洪荒二郎传

垂死梦中惊坐起,身处已是不知年。无痣青年杨戬过马路抱着手机翻找小说,倒霉的被一辆闯红灯的货车撞飞,醒来后现自己正重伤蔫在土炕上,身旁还多了个泪眼汪汪的可爱小萝莉既然魂穿为大名鼎鼎的二郎神杨...

冰河末世,苟在家里养女神

冰河末世,苟在家里养女神

简介关于冰河末世,苟在家里养女神冰河末日来临,气温骤降1oo度,全球95的生物在这场灾难中消失。上一世,吴乾为了让女神吃香的喝辣的,狗吃什么他吃什么。然而女神转手送了自己一顶热乎的绿帽子,还带领奸夫分食了自己。重生后,吴乾觉醒了空间异能,他誓一定要用惨绝人寰的手段,整死那对狗男女,以及分食他的邻居。开局购买世界杯足彩,华国Vs丑国5o,让他大赚一笔,而他转手买了王公子的庇护所。为了末世获得滋润,吴乾抽干北美五大湖,搬空漂亮国军事基地,偷走丑国顶级房车和游轮。什么弱水三千只取一瓢,我要当海王,我要占领整片汪洋大海,我要统治整片森林。当末日降临!别人饥寒交迫,苦苦求生的时候。吴乾在钛合金打造的庇护所中吃着烧烤喝着啤酒,抱着美女笑看人间风云。为了一口吃的,所有人都要为他服务,满足他的一己私欲。...

悍匪演太好,刑警对我立案侦查

悍匪演太好,刑警对我立案侦查

林培穿越平行世界,绑定演绎系统。想要成为影帝的他,正准备大展身手。看到系统发放的技能时,林培却懵逼了。你将熟识顶级罪犯的全部犯罪案例,并熟知其操作手法。你将获得关于情感催眠,情感共情,情感诱哄等的全套知识和技能。你拥有一双无影手,并熟知一切偷盗技巧。只要你想偷,没有什么是你偷不过来的。悍匪技能plus版,各悍匪演太好,刑警对我立案侦查...

被偷听心声后,公主殿下夜夜洗床单

被偷听心声后,公主殿下夜夜洗床单

一朝穿书,萧平成为大燕王朝的头号反派。萧平看着原文剧情,只觉自己的世界天昏地暗。好好当个纨绔子弟难道不好吗?每天招猫逗狗,勾栏听曲不香吗?为什么要和挂王主角抢女人?还把后宫都给平推了啊!深谙反派生存之道的萧平想要逃,可越想逃,越逃不掉。属于主角的妹子们为什么都要往他身上黏?公主啊,我们不合适啊!这位小姐,佛珠说我需要清心寡欲,我们没缘分啊!喂喂喂,你别过来啊!...

每日热搜小说推荐