三四中文

手机浏览器扫描二维码访问

第14章 万事俱备(第2页)

更深的网络特别难以训练,因此原本直到14年,谷歌和牛津才分别把这个深度推进到22层和19层。

而Resnet的思想,彻底从根本上解决了网络变深就没法顺利训练的问题。它让5o,1oo,15o,甚至1ooo层网络的训练成为可能。

“从去年的8,到今年的1oo+层,甚至1ooo层也可以训练。在2o13年的视角来看,这一剂猛药应该够劲了。”

不仅是深度上取得了开创性的突破,Resnet的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构,单模型达到了4.6%左右。

如果综合几个不同方式训练的Resnet,平均他们的输出再去预测的话,其Top-5错误率甚至低至3.7%。

“其实在ImageneT上做得太准了反而是一件怪事。”

考虑到后世的研究中,该数据集中的标签其实有不小的比例是错误的,越贴近百分之百的准确率反而越有一些荒诞的感觉。

Resnet的Res指residua1,正经点说是残差,说得明白一些是一种短路或者是跳跃链接。

再说的浅显一点,假设原本的操作为f(x),Resnet就是把计算过程从f(x)改为f(x)+x。

这也是孟繁岐最早与付院长讨论的内容之一。

这种不带任何参数的支路链接,直接把操作前的内容加到操作后的内容上,是深度网络突然能够在上千层的深度下收敛的秘密所在。

在此之后的几乎所有aI文章,都很难绕得开这个思路。kaiming本人单就这一篇文章,就在六七年的时间内收获了十五六万的文章引用。

不得不说这是一个天文数字。要知道即便是naturenetce三大世界级顶刊常客,著名华国美国双料科学院士抽出一个来,至今为止所有文章的总引用数量加在一起五万多都算是多的了。

当然了,单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。

很多基本学科曲高和寡,看得人少写得人也少。引用自然就上不去。

但就aI这个实用性实验性比较强的学科来说,内部去对比的话,引用的多少含金量还是相当之高的。

大家只会用代码投票,有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术,则会被一直引用下去。

学术界一直有这样的说法,搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。

kaiming凭借几篇代表作奠定自己历史地位后,就总有个别人喜欢说什么“Resnet的思想早就有人提过了”

,“几十年前的东西不算什么东西”

,“这篇文章也就是流量大罢了,和流量明星是一样的”

酸味都要溢出屏幕了。

孟繁岐不是没读过一些理论类的文章,但他个人觉得时代的aI,ta1kischeap,shomethecode。你说几十年前就有的东西,怎么不写一个Resnet突破人类水准呢?

Resnet的核心代码难写吗?不难的。

基于a1ex的框架,只需几个小时的时间,他就可以基本复现出Resnet论文中的所有结构。

弱小和无知不是生存的障碍,傲慢才是。

本章完

热门小说推荐
蜀山剑宗系统

蜀山剑宗系统

重生归来手握蜀山剑宗系统且看青稚少年,如何在浩瀚大千玄妙世界之中建立万界第一宗门蜀山剑锋之上白影孤立锁妖万塔之中群魔哀戚随手掷下一柄长剑,白眉身似鸿雪飘下从今而后,天下之大,不过蜀山之地...

快穿:娇软白月光不知道自己多撩

快穿:娇软白月光不知道自己多撩

简介关于快穿娇软白月光不知道自己多撩安宁沉默地看着自己拿的早死白月光剧本。每个世界她都要跟各种奇葩男主开展一场痛彻心扉的虐恋,死后还要被男主念念不忘地拿来当虐女主的倒霉工具人,就呵呵,见鬼的白月光,谁要当谁当!豪门薄情霸总的校园白月光,隐忍疯批帝王的贵妃白月光,无情清冷师尊的爱徒白月光每一次,那些个天秀男主总是喜欢掐着她的脖子,撕心裂肺地咆哮为什么我这么爱你,你却是害死我父亲凶手的妹妹?安宁一把推出自己的反派哥哥,来,真正的凶手在这,你们虐,尽情虐。反派哥哥似笑非笑地捏死男主,嗯?安宁二话不说扑过去抱住大腿,哥,您是我亲哥,您护我一条命,我养您到老啊!大反派(女主奶凶奶凶,硬得起,怂得更快,男主大反派,真的大反派,不要对他有道德要求,没有任何关系的哥哥,后面也不仅是哥哥这一身份。)...

全职高手之最强散人

全职高手之最强散人

什么?!孙翔的一叶之秋被压制了?这是什么样的手速,这是什么样的操作技巧?楚星默,你这个大骗子!我冤枉啊,我只是手速快,眼睛好而已,谁知道那家伙那么不经打。楚星默摊了摊手,无奈的说。这年头,说实话都这么难么?他真的没有装B啊!...

快穿之我是特级快穿者

快穿之我是特级快穿者

快穿部门有很多系统,作为快穿系统中最优秀的特级任务者,一路走来全是s评级完成任务,好不容易熬到退休,却因为小世界里众多优秀者没有子嗣最后导致没有优秀的继承者让小世界过上好日子,导致小世界崩溃!快穿局决定让一批快穿局的特级任务者进入小世界为这些人繁衍子嗣!医学圣手和艳星一场人为的事故导致他的手无法再拿起优秀的手术刀,同时也失去了生育能力,他找遍了世界上最优秀的医生仍然无法让自己好起来,最后看着一个一个重病之人却无法拿起手术刀拯救他们,导致小世界里多个优秀领导死去,从而小世界崩溃!高级工程师和娇软千金他是世界上最优秀的工程师,因为被人追杀丢入河里,因为救起来的时候比较晚,导致他大脑出现假死亡,此时他刚攻克了最先进的技术,但因为他脑死亡问题而导致这个世界的进步退后数十年!废太子和他的小青梅他本是优秀的太子,是带领朝代安稳的继承人,但因为从小被自己父皇的宠妃下了绝嗣药,长大后被他人说破了他的生育问题,当即被皇上废除太子之位,后来他成了闲散王爷,而因为没有贤君朝代更迭!未完待续...

娇医

娇医

作品简介...

清穿之老答应

清穿之老答应

年过28岁,还不是虚岁,进宫13年从没睡过康熙一次,穿成这么一个老答应,琳琅觉得自己可以跳过宫斗,直接进入养老环节了本文已开启防盗,比例4o,跳着看的姑娘们得等上一天了,麻烦大家了onnos买足一半章数...

每日热搜小说推荐