手机浏览器扫描二维码访问
“你这里说的深度神经网络指的应该是你自己提出的那种上百上千层的神经网络,而不是目前业界的深度网络吧?”
付院长转过头来,微笑问道。……
“你这里说的深度神经网络指的应该是你自己提出的那种上百上千层的神经网络,而不是目前业界的深度网络吧?”
付院长转过头来,微笑问道。
“付院长您是怎么..”
孟繁岐先是愣了一下,然后猛地反应过来,目前只有那个女生看到过自己提前准备的残差网络草稿。“是那个女生跟您说的?”
“哈哈哈,她是我的小师妹。”
付院长笑道,“前段时间来这里,也顺便来拜访了我一下,提到了我们学校有个学生在研究什么深百层千层的神经网络,研究得像模像样的。”
“说实在的,这也不是我的领域,如果不是以前的老师让我关注一下这方面,我还真是一窍不通。这两天我还在查询资料呢,我说这哪有什么上百层的神经网络,去年年底那个夺冠的a1exnet不也才8层的深度吗。”
“我也只是刚刚有一些想法。”
孟繁岐连忙解释道。
“你不用紧张,我只是稍微有些好奇,想看看咱们学校到底是不是出了个这方面的天才。若是真的,我肯定大力支持。”
孟繁岐连忙先请付院长坐下,先为他大概介绍了一下背景,原理和现阶段难题。
付院长本身是纯数学出身,此前又在老师的指示之下对这个领域稍稍了解过一些,因此孟繁岐没说太多,他就已经掌握了大概。
“你认为深度网络难训练的问题本质上是梯度问题,所以你想使用残差的形式。”
付院长喃喃自语,左手握拳,撑住了自己的下巴。
“如果不去深究神经网络本身的变换,而只是将其的变换理解为一个未知的高维函数的话,f(x)的多次累加会比x+f(x)的残差形式要不稳定太多。”
孟繁岐后世主要以理解算法的流程,了解几种对比方法的优缺点为主。
对于其具体的内在原理,数学推导,平心而论,他的关心远远不足。现下正是弥补这部分短板的大好机会。
“如果我们讨论一个函数的多次嵌套,f(f(f(f(..f(x)..))))的话,不管是否是残差的形式,都是相当难以分析的。从数学上直观来看,两个相同次数的嵌套,有残差与否,不应当会改变该函数的实际表达能力。也就说,你构建的模型其对函数拟合的能力是与原本相当的。”
“倘若真的可以观察到明显的改善,那说明这种残差的形式只是能够让你所说的模型更容易被优化。换言之,以我的视角来说,该函数的求解变得更加精确了,从这个角度来看,残差是一种简洁的欧拉前向形式。”
付德清说着,拿起了纸开始了一些推演。孟繁岐疏于数学上的推演,但他很熟悉这种形式构建的网络有什么特性,因而越听越觉得惊奇。付院长的数学分析竟然相当接近不少后来的实验结果。
只可惜自己看他亲自上手推论,却稍微有些吃力了。
此时此刻和他一样一头雾水的还有附近竖起耳朵吃瓜的几名高年级学长学姐。
本章完
热血风格,沙场开局。魂穿边境士卒的他不想再做别人手中的刀,他要做执刀的人,为此而努力修炼拼杀。沙场上同生共死,修行路生死自负。PS热血向,非黑暗文,偶尔来点小温馨。...
头戴风影斗笠的罗砂,看着下面的泛着幸福笑容的村民,轻轻的叹了口气,脸上带着感慨,给他们讲了一件事。我刚接手砂隐忍村的时候,村内还没展起来,严重缺少战斗力,缺乏赚钱理念,最重要的是完全没有经济来源。...
这里是王者荣耀的世界,秦楚汉魏蜀吴宋唐八国争霸,华夏陷入纷争西域三十六国为魔王统治,对我华夏大好河山垂涎欲滴从大唐边境的长城开始,拒北夷,抗魔种。一人一剑入长安。这是李白携青莲剑仙之名,直播...
简介关于美姬妖且闲肩不能挑,手不能提成为弱女一枚!幸好满腹才华,虽不能登得庙堂,但可凭此白手起家。一花一草一砖一瓦累累相叠,造就她名动天下!看园艺大师善侍花草同时,不忘挑夫选婿,寻找如意郎。...
她本杀手,一朝重生,沦为异世最卑贱的帝家庶女,貌奇丑死血脉,人人欺凌羞辱。当怯弱草包脱胎换骨变成夺命狠辣的蛇蝎妖女,惊才绝艳,歃血而归,一杀成名。她睚眦必报,世人欺一倍,她还之千倍天地不仁,她驭神...
简介关于原神从帝君的天星中诞生cp散空,散出场会晚一点穿梭于诸多世界不断旅行的空与荧,却在这一次异世之旅中途受到神灵的阻拦,妹妹被神灵带走,而空却因为失控的穿越系统失去了记忆,并且跨越了漫长岁月变成了提瓦特大6的原住民,当他再度苏醒之时,睁眼便见魔神摩拉克斯与归终以及仙人留云借风真君,正眼带稀奇的向他瞩目,讨论他这条从帝君招来的天星里爬出的小岩龙算不算帝君生的孩子摩拉克斯这以普遍理性而言,单纯造物并没有继承血缘关系一说而且岩元素生物的父母,应该是岩元素本身吧一脸懵懂无知的小岩龙看着他叽?摩拉克斯为什么是叽?归终留云借风真君原来帝君龙身的叫声是这样的吗?!不过这小家伙在说什么?摩拉克斯不!并不是它在喊母亲归终留云借风哇哦~摩拉克斯起码叫父亲。...