三四中文

手机浏览器扫描二维码访问

第8章 意外的指点(第2页)

“你这里说的深度神经网络指的应该是你自己提出的那种上百上千层的神经网络,而不是目前业界的深度网络吧?”

付院长转过头来,微笑问道。……

“你这里说的深度神经网络指的应该是你自己提出的那种上百上千层的神经网络,而不是目前业界的深度网络吧?”

付院长转过头来,微笑问道。

“付院长您是怎么..”

孟繁岐先是愣了一下,然后猛地反应过来,目前只有那个女生看到过自己提前准备的残差网络草稿。“是那个女生跟您说的?”

“哈哈哈,她是我的小师妹。”

付院长笑道,“前段时间来这里,也顺便来拜访了我一下,提到了我们学校有个学生在研究什么深百层千层的神经网络,研究得像模像样的。”

“说实在的,这也不是我的领域,如果不是以前的老师让我关注一下这方面,我还真是一窍不通。这两天我还在查询资料呢,我说这哪有什么上百层的神经网络,去年年底那个夺冠的a1exnet不也才8层的深度吗。”

“我也只是刚刚有一些想法。”

孟繁岐连忙解释道。

“你不用紧张,我只是稍微有些好奇,想看看咱们学校到底是不是出了个这方面的天才。若是真的,我肯定大力支持。”

孟繁岐连忙先请付院长坐下,先为他大概介绍了一下背景,原理和现阶段难题。

付院长本身是纯数学出身,此前又在老师的指示之下对这个领域稍稍了解过一些,因此孟繁岐没说太多,他就已经掌握了大概。

“你认为深度网络难训练的问题本质上是梯度问题,所以你想使用残差的形式。”

付院长喃喃自语,左手握拳,撑住了自己的下巴。

“如果不去深究神经网络本身的变换,而只是将其的变换理解为一个未知的高维函数的话,f(x)的多次累加会比x+f(x)的残差形式要不稳定太多。”

孟繁岐后世主要以理解算法的流程,了解几种对比方法的优缺点为主。

对于其具体的内在原理,数学推导,平心而论,他的关心远远不足。现下正是弥补这部分短板的大好机会。

“如果我们讨论一个函数的多次嵌套,f(f(f(f(..f(x)..))))的话,不管是否是残差的形式,都是相当难以分析的。从数学上直观来看,两个相同次数的嵌套,有残差与否,不应当会改变该函数的实际表达能力。也就说,你构建的模型其对函数拟合的能力是与原本相当的。”

“倘若真的可以观察到明显的改善,那说明这种残差的形式只是能够让你所说的模型更容易被优化。换言之,以我的视角来说,该函数的求解变得更加精确了,从这个角度来看,残差是一种简洁的欧拉前向形式。”

付德清说着,拿起了纸开始了一些推演。孟繁岐疏于数学上的推演,但他很熟悉这种形式构建的网络有什么特性,因而越听越觉得惊奇。付院长的数学分析竟然相当接近不少后来的实验结果。

只可惜自己看他亲自上手推论,却稍微有些吃力了。

此时此刻和他一样一头雾水的还有附近竖起耳朵吃瓜的几名高年级学长学姐。

本章完

热门小说推荐
修仙从抽到超人体质开始

修仙从抽到超人体质开始

穿越到修仙界,苏破满得到了能抽取各种凡能力的紫源轮盘。第一次转动轮盘叮,抽取到人体质碎片(ooo1),获得能力光合作用,可在太阳光下进行光合作用,弥补身体生理所需,无需进食,...

药泉空间:农女种田致富忙

药泉空间:农女种田致富忙

什么?穿越成冲喜新娘,夫君竟拿和离书做谢礼?不怕!药泉空间在手,酿酒致富走上人生巅峰!什么?前夫成了状元郎,还悔和离,天天想拿回和离书?不好意思,一经出手,概不回收!别挡老娘暴富的道!...

学霸弟弟,巨宠巨虐,炙热如火

学霸弟弟,巨宠巨虐,炙热如火

简介关于学霸弟弟,巨宠巨虐,炙热如火姐弟恋霸总强占有欲温柔姐姐虐文甜宠强制爱禁欲系24岁弟弟日日亲,夜夜欢。前期有多甜,后期就有多虐,几经生死,却在车祸昏迷后失忆,是否还能记起曾经的爱人和孩子一个月后,和我结婚我要的是她心甘情愿,不是半推半就,强忍着不碰她。却在婚前看见她私会别的男人,愤怒至极,没有再犹豫,强制占有。婚后,嫉妒,焦虑,失落并未消散,随着又一个男人出现,带给他俩无边的黑暗和恐惧,几经生死。最后,他却离开,殊不知她已怀孕。某天,一场车祸,换来两年的昏迷。终于,醒来的那一刻,所有人都认识,唯独她和孩子不认识无数个梦和现实,他已分不清,是否还会记起,曾经的爱人和孩子?求求你,要了我吧!这样,我们就两清了。看着男人,她苦苦哀求。要了你,这辈子都清不了!两年中,又生了什么?...

有系统后:美女妖兽你也下手?

有系统后:美女妖兽你也下手?

简介关于有系统后美女妖兽你也下手?末世穿越两界搬运多女主修真被女友抛弃的王磊,偶然得到一个名为存款系统的金手指。在系统的帮助下轻松拿下末世御姐,王磊本想纯爱战士,却现自己已经被美女包围。熟女校花警花冰山美人接憧而至,就连妖兽恶魔女鬼精灵天使吸血鬼也在挑逗着王磊。看王磊如何氪金休仙,美女如云。...

教会龙傲天男德后

教会龙傲天男德后

教会龙傲天男德后...

每日热搜小说推荐