第26章 博士很了不起吗？（1/2）

？？

小林惊讶地说不出话。

竟然被一个高中生鄙视了……

他试探地这个定积分当然不算难，但是绝对不是一个高中生隨隨便便就能做出来的。

更何况还是一个学渣！

而且，他还看出这是个可以利用区间对称性消元的定积分！

齐物又好像不是学渣？

一个定积分好像没达到效果，小林又掏出一张卡片。

再试探一下！

上难度！

“同学，听君一席话，非常受用，我这里还有一道难题，你能帮我看看吗？”

小林递上卡片。

齐物已然察觉眼前这人很奇怪，但是能进校园，应当不是什么坏人。

出於对难题的渴望，他接过卡片，看向题干：

【考虑一个深度为l的多层感知机（mlp），设损失函数为 e(w，b)。第l层的仿射变换为z^(l)=w^(l)a^(l-1)+b^(l)，激活函数为a^(l)=σ(z^(l))。

定义误差项δ^(l)=▽z^(l)e。

请利用多元微积分的链式法则，推导出δ(l)}与δ(l+1)之间的递推张量表达式，並从雅可比矩阵的谱范数角度，证明当网络深度 l→∞时，梯度消失或爆炸的必然几何条件。】

齐物眉头一皱。

这道题比刚刚那道定积分难太多了！

多元微积分链式法则、神经网络求导、雅可比矩阵、谱范数、动力系统叠代视角……

“你连定积分都不会，看这种题干啥？”

【写到这里我希望读者记一下我们域名101??????.??????】

齐物不解，“年轻人不要好高騖远啊。”

？？

小林无语凝噎。

齐物在潜意识里是不想解答的，因为不知道来人身份。

但是他的脑子和手却诚实地运算起来——

死手，快停住！

“基础的反向传播推导，不算难。”齐物淡淡道。

小林再次愣住，这道题，普通高中生连符號都看不懂，更別说推导雅可比矩阵的谱半径了。

“根据多元链式法则，第l层的误差项对z^(l)求偏导，可以直接写出递推关係：

δ^(l)=((w^(l+1))^tδ^(l+1)⊙σ(z^(l))

⊙你看得懂吧，就是哈达玛乘积。

梯度消失的几何条件，这本质上是一个连续线性映射的范数放缩问题。”

齐物抬手在虚空中比划了一下：“將第l层到第l层的反向传播看作是多个雅可比矩阵的连乘：

j=n(k=l)→(l-1) diag(σz^(k)) w^(k+1)

取其谱范数‖j‖?。如果每一层的权重矩阵初始化使得‖w‖?·‖σ‖∞<1，那么根据范数的次乘法性，连乘后的雅可比矩阵谱范数將以指数级衰减，即liml→∞‖j‖?=0。这就是梯度消失的必然几何条件。

反之，若大於1，则发生梯度爆炸。

为了避免这个问题，你需要引入残差连接或者正交初始化策略。

这里一时半会说不清楚，我要下课了，再见哈。”

齐物说完，拿起手机，转身走向教学楼。

小林坐在长椅上，嘴巴张得能塞下一个鸡蛋。

草稿纸都没用，就给出了张量表达式？

这傢伙绝对不是学渣，成绩榜有误！

他连忙掏出手机，拨通了张宙的电话，激动地道：“张总，信息有误，齐物……他绝不是学渣！我出了两道题考他，都是不到一分钟就算出来了！

他可能就是我们要找的人！”

电话那头的张宙沉默了半晌，道：“我知道了。”

此时他刚跟著王德发主任，踏进了兰苍二中陈校长的办公室。

他放下手机，道：“张局、陈校长、王主任，重新认识一下，我是阿力八八达摩院首席ai科学家，张宙。”

王德发愣住了：“啊？您不是来设置奖学金的吗？”

“不全是。”

张宙道，“我星夜兼程，从杭城赶到兰苍县，只为了寻找贵校一名叫齐物的学生。”

“齐物？”

王德发再次愣住，齐物的大名已经传到杭城了吗？

不仅琅琊一中抢人，就连阿力八八这种华夏顶级大企业都对他感兴趣？

“齐物？摸底考数学物理满分的那名同学吗？”

陈校长也没想到阿力八八首席科学家竟然会亲自蒞临兰苍二中，亲切地沏茶，“他摸底考600多分吧。”

“是的，校长，齐物摸底考数理满分，总分615。”

我去……

张宙倒吸一口凉气。

看来信息果然有误！

他刚刚才看过，两个月前的高二期末考试，齐物的成绩仅仅是452，数理不及格。

两个月，提分160，数理双满分？

亏贼！

差点错过一个天才！

他接过陈校长的茶，又抖出一个惊天消息：“陈校长，王主任，贵校的齐物同学，在我们阿力八八全球数学竞赛预赛中的成绩，排名全球第一。我此次前来，是为了和齐物见个面，拍点物料宣传视频，请贵校大力支持。”