第20章 演讲(2/2)
屏幕上出现了一系列实验结果。
“在cifar-10数据集上,我们测试了不同深度的网络。“
红色曲线代表传统网络,蓝色曲线代表残差网络。
在20层以下,两条曲线几乎重合。
但当层数超过20层后,红色曲线开始下降,而蓝色曲线却持续上升。
在110层时,残差网络的准確率依然在提升。
“这意味著什么?“
陈阳的目光扫过台下,“这意味著,残差学习解决了退化问题。我们可以训练真正的深度网络了。“
掌声开始零星地响起,然后越来越热烈。
“在imagenet上,我们构建了一个152层的残差网络。“
大屏幕上出现了网络结构图,层层叠叠,像一座摩天大楼。
台下响起一阵倒吸冷气的声音。
“152层?!“
“这怎么训练的?“
陈阳继续说:“很多人问我,这么深的网络,需要多强大的硬体?超级计算机?“
他点击下一页。
“我们的集群:12块nvidia gtx 680显卡。“
台下一片譁然。
“gtx 680?“
“那不是游戏显卡吗?“
“2gb显存怎么可能训练152层?“
“我知道大家在想什么。“陈阳笑了,“152层的网络,模型大小超过20gb,怎么可能在2gb显存的卡上运行?“
他点击下一页:
“答案是:模型並行和数据並行的混合框架。“
屏幕上出现了一张复杂的架构图,展示了如何將模型切分到多张显卡上,同时保持高效的训练速度。
“我们设计了一套自適应的並行策略,根据每一层的大小和计算量,动態分配到不同的gpu上。“
“通过精心设计的显存管理和梯度累积策略,我们实现了在消费级显卡上训练超深度网络。“
台下的学者们疯狂地记笔记。
齐瑟曼坐在第一排,眼睛一眨不眨地盯著屏幕。
这不只是一个天才的算法,还是一个天才的工程实现。
“最终,在imagenet验证集上,我们的resnet-152达到了6.5%的top-5错误率。“
大屏幕上出现了最终的结果对比:
2011年冠军:26.2%
2012年第二名:16.4%
resnet-152:6.5%
“相比去年的冠军,我们將错误率降低了75%。“
陈阳停顿了一下,目光扫过台下每一个人:
“这不是终点,而是起点。残差网络的出现,意味著深度学习真正进入了可以实用化的阶段。“
“它可以应用在图像识別、目標检测、语义分割等各个领域。“
“在星城数据,我们已经將resnet应用到了实际业务中。“
屏幕切换到新的页面,显示著几个应用案例。
“第一,验证码识別。我们的星眼系统,基於resnet架构,对各类复杂验证码的识別准確率达到99.7%以上。“
“第二,证件识別。身份证、驾驶证、发票等各类证件的ocr识別,准確率超过99.5%,处理速度是传统方法的10倍以上。“
“第三,我们正在探索更多应用场景,包括人脸识別、医疗影像分析等。“
台下开始有人窃窃私语。
“原来他们已经在做商业化了。“
“难怪能做出这么强的模型。“
陈阳继续说:
“深度学习不应该只停留在实验室里。resnet的目標,就是让ai技术真正走进现实世界,解决实际问题。“
他的声音坚定有力:
“这就是星城数据的使命——让每一个企业、每一个开发者,都能用上最先进的ai技术。“
陈阳鞠了一躬:
“谢谢大家。“
掌声如雷鸣般响起。
整个会场的人都站了起来。
持续了將近两分钟的掌声,才逐渐平息。
演讲结束后,陈阳被一群学者围住。
“能详细讲讲混合併行框架吗?“
“残差连接在目標检测上效果如何?“
“你们的证件识別系统是如何实现的?“
“星城数据现在接商业合作吗?“
陈阳耐心地回答著每一个问题。
齐瑟曼教授挤到前面,激动地说:
“陈阳,你愿意来牛津做访问学者吗?我们有最好的实验室,最优秀的团队。“
话还没说完,旁边一个教授打断道:
“陈,考虑一下mit吧!我们可以为你提供全额奖学金,还有独立的研究经费。“
陈阳有些不知所措,朱军在一旁笑著说:
“各位,陈阳还是大一学生,让他先把本科读完吧。“
人群中,一个穿著考究西装的中年人递上名片:
“陈先生,我是红杉资本的汤姆·詹森。您的公司非常有潜力,不知道是否考虑接受投资?“
陈阳接过名片,礼貌地说:
“谢谢您的关注。星城数据確实在寻求资金支持,不过我们更看重战略投资而不只是资金。“
“理解。“
汤姆点头,“那我们保持联繫。如果需要,隨时可以找我。“
类似的投资人,今天找上陈阳的已经有七八个了。
还有几家科技公司的代表,想谈技术授权。
甚至有猎头想挖他去谷歌和facebook,开出的薪水高达百万美元。
陈阳一一应对,不卑不亢。
人群散去后,一个年轻人走过来。
“你好,陈阳。“
他伸出手,“我是亚歷克斯·克里热夫斯基。“
“你好。“陈阳握住他的手。
“你的resnet很厉害。“
亚歷克斯真诚地说,“我们的工作和你比起来,差得太远了。“
“不,每个工作都有它的价值。“
陈阳说,“深度学习的发展需要所有人的努力。“
亚歷克斯愣了一下,然后笑了:“你真会说话。不过,我確实很好奇,你是怎么想到残差连接这个idea的?“
“灵感来源於高速公路网络的概念,加上一些数学上的直觉。“陈阳简单地说,“如果你感兴趣,我们可以交流。“
“好。“亚歷克斯点头。
两人交换了联繫方式。
当晚,陈阳回到酒店房间。
手机里塞满了各种邮件和消息。
学术界的邀请函、投资人的bp、媒体的採访请求、企业的合作意向。
他打开笔记本,开始整理今天收集到的名片和联繫方式。