AI技术是比较少见的应用远大于理论的学科,但并非是没有理论。
孟繁岐目前为止产出的所有技术,其论文当中还是有这许多理论方面的论证和推衍的。
不过这部分内容大都源自于与付院长的讨论,属于是锦上添花,并非是孟繁岐的本意。
之所以会添加这些数理推衍,主要是因为早期的AI届仍旧相当看重这方面的论证。
这也是为什么那几个老学究听到韩辞内容的时候眼里放光,口中赞叹不绝。
而在听孟繁岐实验上的世界级突破时虽然赞叹,却没有这种由衷的兴奋。
对于醉心于理论的人来说,搞懂这个现象的理论原因到底是什么,远比做出影响世界的技术应用更加重要,也更加有吸引力。
也正是这种好奇心和对真理的探索,造就了人类一次次文明与技术的突破。
只是很遗憾的,在AI这条道路上,偏理论的方向注定会坎坷异常。
至少直至2023-2024年左右,仍旧没有什么像样的突破。
而孟繁岐在今后的论文当中,涉及理论的部分也只会越来越少,会更加注重工业应用方面的难点和内容。
“她是谁?你的同学吗?”辛顿听了韩辞对孟繁岐残差思想的解释之后,觉得思路一下子打开了不少。
如果从动力系统视角构建等价性,那数学和物理界的很多概念都可以引入进来,事情就大有可为了。
“她是燕京大学的,现在已经读了研究生了。”孟繁岐言下之意是,韩辞已经有导师了。
“她应该是搞应用数学的吧。”李飞飞可不像辛顿一样,恪守礼节。
在她看来,只要墙脚挖的好,没有学生找不到,“她导师是谁?”
“鄂维南院士。”孟繁岐突然想到,李飞飞本科是普林斯顿的,搞不好和鄂维南有点交集。
鄂维南上世纪末开始在普林斯顿教过应用数学和计算数学,那段时间差不多正好是李飞飞在读本科的时候。
“行,我去想想办法,把她拐到这边来交流几年。”李飞飞嘿嘿一笑。虽然当年与鄂维南不熟,但怎么也算是听过对方课的,也算是半个学生。
在她看来,韩辞在AI数学和优化问题方面大有可为。
纯数学只要不解决大难题,终究是难出成果的,而搭上AI现在飞速发展的顺风车,则前途一片光明。
比如韩辞现在在讲述的残差思想,在数学和物理界都算不上什么高深的东西。
可结合孟繁岐的应用成果来展示,则大大的加分,意义非凡。
不同领域的交叉地带,一向是出成果的捷径。
台上,韩辞的讲述仍在继续。
“我们假设一个简单的高维积分问题,计算一个可以表示为期望的积分I(g),先通过有限求和Im(g)来逼近。
若改用蒙特卡洛办法,从特定的独立同分布的抽样样本中选择N个样本,则有恒等式E(I(g)- Im(g))^2 = var(g)/N, var(g)= Eg^2 -(Eg)^2)
这告诉我们收敛速度与维度无关。”
“若我们先用传统傅里叶变换,再用均匀的离散傅里叶变换来逼近。其误差则~m^-a/d,必然被维度所影响。
可,若一个函数可以表示成期望的形式,而令所有样本为独立同分布样本,则有拟合差值为var(f)/m,与维度无关。
若将两层神经网络写作该形式,则意味着,这一类期望函数均可由两层神经网络逼近,且其逼近速度与维度无关。”
“让我们转向离散动力系统的视角,举一个随机控制问题。
动力模型Zl+1 = Zl + g1(z1,a1)+ n,其中z为状态,a为控制信号,n为噪声。若我们想寻找一个反馈控制信号函数,而通过求解动态规划贝尔曼方程,则必然会遭遇维度灾难问题。
该过程的性质,其实与残差网络等同。
..................”
“最后,我总结。深度学习根本上是高维中的数学问题。神经网络是高维函数逼近的有效手段,而残差网络则是更加容易优化的高维函数。
这意味着:数学处于科技创新的真正前沿,并且对新领域产生直接冲击。同时也为人工智能领域、科学以及技术领域提供了众多新的可能性。”
韩辞总共讲述的时间大约是孟繁岐的两倍,讲述完成之后,更是被几位老学究抓着反复提问,讨论。
半晌,主持人才找到机会重新登台,把孟繁岐又请了上去。
主持人看上去年纪不大,大约三十岁左右,估计是斯坦福的在读博士生或者刚毕业的讲师。
为人相当活跃,看热闹的不嫌事大,他将孟繁岐重新请上来之后,还开了一句玩笑。
“这次演讲本来是你的舞台,现在却被韩辞小姐抢去了不少风头和关注,不知道你作何感受?”
孟繁岐笑着接过话筒,等台下的笑声稍稍平息一些过后,十分大方地回答道,“我们专注应用方面的人,依靠得是代码说话。虽然我今天丝毫没有提到技术的实现和细节,但我想看了我代码的大家,都已经感受到了我的万语千言。”
台下的不少程序员闻言马上开始起哄,口哨声和呼声此起彼伏。
“我的梦想是自己的技术可以广泛地应用到世界各地,让AI智能就如空气一般,每个人都无法缺少,但在生活当中却又很少会注意到它们的存在。
至于AI的理论研究和探索,可能就要拜托韩辞和大家了。”
这一番话还算是谦逊得体,意料之中地迎来全场的掌声。
台下诸人又再分别向两人问了一些问题之后,会议的主要流程也算是走完。
除了公开询问的问题,不少人也有很多私下里才方便的问的事情要询问两人。
于是乎,在场的不少人就自然而然地分成了应用与理论两个派别。
一派以科技巨头,例如杰夫为首,围在孟繁岐周边讨论他出色成果的应用场景,市场潜力还有落地难点。
而另一派则以牛津大学的几位老学究为首,一群理论派,表情严肃,正在严谨地讨论一些设想和它们的理论证明。
以会场中心的走廊为分界线,一群人在左,一群人在右。
倒是一幅意外有趣的画面。