如果林灰在论文中的补充内容里所描述的内容所言非虚的话。

    这样的人不是强者又是什么呢？

    预训练的提出说是对传统的语料训练方式的一次革命也不为过。

    这将极大的给语言模型的训练进行助力。

    尹芙·卡莉有预感在预训练的提出之后传统的自然语言处理这一领域有望全面进入到神经网络学习的时代。

    如果真的能做到如此的话。

    那将是意义空前的贡献。

    要知道林灰搞出来的东西可不仅仅是预训练。

    尹芙·卡莉注意到林灰在论文中对预训练的描述是基于迁移学习思想的预训练。

    什么叫迁移学习？

    借助迁移学习可以运用已有的知识来学习新的知识。

    这一思想的核心是找到已有知识和新知识之间的相似性从而举一反三。

    在机器学习这一领域，直接对目标从头开始学习成本太高。

    借助于迁移学习的话就不用那么麻烦了。

    很多时候我们可以运用已有的相关知识来辅助尽快地学习新知识。

    比如，已经会了c语言，就可以类比着来学习c++；

    已经学会希腊语，就可以类比着来学习英语。

    世间万事万物皆有共性，合理地找寻它们之间的相似性之后。

    利用这个桥梁来帮助学习新知识，可以省却很多新麻烦。

    如果诚然是借助于这一思想的话。

    在预训练的数据共性学习之后。

    再对非共性标记数据进行额外学习时。

    倘若因为迁移思想的引入使得预训练具备了举一反三的学习能力。

    那么在对非共性标记数据学习所花费的时间可能会更少。

    时间更少意味着什么呢？

    意味着效率的空前提升。

    此前尹芙·卡莉一直不是很理解林灰是怎么突然异军突起的。

    现在她却已然是心下了然了。

    不过这样的话，尹芙·卡莉觉得先前对林灰进行的有些估计就有点保守了。

    同等规模语料库下的训练引入基于迁移思想的预训练机制的训练要比常规的至少能够节省70的时间。

    这个数据是比较夸张的了。

    如果一如尹芙·卡莉猜测的那样的话。

    那林灰搞出的东西不止是数据夸张，功用也将是很离谱

    要知道基于迁移思想搞定的东西某种意义上讲是可以“迁移”的，也就是可移植性。

    讲真，最近一直用看书追更，换源切换，朗读音色多，安卓苹果均可。】

    这特么的就逆天了。

    涉及到文本摘要甚至是整个自然语言处理这一领域的研究以前多多少少是有点圈地自萌的意味的。

    但如果具有了迁移性那完全是有可能渗透到别的领域的。

    心念及此，一时之间尹芙·卡莉感觉林灰的着眼点也一定不是自然语言处理的这个小鱼塘。

    林灰在下一盘大棋。

    尽管和林灰相识不久，但作为一个跟林灰经常学术交流的人。

    尹芙·卡莉能笃定林灰在学术方面的野心是极大的。

    此前，尹芙·卡莉就感觉林灰能开启自然语言处理这个方向崭新的大门。

    现在看来，以后林灰所影响的方向绝对不止是自然语言处理这一个方向。

    涉及到整个机器学习领域，林灰都将有很大的建树。

    甚至可能还远远不止于此，对于这一切尹芙·卡莉很期待。

    没有什么比见证一位天才的雄起更兴奋的了。

    如果有，那或许只能是目睹一位“神”的破灭了。

    纵然现在的林灰还没有什么头衔加持。

    不过，过往林灰的成就已经足够耀眼了。

    尹芙·卡莉相信林灰会一点点将其野心所践行的。

    为什么尹芙·卡莉能得出这样的判断呢？

    林灰在过往在学术方面取得的璀璨成果只是尹芙·卡莉得出这样推断的原因之一。

    这不是最重要的原因。

    真正让尹芙·卡莉得出林灰能将其野心践行的原因在于林灰有自己的学术风格。

    相比于看得见的学术成果。

    学术风格这种东西很玄学，看不见摸不着。

    听起来很虚幻的东西。

    但学术风格这东西确确实实存在。

    关于“学术风格”这一名词的讨论也常常现于各种学术交流以及科研人员日常的讨论中。

    无论是学术路线、学术习惯这些东西某种意义上都会影响学术风格的形成。

    衡量一个科研人员在学术方面是划水的还是水准之上的一般主要看是否有独立的学术风格。

    一般学术方面只是划水的科研人员普遍都没有自己的学术风格。

    其研究成果就比较随心所欲那种，研究课题也以“跟随研究”为主。

    而水准之上的科研人员则普遍有着稳定的学术风格。

    学术风格的稳定尽管不能意味着一切。

    但起码也意味着该研究者对学术路线有着比较明确的规划。

    或许林灰本人也没注意到他的学术风格。

    但尹芙·卡莉觉得林灰是有属于其自己的学术风格的。

    而且这风格很明显。

    林灰拥有学术风格这件事也能侧面反映出其学术路线的稳定。

    故而尹芙·卡莉是很相信林灰能够按部就班实现其野心的。

    而林灰是什么样的学术风格呢？

    太具体的尹芙·卡莉暂时也无法精准描述。

    但就学术习惯方面而言，尹芙·卡莉觉得林灰有一极其鲜明的特征。

    那就是林灰总是致力于赢在起跑线上。

    当然赢在起跑线上只是比喻说法，确切地表述应该是

    ——在解决学术问题以及实际上的工程问题的时候林灰很倾向于将可能出现的问题扼杀在萌芽状态。

    得出这一判断，尹芙·卡莉自然有相应的依据。

    就拿前不久林灰在论文补充内容中所提到的预训练来说吧。

    此前涉及到“训练”的时候人们往往想到是对训练生成的模型由机器学习方面的专家进行调整。

    很少有像林灰这样的对训练过程就有想法的。

    毕竟涉及到语料训练这个门类的研究在一个语言模型构建正常的步骤中已经是属于很靠前的步骤了。

    这个例子已经很能说明尹芙·卡莉的判断了。

    除了这个例子之外，还有此次来到中国和林灰的第一次谈话。

    当时两人聊到了对“语料向量化之后再处理可能导致的维度爆炸”相关问题的处理时。

    原本尹芙·卡莉设想的降维做法有将高维模型转化为低维模型、将分析后得到的高维数据降低成低维数据等等。

    而林灰提出的思路却是将语料向量化之后得到原始高维向量数据直接进行降维处理。

    要知道在此前涉及到维度爆炸这件事几乎没啥研究者想到直接对维度本就比较高的原始数据做文章。

    毕竟这涉及到将语料信息抽象成向量原始数据已经差不多其对应研究中特别靠前的一个环节了。