第十二章 埋头苦追

/>     回到宿舍，苏飞便打开电脑，在word上敲敲打打。

    【基于TagLM的深度上下文词向量预训练】

    【摘要：TagLM提出的上下文词向量预训练丰富了词向量的意义，不再使得单词局限于单个意思，将静态词向量化为了动态词向量，大大简化了自然语言领域的参数计算，然而TagLM仍然有不小的缺陷，其中的结构性缺陷增大了参数训练的复杂度，而TagLM模型中的不同部分间简单的拼接有可能会造成语义损失，因此本文提出一个更高效简单的预训练模型。】

    【介绍：本文将TagLM三部分简化为一部分的整体模型，抹除不同模型部分间拼接造成的误差......】

    这个题目是苏飞这几日晚上在床上常思考想到的，先前姜大小姐有问他对TagLM的看法，他提出的观点都没说到点子上，这几日吃透了相关数学理论，而数学上的很多思想总是和机器学习以及深度学习挂钩，苏飞这才渐渐地看出了本质，再加上最近改善TagLM的论文效果并不显着，苏飞才萌生了这个想法。

    原本苏飞并不想做自然语言处理方向的论文，原因是自然语言处理总是被计算机视觉领域压一头，但TagLM是自然语言处理领域的论文，虽然在发表后其思想也被应用于其他领域，但苏飞认为想要发一篇改善TagLM的顶会论文，必定要在它的领域打败它，否则很可能不会被AAAI录用。

    至于模型的结构到底应该怎么改？

    额......

    他的思想已经陷入了瓶颈，这也是他想要在明天去和AI研究社的大老们交流的原因。

    如果明天的交流还是没有什么用，那就只能用一些非常规手段了。

    去刷刷姜倾雪的好感度，顺便看看能不能触发一些任务，充实小金库好去系统淘张灵感激发卡。

    “阿飞，这么晚了还不睡？”

    郑浩然起床上厕所，看到苏飞还在电脑桌前，不免多问了句。

    郑浩然的声音把苏飞从沉思中拉了出来，一看时间，都已经深夜2：16了，于是轻声地道歉：“抱歉，耗子，这几天事情蛮多的，刚才敲文档的声音吵到你了吗？”

    郑浩然担忧地看着苏飞：“阿飞，是不是姜大小姐的事给你的打击太大了？你这是在用学习麻痹自己呢？”

    “你这不会在写微博文桉，半夜网抑云吧？”郑浩然小心翼翼的靠过来，结果看到word文档上的一大串文字。

    “基于TagLM的深度上下文词向量预训练？卧槽！！！”

    郑浩然的声音越来越响，最后的卧槽两个字甚至堪比周扬现场祖安。

    床上的另外两人被这声音惊的翻了个身，木板床嘎吱摇晃。

    苏飞赶忙“嘘”了一下，轻声道：“就是个初步想法。”

    郑浩然一脸崇拜地看着苏飞，TagLM，他也听过这个模型的大名，毕竟提出了预训练这种想法，红极一时，然而当他开始尝试阅读，就很有自知之明地放弃了，得到的教训就是，我这个机器学习都没搞懂的小菜鸡，深度学习果然碰不得。

    然而再看看苏飞这个舍友，人家已经开始着手改善TagLM了，这人和人之间的差距真是比人和猪之间的差距还大啊！