零点小说网

手机浏览器扫描二维码访问

第十二章 埋头苦追（第2页）

苏飞沉迷英语一下午，而晚上的时间则留给了TagLM模型，他又重新把这篇论文从头到尾精读了一遍，顺便把今年顶会最新出的论文也大致扫了一遍，在过目不忘和知识快解的加持下，在晚上闭馆前，他把自己的论文想法大致勾勒了出来。

回到宿舍，苏飞便打开电脑，在word上敲敲打打。

【基于TagLM的深度上下文词向量预训练】

【摘要：TagLM提出的上下文词向量预训练丰富了词向量的意义，不再使得单词局限于单个意思，将静态词向量化为了动态词向量，大大简化了自然语言领域的参数计算，然而TagLM仍然有不小的缺陷，其中的结构性缺陷增大了参数训练的复杂度，而TagLM模型中的不同部分间简单的拼接有可能会造成语义损失，因此本文提出一个更高效简单的预训练模型。

】

【介绍：本文将TagLM三部分简化为一部分的整体模型，抹除不同模型部分间拼接造成的误差......】

这个题目是苏飞这几日晚上在床上常思考想到的，先前姜大小姐有问他对TagLM的看法，他提出的观点都没说到点子上，这几日吃透了相关数学理论，而数学上的很多思想总是和机器学习以及深度学习挂钩，苏飞这才渐渐地看出了本质，再加上最近改善TagLM的论文效果并不显着，苏飞才萌生了这个想法。

原本苏飞并不想做自然语言处理方向的论文，原因是自然语言处理总是被计算机视觉领域压一头，但TagLM是自然语言处理领域的论文，虽然在发表后其思想也被应用于其他领域，但苏飞认为想要发一篇改善TagLM的顶会论文，必定要在它的领域打败它，否则很可能不会被AAAI录用。

至于模型的结构到底应该怎么改？

额......

他的思想已经陷入了瓶颈，这也是他想要在明天去和AI研究社的大佬们交流的原因。

如果明天的交流还是没有什么用，那就只能用一些非常规手段了。

去刷刷姜倾雪的好感度，顺便看看能不能触发一些任务，充实小金库好去系统淘张灵感激发卡。

“阿飞，这么晚了还不睡？”

郑浩然起床上厕所，看到苏飞还在电脑桌前，不免多问了句。

郑浩然的声音把苏飞从沉思中拉了出来，一看时间，都已经深夜2：16了，于是轻声地道歉：“抱歉，耗子，这几天事情蛮多的，刚才敲文档的声音吵到你了吗？”

郑浩然担忧地看着苏飞：“阿飞，是不是姜大小姐的事给你的打击太大了？你这是在用学习麻痹自己呢？”

“你这不会在写微博文案，半夜网抑云吧？”

郑浩然小心翼翼的靠过来，结果看到word文档上的一大串文字。

“基于TagLM的深度上下文词向量预训练？卧槽！

！

！”

郑浩然的声音越来越响，最后的卧槽两个字甚至堪比周扬现场祖安。

床上的另外两人被这声音惊的翻了个身，木板床嘎吱摇晃。

苏飞赶忙“嘘”

了一下，轻声道：“就是个初步想法。”

郑浩然一脸崇拜地看着苏飞，TagLM，他也听过这个模型的大名，毕竟提出了预训练这种想法，红极一时，然而当他开始尝试阅读，就很有自知之明地放弃了，得到的教训就是，我这个机器学习都没搞懂的小菜鸡，深度学习果然碰不得。

然而再看看苏飞这个舍友，人家已经开始着手改善TagLM了，这人和人之间的差距真是比人和猪之间的差距还大啊！