经典小说网 www.jdxs.cc,学霸从谈恋爱开始无错无删减全文免费阅读!
/> 回到宿舍,苏飞便打开电脑,在word上敲敲打打。
【基于TagLM的深度上下文词向量预训练】
【摘要:TagLM提出的上下文词向量预训练丰富了词向量的意义,不再使得单词局限于单个意思,将静态词向量化为了动态词向量,大大简化了自然语言领域的参数计算,然而TagLM仍然有不小的缺陷,其中的结构性缺陷增大了参数训练的复杂度,而TagLM模型中的不同部分间简单的拼接有可能会造成语义损失,因此本文提出一个更高效简单的预训练模型。】
【介绍:本文将TagLM三部分简化为一部分的整体模型,抹除不同模型部分间拼接造成的误差......】
这个题目是苏飞这几日晚上在床上常思考想到的,先前姜大小姐有问他对TagLM的看法,他提出的观点都没说到点子上,这几日吃透了相关数学理论,而数学上的很多思想总是和机器学习以及深度学习挂钩,苏飞这才渐渐地看出了本质,再加上最近改善TagLM的论文效果并不显着,苏飞才萌生了这个想法。
原本苏飞并不想做自然语言处理方向的论文,原因是自然语言处理总是被计算机视觉领域压一头,但TagLM是自然语言处理领域的论文,虽然在发表后其思想也被应用于其他领域,但苏飞认为想要发一篇改善TagLM的顶会论文,必定要在它的领域打败它,否则很可能不会被AAAI录用。
至于模型的结构到底应该怎么改?
额......
他的思想已经陷入了瓶颈,这也是他想要在明天去和AI研究社的大老们交流的原因。
如果明天的交流还是没有什么用,那就只能用一些非常规手段了。
去刷刷姜倾雪的好感度,顺便看看能不能触发一些任务,充实小金库好去系统淘张灵感激发卡。
“阿飞,这么晚了还不睡?”
郑浩然起床上厕所,看到苏飞还在电脑桌前,不免多问了句。
郑浩然的声音把苏飞从沉思中拉了出来,一看时间,都已经深夜2:16了,于是轻声地道歉:“抱歉,耗子,这几天事情蛮多的,刚才敲文档的声音吵到你了吗?”
郑浩然担忧地看着苏飞:“阿飞,是不是姜大小姐的事给你的打击太大了?你这是在用学习麻痹自己呢?”
“你这不会在写微博文桉,半夜网抑云吧?”郑浩然小心翼翼的靠过来,结果看到word文档上的一大串文字。
“基于TagLM的深度上下文词向量预训练?卧槽!!!”
郑浩然的声音越来越响,最后的卧槽两个字甚至堪比周扬现场祖安。
床上的另外两人被这声音惊的翻了个身,木板床嘎吱摇晃。
苏飞赶忙“嘘”了一下,轻声道:“就是个初步想法。”
郑浩然一脸崇拜地看着苏飞,TagLM,他也听过这个模型的大名,毕竟提出了预训练这种想法,红极一时,然而当他开始尝试阅读,就很有自知之明地放弃了,得到的教训就是,我这个机器学习都没搞懂的小菜鸡,深度学习果然碰不得。
然而再看看苏飞这个舍友,人家已经开始着手改善TagLM了,这人和人之间的差距真是比人和猪之间的差距还大啊!
/> 回到宿舍,苏飞便打开电脑,在word上敲敲打打。
【基于TagLM的深度上下文词向量预训练】
【摘要:TagLM提出的上下文词向量预训练丰富了词向量的意义,不再使得单词局限于单个意思,将静态词向量化为了动态词向量,大大简化了自然语言领域的参数计算,然而TagLM仍然有不小的缺陷,其中的结构性缺陷增大了参数训练的复杂度,而TagLM模型中的不同部分间简单的拼接有可能会造成语义损失,因此本文提出一个更高效简单的预训练模型。】
【介绍:本文将TagLM三部分简化为一部分的整体模型,抹除不同模型部分间拼接造成的误差......】
这个题目是苏飞这几日晚上在床上常思考想到的,先前姜大小姐有问他对TagLM的看法,他提出的观点都没说到点子上,这几日吃透了相关数学理论,而数学上的很多思想总是和机器学习以及深度学习挂钩,苏飞这才渐渐地看出了本质,再加上最近改善TagLM的论文效果并不显着,苏飞才萌生了这个想法。
原本苏飞并不想做自然语言处理方向的论文,原因是自然语言处理总是被计算机视觉领域压一头,但TagLM是自然语言处理领域的论文,虽然在发表后其思想也被应用于其他领域,但苏飞认为想要发一篇改善TagLM的顶会论文,必定要在它的领域打败它,否则很可能不会被AAAI录用。
至于模型的结构到底应该怎么改?
额......
他的思想已经陷入了瓶颈,这也是他想要在明天去和AI研究社的大老们交流的原因。
如果明天的交流还是没有什么用,那就只能用一些非常规手段了。
去刷刷姜倾雪的好感度,顺便看看能不能触发一些任务,充实小金库好去系统淘张灵感激发卡。
“阿飞,这么晚了还不睡?”
郑浩然起床上厕所,看到苏飞还在电脑桌前,不免多问了句。
郑浩然的声音把苏飞从沉思中拉了出来,一看时间,都已经深夜2:16了,于是轻声地道歉:“抱歉,耗子,这几天事情蛮多的,刚才敲文档的声音吵到你了吗?”
郑浩然担忧地看着苏飞:“阿飞,是不是姜大小姐的事给你的打击太大了?你这是在用学习麻痹自己呢?”
“你这不会在写微博文桉,半夜网抑云吧?”郑浩然小心翼翼的靠过来,结果看到word文档上的一大串文字。
“基于TagLM的深度上下文词向量预训练?卧槽!!!”
郑浩然的声音越来越响,最后的卧槽两个字甚至堪比周扬现场祖安。
床上的另外两人被这声音惊的翻了个身,木板床嘎吱摇晃。
苏飞赶忙“嘘”了一下,轻声道:“就是个初步想法。”
郑浩然一脸崇拜地看着苏飞,TagLM,他也听过这个模型的大名,毕竟提出了预训练这种想法,红极一时,然而当他开始尝试阅读,就很有自知之明地放弃了,得到的教训就是,我这个机器学习都没搞懂的小菜鸡,深度学习果然碰不得。
然而再看看苏飞这个舍友,人家已经开始着手改善TagLM了,这人和人之间的差距真是比人和猪之间的差距还大啊!