第四十六章 完善论文
“面对疾风吧，哈萨给！”
苏飞刚进寝室，就听到了某人选择了快乐风男的声音。
只见寝室里李浩博和郑浩然正一左一右趴在周扬桌上看周扬打撸啊撸。
郑浩然：“卧槽，扬仔，你还玩风男，不怕被封号啊？”
周扬：“给你们俩来一局教学局。”
郑浩然和李浩博同时翻了个白眼。
“阿飞你今天干啥去了？”郑浩然撇见正溜进寝室的苏飞，疑惑问道：“不会是和姜大小姐约会了吧？”
苏飞：“你看人家看得上我不？”
郑浩然悻悻点头：“也是。”
苏飞：“……”
李浩博道：“老三应该是参加脑科学竞赛训练了吧？”
郑浩然：“是不是又是哪个小姑娘告诉老大你的？”
李浩博摇了摇头，拿出手机，打开VX，只见一个白猫头像的人发了一条朋友圈。
【脑科学建模竞赛第一次正式训练！各位学神们都好厉害，珊珊也要努力追赶！一起fighting，勇夺第一!】
配图有三张，第一张是白珊珊在机房外的自拍，第二张是王正教授专心讲课的侧拍，第三张则是王正教授推荐的几本书的照片。
苏飞直呼好家伙，心里暗道，朋友圈果然是装点出来的。
“这妹子腿好细，嘶溜～”
郑浩然的关注点果然不负苏飞所望，集中在了奇奇怪怪的地方。
李浩博嫌弃地看着郑浩然：“能不能不要暴露你奇怪的xp。”
周扬听到郑浩然的话，瞬间觉得手里的快乐风男不快乐了，也凑过去一探妹子真容。
周扬：“嘶～舔一下！这妹子谁啊？”
李浩博说道：“这是我们校学生会的书记，也是这次脑科学建模竞赛的队员，她还是之前数模竞赛高教社杯冠军杯那队的队员。”
郑浩然：“卧槽，阿飞，有这么个高颜值大神带着，你们队不是起飞？”
嗯……是真的起飞，物理意义上的螺旋升天。
苏飞想了想，说道：“白珊珊同学的沟通协调能力和文书工作能力很强。”
颇为了解学生会的官方腔话的李浩博吐槽一句：“好一句废话文学。”
另外两个宝宝完全没get到苏飞的点，还一脸天真的样子。
周扬甚至喃喃自语：“比你有天赋的人还比你努力，而我却还在打游戏。”
苏飞想了想道：“既然比你有天赋又比你努力，那你还努力干什么呢？该吃吃，该睡睡，该玩玩。”
周扬恍然大悟：“有道理！”
于是，他继续投入快乐风男的战场。……
苏飞则是把他的小破笔记本抱上床，他想要继续完善他的“菠萝”。
苏飞这几天根据现有的注意力机制文献，有空便修修改改，新想法的框架早就打好，但技术上其实早就步入瓶颈。
具体的技术难点有两个，一是既然要以注意力机制为基创造新的模型单元，那么就要舍弃现有的所有其他模型结构，舍弃这些结构代表着舍弃信息提取层，而注意力机制计算囊括的信息很单一，使用注意力机制可以得到更精确的信息，但同时会缩减信息源。
就好比你拿着放大镜看世界，世界的确更清晰了，但视野会缩小。
第二个难点则是，注意力机制计算是没有顺序的，也就是说信息的顺序是杂乱无序的，而且是没有时空性的，这就意味着在提取信息的时候，你不但有可能得到位置相反的信息，还可能得到时空错乱的信息。
就比如说你在读取一篇新故事的时候，你都是从头读取，对于没有读到的内容你是不知道的，这才会有新奇感，如果是推理小说，你甚至能根据前面故事的内容来推断最后的凶手。
然而一旦采用注意力机制计算，计算机在读这篇故事的时候，很可能会直接读取谁是凶手，因为这个因素是所有读者最为关注的，最吸引读者注意力的，然后逆着顺序往前读。
这两个难点也是困扰当今想改善注意力机制的学者们的最麻烦的难题，而苏飞目前对第一个难点有点想法。
他果断地打开系统商城，买了一张灵感激发卡。
苏飞不会自大到仅靠自己解决这种困扰整个学界十多年的难题。
当然，他也已经有些思路，只是需要灵感激发卡来给他具体化一下。
如果把注意力机制的计算看成一个矩阵，一个矩阵的计算获取一个单一信息，那么是不是只需要多个矩阵就能获得多个信息……
苏飞顺着这个思路往下想，同时心里默念“使用灵感激发卡”。
和上次一样，一股神秘的暖流钻上苏飞的大脑，一个个根据苏飞的思路演算的公式直接刻入他的脑海，一次次的理论修改也涌入他的脑海……
就仿佛是不断试错后成功的苏飞把这一过程带回去给过去的自己。
大脑瞬间便超负荷，苏飞只感觉自己的cpu快炸了。
‘叮！灵感激发卡使用成功！’
随着系统的提示音落下，苏飞的意识也从那海量的信息中退出，就像是沉迷VR的人突然被拔了电源一样。
“这个思路还真的是对的……”
苏飞有些不可思议，要知道，这个思路完全就是他自己琢磨的，不像上次ELMo论文一般有姜大小姐给她启发。
“数学理论真是万能啊，多读书果然没错。”苏飞不禁喃喃自语。
苏飞连忙把第一个难点的解决方案写到了word文档上去。
【多矩阵拼接构造多头注意力机制以此弥补注意力机制获取信息单一的问题……】
良久，他把所有过程详细地书写了一遍。
“那么，现在该来考虑第二个难点了。”
苏飞紧皱着眉，对于注意力机制的信息无序问题，他还没有任何思路，实际上现在有很多论文专门尝试攻克这个问题，然而效果平平。
苏飞打开面板，看着自己仅剩的1000积分，如果再买一张灵感激发卡，他就成穷光蛋了，而系统目前给出的四个任务，其中三个还遥遥无期。
还需要考虑到的一点是，在没有思路的情况下使用灵感激发卡会不会白白浪费一张。
苏飞略微思索了一会儿，决定暂时放这个难点一马。
过几天去AI研究社看看能不能“集(薅)思(薅)广(羊)益(毛)”。
请收藏本站：https://www.81cnw.com。八一中文网手机版：https://m.81cnw.com
苏飞刚进寝室，就听到了某人选择了快乐风男的声音。
只见寝室里李浩博和郑浩然正一左一右趴在周扬桌上看周扬打撸啊撸。
郑浩然：“卧槽，扬仔，你还玩风男，不怕被封号啊？”
周扬：“给你们俩来一局教学局。”
郑浩然和李浩博同时翻了个白眼。
“阿飞你今天干啥去了？”郑浩然撇见正溜进寝室的苏飞，疑惑问道：“不会是和姜大小姐约会了吧？”
苏飞：“你看人家看得上我不？”
郑浩然悻悻点头：“也是。”
苏飞：“……”
李浩博道：“老三应该是参加脑科学竞赛训练了吧？”
郑浩然：“是不是又是哪个小姑娘告诉老大你的？”
李浩博摇了摇头，拿出手机，打开VX，只见一个白猫头像的人发了一条朋友圈。
【脑科学建模竞赛第一次正式训练！各位学神们都好厉害，珊珊也要努力追赶！一起fighting，勇夺第一!】
配图有三张，第一张是白珊珊在机房外的自拍，第二张是王正教授专心讲课的侧拍，第三张则是王正教授推荐的几本书的照片。
苏飞直呼好家伙，心里暗道，朋友圈果然是装点出来的。
“这妹子腿好细，嘶溜～”
郑浩然的关注点果然不负苏飞所望，集中在了奇奇怪怪的地方。
李浩博嫌弃地看着郑浩然：“能不能不要暴露你奇怪的xp。”
周扬听到郑浩然的话，瞬间觉得手里的快乐风男不快乐了，也凑过去一探妹子真容。
周扬：“嘶～舔一下！这妹子谁啊？”
李浩博说道：“这是我们校学生会的书记，也是这次脑科学建模竞赛的队员，她还是之前数模竞赛高教社杯冠军杯那队的队员。”
郑浩然：“卧槽，阿飞，有这么个高颜值大神带着，你们队不是起飞？”
嗯……是真的起飞，物理意义上的螺旋升天。
苏飞想了想，说道：“白珊珊同学的沟通协调能力和文书工作能力很强。”
颇为了解学生会的官方腔话的李浩博吐槽一句：“好一句废话文学。”
另外两个宝宝完全没get到苏飞的点，还一脸天真的样子。
周扬甚至喃喃自语：“比你有天赋的人还比你努力，而我却还在打游戏。”
苏飞想了想道：“既然比你有天赋又比你努力，那你还努力干什么呢？该吃吃，该睡睡，该玩玩。”
周扬恍然大悟：“有道理！”
于是，他继续投入快乐风男的战场。……
苏飞则是把他的小破笔记本抱上床，他想要继续完善他的“菠萝”。
苏飞这几天根据现有的注意力机制文献，有空便修修改改，新想法的框架早就打好，但技术上其实早就步入瓶颈。
具体的技术难点有两个，一是既然要以注意力机制为基创造新的模型单元，那么就要舍弃现有的所有其他模型结构，舍弃这些结构代表着舍弃信息提取层，而注意力机制计算囊括的信息很单一，使用注意力机制可以得到更精确的信息，但同时会缩减信息源。
就好比你拿着放大镜看世界，世界的确更清晰了，但视野会缩小。
第二个难点则是，注意力机制计算是没有顺序的，也就是说信息的顺序是杂乱无序的，而且是没有时空性的，这就意味着在提取信息的时候，你不但有可能得到位置相反的信息，还可能得到时空错乱的信息。
就比如说你在读取一篇新故事的时候，你都是从头读取，对于没有读到的内容你是不知道的，这才会有新奇感，如果是推理小说，你甚至能根据前面故事的内容来推断最后的凶手。
然而一旦采用注意力机制计算，计算机在读这篇故事的时候，很可能会直接读取谁是凶手，因为这个因素是所有读者最为关注的，最吸引读者注意力的，然后逆着顺序往前读。
这两个难点也是困扰当今想改善注意力机制的学者们的最麻烦的难题，而苏飞目前对第一个难点有点想法。
他果断地打开系统商城，买了一张灵感激发卡。
苏飞不会自大到仅靠自己解决这种困扰整个学界十多年的难题。
当然，他也已经有些思路，只是需要灵感激发卡来给他具体化一下。
如果把注意力机制的计算看成一个矩阵，一个矩阵的计算获取一个单一信息，那么是不是只需要多个矩阵就能获得多个信息……
苏飞顺着这个思路往下想，同时心里默念“使用灵感激发卡”。
和上次一样，一股神秘的暖流钻上苏飞的大脑，一个个根据苏飞的思路演算的公式直接刻入他的脑海，一次次的理论修改也涌入他的脑海……
就仿佛是不断试错后成功的苏飞把这一过程带回去给过去的自己。
大脑瞬间便超负荷，苏飞只感觉自己的cpu快炸了。
‘叮！灵感激发卡使用成功！’
随着系统的提示音落下，苏飞的意识也从那海量的信息中退出，就像是沉迷VR的人突然被拔了电源一样。
“这个思路还真的是对的……”
苏飞有些不可思议，要知道，这个思路完全就是他自己琢磨的，不像上次ELMo论文一般有姜大小姐给她启发。
“数学理论真是万能啊，多读书果然没错。”苏飞不禁喃喃自语。
苏飞连忙把第一个难点的解决方案写到了word文档上去。
【多矩阵拼接构造多头注意力机制以此弥补注意力机制获取信息单一的问题……】
良久，他把所有过程详细地书写了一遍。
“那么，现在该来考虑第二个难点了。”
苏飞紧皱着眉，对于注意力机制的信息无序问题，他还没有任何思路，实际上现在有很多论文专门尝试攻克这个问题，然而效果平平。
苏飞打开面板，看着自己仅剩的1000积分，如果再买一张灵感激发卡，他就成穷光蛋了，而系统目前给出的四个任务，其中三个还遥遥无期。
还需要考虑到的一点是，在没有思路的情况下使用灵感激发卡会不会白白浪费一张。
苏飞略微思索了一会儿，决定暂时放这个难点一马。
过几天去AI研究社看看能不能“集(薅)思(薅)广(羊)益(毛)”。
请收藏本站：https://www.81cnw.com。八一中文网手机版：https://m.81cnw.com