注意力机制作用被高估了?苹果等机构新研究:把注意力矩阵替换成常数矩阵后,
要说《变形金刚》的核心亮点,当然是注意力机制。
可是现在,一项新的研究突然提出了一个有些爆炸性的观点:
注意机制对于预训练变形金刚有多重要,需要打个问号。
来自希伯来大学,艾伦人工智能研究所,苹果公司和华盛顿大学的研究人员提出了一种新的方法来衡量预训练变压器模型中注意力机制的重要性。
结果表明,即使去掉注意机制,某些变压器的性能变化也不大,甚至与原模型相差不到十分之一!
这个结论让很多人惊讶,也有网友调侃:
你亵渎了这个领域的神!
那么,如何判断注意机制对变形金刚模型的重要性呢。
把注意力转向一个常数矩阵。
这种新的测试方法叫做PAPA,全称是预训练语言模型注意机制的检测与分析。
PAPA采用的方法是将预训练语言模型中依赖输入的注意矩阵替换为常数矩阵。
如下图所示,我们熟悉的关注机制是通过Q和K矩阵计算关注权重,然后作用于V,得到整体权重和输出。
现在,Q和K的部分直接用常数矩阵C代替:
常数矩阵c计算如下:
然后用6个下游任务对这些模型进行测试,比较PAPA前后模型的性能差距。
为了更好地检验注意机制的重要性,模型的注意矩阵并不是一次性完全用一个常数矩阵代替,而是逐渐减少注意头的数量。
如下图所示,研究中使用了BERT—BASE,RoBERTa—BASE和DeBERTa—BASE,其中Y轴代表性能,X轴代表与原始相比注意力头的下降:
然后,将BERT—LARGE,RoBERTa—LARGE和DeBERTa—LARGE用作实验:
通过对比结果,研究人员发现了一些有趣的现象:
首先,用常数矩阵代替一半的注意力矩阵对模型的性能影响不大,甚至在某些情况下可能会导致性能的提高。
其次,即使关注头数减少到零,平均性能也会下降8%,与原模型相比不超过20%。
人们认为,这一现象表明,预训练语言模型并不那么依赖于注意机制。
模型的性能越好,就越依赖于注意机制。
可是,即使在预先训练的变压器模型中,性能也不完全相同。
如下图所示,其中Y轴代表每个模型的平均性能,X轴代表当所有关注矩阵替换为常数矩阵时模型性能的相对降低分数:
可以看出,以前的模型性能越好,用常数矩阵代替注意力矩阵的损失就越高。
这说明模型本身的性能越好,利用注意机制的能力就越强。
对于这个研究,有网友觉得很棒:
听起来很酷现在很多架构过于关注各种计算和性能任务,却忽略了是什么改变了模型
但也有网友认为,单纯从数据上无法判断架构变化是否重要。
例如,在某些情况下,注意机制带来的隐藏空间中数据点的振幅变化仅为2—3%:
这种情况下还不够重要吗不一定
如何看待《变形金刚》中注意力机制的重要性。
论文地址:
参考链接:
。声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。
精彩阅读
-
金鹰商贸集团03308:撤销股份的上市地位将自10月9日下午四时正起...
智通财经APP讯,金鹰商贸集团发布公告,内容有关要约人根据公司法第86条以安排计... -
紫金矿业02899.HK:已累计回购股份455万股A股...
格隆汇10月8日丨紫金矿业公布,截至2023年9月底,公司已累计回购股份455万... -
双节假期新疆旅游收入超209亿喀纳斯、赛里木湖等地火爆...
新疆文旅市场持续火热,中秋、国庆假期,新疆累计接待游客1511.08万人次,实现... -
亚运史上首个低碳账户“村里人”这样开启绿色生活模式...
转自:中国科技网 杭州亚运会即将进入尾声。绿色亚运的理念在亚运村的生活中切... -
美媒:美联邦航空管理局特别公告,敦促在以色列空域飞行“格外小心”...
综合媒体i消息,美国联邦航空管理局向美国的航空公司和飞行员发布特别公告,敦促飞行... -
山丹:中水回用助力秋季造林绿化...
山丹:中水回用助力秋季造林绿化 据张掖日报报道鉴于目前旱情影响,山丹县结合... -
超级黄金周收官北上广“吸金”“引人”成绩单来了...
中秋国庆八天黄金周已经结束,上亿人的出行带来了各地消费的繁荣,中国网财经注意到,... -
终结九连跌黄金周黄金遭遇“黄金劫”...
21世纪经济报道记者叶麦穗广州报道经过连续9天的下跌,本周五黄金终于出现探底迹象... -
福州机场“双节”假期出入境客流同比增长481%...
,国庆中秋“双节”期间,福州长乐国际机场口岸总体保持平稳有序的出入境客流增长态势... -
中国保持柬埔寨第一大投资来源国地位...
数据显示,今年前9个月,柬埔寨发展理事会批准新投资项目同比增加41个。中国企业在... -
“人机共生”时代要来临了吗?...
马斯克要给瘫痪患者人脑植入芯片 “人机共生”时代要来临了吗? 残疾人用机... -
增值税发票数据显示,中秋国庆假期中国居民消费市场火热...
中国国家税务总局7日公布的增值税发票数据显示,中秋国庆假期,中国居民消费市场“活... -
爱奇艺专利可识别故事情节烂梗...
天眼查App显示,近日,北京爱奇艺科技有限公司申请的“一种故事情节识别方法、装置... -
BC“宣战”TOPCon深度拆解光伏技术路线之争...
国庆节前,BC电池概念股持续上涨。9月28日,东方财富BC电池概念板块涨幅达到1... -
什么叫“AI原生”?读完李彦宏这33条语录你就知道了...
什么叫“AI原生”?读完李彦宏这33条语录你就知道了 在大模型掀起国内科技...