Transformer依然是当下的绝对主流,但简单套用和魔改已经过时,深度和创新性才是顶会审稿人的菜!比如ACL26上关于局部注意力为何有效的论文。
此外,解决Transformer的固有缺陷;跨界融合,解决新问题;理论边界研究,像是可解释性等也都备受关注。
为让大家能够紧跟领域前沿,找到更多idea启发,我给大家准备了258篇必读论文和源码。主要涉及最新顶会成果和细分热门方向。
全部选自近年顶会的Transformer相关研究,覆盖了CVPR、ICLR、NeurIPS、ICML、AAAI、ACL、ICCV、WWW等。
每篇论文都提供了论文原文和开源代码,大家可以按自己的需要运用。

通过这些文章,你便能厘清领域的研究脉络和审稿人当下的品味。
这个模块,主要是给大家整理了17个热门细分方向,每个方向都提供了高分参考文献和源码。

主要有:
•Transformer的基础单元革新、可解释性研究:比如KAN+Transformer;
•与其他技术结合:+LSTM、+GNN、+Mamba、+小波变换、+扩散模型……
•在视觉、目标检测等领域的应用……
通过这些论文,你可以直接跟进,搞定自己的idea。