回答情况：
提问时间：
问题标签：
0回答
经过CNN处理后的特征数据再传入transformer的编码器做自注意力还需要位置嵌入吗？
python、神经网络、深度学习、人工智能
再传入transformer的编码器做自注意力还需要位置嵌入吗？
假设一段时间序列数据，形状为（1260，10000，1），代表有1260条数据，每条长度为10000，只有一个特征。经过包含若干层一维卷积的CNN后变为(None, 128, 1) ，这时再把它传入transformer的编码器做自注意力还需要进行位置嵌入吗？如果是的话应该在哪个维度做位置嵌入呢？谢谢！
浏览 193提问于2023-02-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号