文章/答案/技术大牛

发布

问BERT至XLNET列车模型
EN

Stack Overflow用户

提问于 2021-05-17 04:29:19

回答 1查看 92关注 0票数 0

我试图在XLNet中做这样的事情，但是我在文档中找不到这个部分，任何帮助都是有价值的，谢谢！

# we access the transformer model within our bert object using the bert attribute 
# (eg bert.bert instead of bert)

embeddings = bert.bert(input_ids, attention_mask=mask)[1]  # access pooled activations with [1]

(而不是bert.bert，我试图用xlnet来实现它)

python

tensorflow

nlp

tf.keras

transformer-model

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-05-17 21:16:08

为了解决这个问题，让我们首先看看bert.bert属性背后到底隐藏了什么。为此，我们可以检查TFBertModel类的库源代码。在那里，我们可以看到它被定义为

self.bert = TFBertMainLayer(config, name="bert")

其中，TFBertMainLayer是确切的名称-主要的伯特变压器组件。准确地说，它的定义如下：

# ...
self.embeddings = TFBertEmbeddings(config, name="embeddings")
self.encoder = TFBertEncoder(config, name="encoder")
self.pooler = TFBertPooler(config, name="pooler") if add_pooling_layer else None
# ...

如果我们检查source code for TFXLNetModel，我们可以看到也只有一个属性，它被定义为

self.transformer = TFXLNetMainLayer(config, name="transformer")

由于它的名称非常类似，所以只需调用xlnet.transformer(...)就可以得到相同的结果，尽管我不能保证所有的输入参数都是相同的。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/67564014

复制

相似问题

问BERT至XLNET列车模型
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问BERT至XLNET列车模型EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问BERT至XLNET列车模型
EN