文章/答案/技术大牛

发布

社区首页 >问答首页 >无法从Keras导入Tokenizer

问无法从Keras导入Tokenizer
EN

Stack Overflow用户

提问于 2018-02-03 01:13:03

回答 1查看 11.2K关注 0票数 2

目前正在处理一个深度学习示例，他们正在使用Tokenizer包。我收到以下错误：

AttributeError：“Tokenizer”对象没有属性“”word_index“”

下面是我的代码：

from keras.preprocessing.text import Tokenizer

samples = ['The cat say on the mat.', 'The dog ate my homework.']

tokenizer = Tokenizer(num_words=1000)
tokenizer.fit_on_sequences(samples)

sequences = tokenizer.texts_to_sequences(samples)

one_hot_results = tokenizer.texts_to_matrix(samples, mode='binary')

word_index = tokenizer.word_index
print('Found %s unique tokens.' % len(word_index))

有人能帮我找出我的错误吗？

machine-learning

deep-learning

keras

python

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-02-03 01:25:37

它似乎正在正确导入，但Tokenizer对象没有属性word_index。

根据documentation，只有在Tokenizer对象上调用fits_on_text方法时，才会设置该属性。

以下代码成功运行：

 from keras.preprocessing.text import Tokenizer

 samples = ['The cat say on the mat.', 'The dog ate my homework.']

 tokenizer = Tokenizer(num_words=1000)
 tokenizer.fit_on_texts(samples)

 one_hot_results = tokenizer.texts_to_matrix(samples, mode='binary')

 word_index = tokenizer.word_index
 print('Found %s unique tokens.' % len(word_index))

票数 3

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/48587696

复制

相似问题

问无法从Keras导入Tokenizer
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问无法从Keras导入TokenizerEN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问无法从Keras导入Tokenizer
EN