文章/答案/技术大牛

发布

社区首页 >问答首页 >使用Regex Tokenizer进行标记

问使用Regex Tokenizer进行标记
EN

Stack Overflow用户

提问于 2017-12-19 14:46:57

回答 2查看 253关注 0票数 1

我想用正则表达式标记器对下面的句子进行标记化

MOST INTERESTED IN NUT BUTTERS

当我将记号赋予器定义为

tokenizer = RegexpTokenizer(r'\w+')

我得到的输出是

['MOST', 'INTERESTED', 'IN', 'NUT', 'BUTTERS']

我想要的输出是

['MOST', 'INTERESTED', 'IN', 'NUT BUTTERS']

我希望NUT what是一个元素，我不知道该用什么正则表达式来代替，或者使用\w+

python

regex

nltk

tokenize

回答 2

Stack Overflow用户

回答已采纳

发布于 2017-12-19 14:56:09

如果您想使用正则表达式解决方案，则必须列出包含必须作为一个空格提取的空格的单词列表，并像这样构建您的正则表达式：

word space1|word space2|word space3|...|word spaceN|\w+

对于您的示例，它变成：

NUT BUTTERS|\w+

票数 0

Stack Overflow用户

发布于 2017-12-19 14:53:40

请尝试使用split()。

>>> str = 'MOST INTERESTED IN NUT BUTTERS'
>>> str.split(' ', 3) # 3 tells the number of splits it should do.
['MOST', 'INTERESTED', 'IN', 'NUT BUTTERS']

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/47881392

复制

相似问题

问使用Regex Tokenizer进行标记
EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Regex Tokenizer进行标记EN

回答 2

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用Regex Tokenizer进行标记
EN