回答情况：
提问时间：
问题标签：
我的n-gram标记器无法正常工作。unigram似乎工作得很好，但只要我将二元语法分词器应用于语料库，它就会返回与unigram分词器相同的单词列表。代码如下。blogs <- readLines("en_US.blogs.txt", news <- readLines("en_US.news.txt",
enc
浏览 16提问于2017-07-24得票数 0
我正在使用token_get_all开发一个工具。我遇到了在php代码中有以下查询的情况 `Value_Content` = '" . $this->db->escape($revisionValues['value']) . "',
`Comments` = '" . $this->db->escape($revisionValues['comment']
浏览 3提问于2012-12-18得票数 0
我在玩boost::tokenizer，但是我意识到它不支持rbegin()和rend()。我想问一下，如何将这两个函数添加到现有的类中？这是来自boost站点的：#include <string>using namespace boost;
string str( "12/12/1986" );
浏览 2修改于2011-06-06得票数 3
回答已采纳
我们有一个应用程序，可以对某些数据进行标记。我的问题是我有一个逗号分隔的字段，我需要标记化，但不是在空格上。例如：变成了678Age 6Age 8我目前拥有的配置设置：boost="1f&
浏览 5修改于2017-02-15得票数 1
"myLower" class="solr.TextField" positionIncrementGap="100"> <tokenizerclass="solr.LowerCaseFilterFactory"/> <analyzer type="query">
浏览 15提问于2017-01-05得票数 0
回答已采纳
我想将字符串行转换为标记(存储在字符串表中)，并且我只能使用java.io.*这是为了实现一个计算器。到表{“1”，"+"，"2"，"+"，"3"}
浏览 0修改于2011-04-13得票数 0
我有一个我认为是简单的solr练习，但我不确定要使用什么。我也喜欢它，以便优先考虑名字。编辑:对搜索能力进行两次编辑。1.类似&#
浏览 1修改于2012-04-30得票数 2
回答已采纳
我用python为我的语言编写了一个标记器，但是当我试图标记化一个文件时，它只对它进行标记化。It标记器只能标记大约90个标记(单词和符号分开)，而它应该标记所有文件。代码如下：data=myfile.read().replace('\n', '')
(r"[0-9]+", lamb
浏览 1提问于2017-11-26得票数 1
下面的Analyzer扩展有许多不推荐的子类。非反对的替代者是什么？用于StandardTokenizer、StandardFilter、LowerCaseFilter和StopFilter --如下所示。 this.version = version; @SuppressWarnings("r
浏览 1提问于2015-05-28得票数 1
回答已采纳
目前正在处理一个深度学习示例，他们正在使用Tokenizer包。我收到以下错误：下面是我的代码：tokenizer.fit_on_sequence
浏览 1提问于2018-02-03得票数 2
回答已采纳
'spacy.tokenizer.Tokenizer‘对象没有属性'tokens_from_list'en_nlp = spacy.load("en_core_web_sm", disable=['parser', 'ner'])
old_tokenizer = en_nlp.tokenizeren_nlp.tokenizer = lambda stri
浏览 11提问于2022-02-25得票数 0
我的困惑源于Tokenizer类的各种实现，这些实现可以在Tensorflow生态系统中找到。Tokenizer类既存在于Tensorflow Datasets (tfds)中，也存在于Tensorflow本身中：tfds.features.text.Tokenizer() & tf.keras.preprocessing.text.TokenizerTF在实践中使用tf.Keras.preprocessing.text.Tokenizer()实现，文本加载教程使用tfds.features.te
浏览 3修改于2020-05-07得票数 3
回答已采纳
我想用正则表达式标记器对下面的句子进行标记化当我将记号赋予器定义为
tokenizer = RegexpTokenizer(r'\w+')
浏览 10修改于2017-12-19得票数 1
回答已采纳
boost::split(tokens, message, boost::is_any_of("^"));boost::char_separator<char> sep("^");
boost::tokenizer
浏览 4修改于2018-03-19得票数 32
回答已采纳
我不知道为什么我在这件事上挣扎得这么厉害，但任何帮助都会非常感谢。输入：AND 3, 4, 5 ; some commentsAND --- command, --- delimiter, --- delimiter我现在让它在我输出的地方工作：但我需要进一步分析它。ArrayList<Token
浏览 3修改于2012-10-26得票数 4
回答已采纳
我不确定是使用keras.text_preprocessing.Tokenizer还是sklearn.feature_extraction.text.CountVectorizer.有什么建议吗？
浏览 3提问于2020-01-23得票数 3
你能帮我解释一下为什么tokenizer.encode和tokenizer.encode_plus给出不同的结果吗？示例1(使用.encode_plus())：not_paraphrase = tokenizer.encode_plus(sequence_0, sequence_1, return_tensors="pt")
浏览 1修改于2020-05-10得票数 19
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号