对于标记器,结构(在fts3_tokenizer.h中定义)称为“sqlite3_tokenizer_module”。 FTS不公开一个用户调用的C函数来向数据库句柄注册新的标记器类型。
4.3.1.Unicode61Tokenizer unicode标记器将所有unicode字符分类为“分隔符”或“标记”字符。
tokenize-用于Python源代码的Tokenizer 源代码:Lib/tokenize.py 该tokenize模块为Python源代码提供了一个词法扫描器,并以Python实现。
代码覆盖率报告功能需要Xdebug(2.5.0或更高版本)和tokenizer扩展。生成XML报告需要xmlwriter扩展。
Tokenizer,Parser和CodeGenerator组件用于处理SQL语句并将其转换为虚拟机语言或字节码中的可执行程序。粗略地说,这三个层次实现了sqlite3_prepare_v2()。

扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059
粤公网安备44030502008569号
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号
