| 释义 |
tokenization
Encyclopedia
文学计算语言学释
tokenization词例还原
在自动形态分析中，计算机把句子中的单词作为独立的词例切分出来的过程，是文本中独立的词汇单元。
文学语料库语言学释
tokenization; segmentation切词
将连续文本切成离散词语的处理过程。属自然语言处理的一项基础工作，是词性标注、句法分析等后续高层应用的基础，对机器翻译、信息检索等语言工程处理具有重要意义。又称分词、自动分词。
理学自然语言词法分析释
tokenization词例化
一种对句子或文本所进行的切分操作。又称分词（word segmentation）。
|