自定义CountVectorizer分词器：处理带符号数字的文本特征提取

来源：BOB.COM    发布时间：2026-01-11 09:43:04

  本教程详细的介绍了Python CountVectorizer在进行文本特征提取时，默认忽略数字前正负号的问题及其解决方案。通过实现一个自定义分词器，结合正则表达式精确捕获带符号的数字作为独立词元，能保证 CountVectorizer正确识别并保留这些关键信息，从而生成包含完整符号的特征矩阵。

  在自然语言处理（NLP）中，Bag-of-Words (BOW) 模型是一种常用的文本表示方法，它将文本视为一个词袋，忽略词序，只关注词的出现频率。ntVectorizer 是Python中实现BOW模型的核心工具。它能够将文本文档集合转换为词频矩阵。然而，当处理包含正负号的数字字符串时，CountVectorizer 的默认行为有几率会使信息丢失。

  其中 Txt 字段包含了一系列带符号的数字。如果直接用 CountVectorizer 做处理，其默认的分词器通常会忽略非字母数字字符（如 + 和 -），导致生成的特征名称（列名）中丢失这些符号。这在某种程度上预示着 +83 和 83 将被视为同一个词元，这在某些应用场景下是不可接受的。我们期望的输出是能区分 +83 和 -193 等带符号的数字作为独立的特征。

  分词是文本处理的第一步，它将连续的文本分解成有意义的最小单元，即词元（tokens）。CountVectorizer 内部有一个 tokenizer 参数，它决定了如何将输入文本字符串分割成词元列表。默认情况下，CountVectorizer 使用一个简单的正则表达式来提取词元，该正则表达式通常只匹配字母数字序列。这就是怎么回事+ 和 - 符号会被忽略的原因，因为它们不被认为是词元的一部分。

  为了解决符号丢失的问题，我们应该提供一个自定义的分词器，它能够识别并保留数字前的正负号。

  自定义分词器的核心在于使用正则表达式精确地捕获我们大家都希望保留的词元。对于带符号的数字，我们应该确保正负号与数字一起被视为一个整体。

  我们将使用Python的 re 模块来构建这个自定义分词器。重点是 re.split() 函数和合适的正则表达式。

  [+-]?: 这是一个字符集，匹配 + 或 - 字符。? 表示前面的字符（在这里是 [+-]）出现零次或一次，即符号是可选的。

  (): 这是一个捕获组。在 re.split() 中，如果正则表达式包含捕获组，那么被捕获的内容也会作为结果列表的一部分返回。这正是我们应该的，它确保 + 或 - 与后面的数字一起被捕获为一个词元。

  re.split() 函数会根据正则表达式将字符串分割，并且如果正则表达式中包含捕获组，则捕获到的内容也会包含在结果列表中。最后，个人会使用列表推导式 [token.strip() for token in ... if token.strip()] 来清理结果，移除可能会产生的空字符串。

  下面是一个完整的示例，展示如何应用自定义分词器来解决 CountVectorizer 忽略符号的问题。

  运行上述代码，您会看到 result_df 的列名正确地包含了 + 或 - 符号，例如 +83, -193, -380 等，这正是我们期望的结果。

  自定义分词器是 CountVectorizer 强大的一个方面，它允许用户根据具体的文本处理需求，灵活地定义如何将文本分割成词元。

  re 模块和正则表达式是处理复杂文本模式匹配和提取的利器。理解并掌握常用的正则表达式语法对于文本预处理至关重要。

  复杂的自定义分词器可能会比 CountVectorizer 的默认分词器慢。在处理海量数据时，需要权衡灵活性和性能。

  本教程中解决的问题在处理日志文件、金融交易数据、科学测量数据等场景中很常见，这些场景中数字的正负号具备极其重大的语义信息。

  通过本文，我们学习了 CountVectorizer 默认分词机制的局限性，以及如何通过实现和集成自定义分词器来解决在文本特征提取过程中符号丢失的问题。这种方法不仅限于处理带符号的数字，还可以扩展到处理其他任何的需要特殊分词规则的文本数据。

  本站声明：本文内容由网友自发贡献，版权属于原本的作者所有，本站不承担对应法律责任。如您发现有侵权的内容，请联系

  基于讯飞星火大模型的AI写作工具，能够迅速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

  最最强大的AI聊天机器人程序，ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

  php中文网为大家提供各种python开发工具，好的开发工具，可帮助开发者攻克编程学习中的基础障碍，理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程和相关文章等内容，供大家免费下载使用。

  本专题为大家带来python打包成可执行文件相关的文章，你们可以免费的下载体验。

  python能做的有：可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

  Python中的format是一种字符串格式化方法，用于将变量或值插入到字符串中的占位符位置。通过format方法，我们可以动态地构建字符串，使其包含不同值。php中文网给大家带来了相关的教程以及文章，欢迎大家前来阅读学习。

  Python已成为一门网红语言，即使是在非编程开发者当中，也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章，大家可以不要钱体验学习。

  Python是一种流行的编程语言，被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后，我们需要配置环境变量，以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章，欢迎各位前来学习阅读。

  eval函数是Python中一个非常强大的函数，它可以将字符串作为Python代码进行执行，实现动态编程的效果。然而，由于其潜在的安全风险和性能问题，需要谨慎使用。php中文网给大家带来了相关的教程以及文章，欢迎各位前来学习阅读。

  scratch和python的区别：1、scratch是一种专为初学者设计的图形化编程语言，python是一种文本编程语言；2、scratch使用的是基于积木的编程语法，python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容，供大家免费下载体验。