文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
首页 > 后端开发 > Python教程 > 正文

如何使用Python的sklearn中的CountVectorizer？

WBOY
发布： 2023-05-07 23:58:06
转载
2084人浏览过

简介

countvectorizer官方文档。

将一个文档集合向量化为为一个计数矩阵。

如果不提供一个先验字典，不使用分析器做某种特征选择，那么特征的数量将等于通过分析数据发现的词汇量。

数据预处理

两种方法：1.可以不分词直接投入模型；2.可以先将中文文本进行分词。

两种方法产生的词汇会非常不同。在后面会具体给出示范。

立即学习“Python免费学习笔记（深入）”；

import jieba
import re
from sklearn.feature_extraction.text import CountVectorizer
#原始数据
text = ['很少在公众场合手机外放',
        '大部分人都还是很认真去学习的',
        '他们会用行动来',
        '无论你现在有多颓废，振作起来',
        '只需要一点点地改变',
        '你的外在和内在都能焕然一新']
#提取中文
text = [' '.join(re.findall('[\u4e00-\u9fa5]+',tt,re.S)) for tt in text]
#分词
text = [' '.join(jieba.lcut(tt)) for tt in text]
text
登录后复制

Python sklearn CountVectorizer如何使用

构建模型

训练模型

#构建模型
vectorizer = CountVectorizer()
#训练模型
X = vectorizer.fit_transform(text)
登录后复制

所有词汇：model.get_feature_names()

#所有文档汇集后生成的词汇
feature_names = vectorizer.get_feature_names()
print(feature_names)
登录后复制

不分词生成的词汇

Python sklearn CountVectorizer如何使用

分词后生成的词汇

Python sklearn CountVectorizer如何使用

计数矩阵：X.toarray()

#每个文档相对词汇量出现次数形成的矩阵
matrix = X.toarray()
print(matrix)
登录后复制

Python sklearn CountVectorizer如何使用

#计数矩阵转化为DataFrame
df = pd.DataFrame(matrix, columns=feature_names)
df
登录后复制

Python sklearn CountVectorizer如何使用

词汇索引：model.vocabulary_

print(vectorizer.vocabulary_)
登录后复制

Python sklearn CountVectorizer如何使用

以上就是如何使用Python的sklearn中的CountVectorizer？的详细内容，更多请关注php中文网其它相关文章！

python速学教程(入门到精通)
python速学教程(入门到精通)

python怎么学习？python怎么入门？python在哪学？python怎么学才快？不用担心，这里为大家提供了python速学教程(入门到精通)，有需要的小伙伴保存下载就能学习啦！

下载
相关标签：
python
来源：亿速云网
收藏 点赞
上一篇：Python函数的默认参数用法 下一篇：Python装饰器的理解及应用方式
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
作者最新文章
最新问题
Python数据库连接操作 Python数据库交互常用模块解析 Python操作数据库常用模块包括sqlite3、pymysql、mysqlclient、psycopg2及SQLAlchemy。1.sqlite3适用于本地开发或小型项目，使用流程为连接数据库→创建游标→执行SQL→提交事务→关闭连接；2.pymysql和mysqlclient用于MySQL操作，区别在于pymysql是纯Python实现而mysqlclient是C扩展，参数占位符前者用%s后者可用%s或?；3.psycopg2支持PostgreSQL，提供事务控制、异步查询等高级特性，并可通
2025-06-09 22:39:01
824
Python中如何使用静态方法？ 静态方法在Python中通过@staticmethod装饰器定义，不依赖于类的实例或类变量。1.它们提高代码的模块化和可重用性。2.静态方法不能访问类的状态，适合不需要类状态的功能。3.在性能优化和代码组织中有实际应用。
2025-06-09 22:27:01
330
如何动态地向类添加方法？ 在Python中动态向类添加方法可以通过使用types.MethodType为实例添加方法，或直接修改类的__dict__为类添加方法。1.使用types.MethodType可以为实例动态添加方法，适用于需要为不同实例添加不同方法的场景，但仅对该实例有效。2.直接修改类的__dict__可以为类添加方法，所有实例都会受到影响，适合需要全局修改的情况，但可能降低代码的可读性和可维护性。
2025-06-09 22:06:01
964
Python正则表达式完全指南 Python正则匹配规则详解 正则表达式是Python中处理文本的强大工具，通过re模块实现字符串匹配、查找和替换。基本字符匹配如a只匹配字母a，而元字符如.匹配任意字符，\d匹配数字，\w匹配单词字符，\s匹配空白符，若需匹配元字符本身则使用转义，例如用.匹配点号。例如，手机号可表示为r'\d{11}'。分组用()实现，如r'(\d{4})-(\d{2})-(\d{2})'提取年月日，也可命名分组如(?P\d{4})以便通过名字访问。使用建议包括：贪婪模式默认尽可能多匹配，可用?变为非贪婪；锚点^和$确保整体匹配；多行匹配
2025-06-09 21:36:06
587
Python自动化测试框架 Python自动化测试工具如何使用 要使用Python自动化测试框架，首先要选对工具。主流框架有unittest、pytest和RobotFramework，其中pytest因语法简洁、扩展性强适合新手；其次搭建环境需安装Python3.8+、使用虚拟环境并安装框架及插件如pytest-html、selenium；接着编写可维护脚本应命名清晰、封装重复操作、合理断言并分类组织文件结构；最后集成CI/CD如GitHubActions实现代码提交后自动运行测试，从而提升效率。
2025-06-09 21:15:01
968
python中sorted函数的用法 python排序函数使用技巧 Python的sorted函数可以对任何可迭代对象进行排序，并返回一个新的排序列表。1)它接受iterable、key和reverse参数，其中key参数用于指定排序依据，reverse参数控制排序顺序。2)可以处理复杂排序，如根据字典键值排序或混合数据类型排序。3)能通过key参数处理包含None值的列表。4)使用Timsort算法，性能高效，适用于大规模数据时可结合heapq模块优化。sorted函数是Python中强大且灵活的排序工具。
2025-06-09 19:57:06
536
Python物联网协议 Python MQTT通信实践指南 Python实现MQTT通信可通过paho-mqtt库完成，适合资源受限设备。1.安装库：pipinstallpaho-mqtt；2.创建客户端并连接Broker：client=mqtt.Client("python_client")，client.connect("broker_address",1883,60)；3.订阅主题：client.subscribe("sensor/temperature")，设置回调函数on_message处理接收消息；4.发布消息：client.publish(
2025-06-09 19:51:01
979
Python交互设计 Python命令行界面优化技巧 提升Python命令行程序交互体验的关键在于优化提示信息、输入验证和输出美化。首先，给出明确提示，如“请输入1到10之间的整数”或带默认值的提示，帮助用户了解输入要求；其次，加入输入验证逻辑，使用循环和异常处理防止因错误输入导致程序崩溃；最后，通过分隔线、颜色高亮和第三方库如tabulate、colorama美化输出，使界面更清晰易读。这些优化虽小，却能显著提升用户体验。
2025-06-09 19:45:01
335
Python类型注解指南 Python类型提示使用方法详解 类型注解是Python中一种为变量、函数参数及返回值添加类型信息的技术，它提升代码可读性和维护性。例如，函数greet(name:str)->str指定参数和返回值应为字符串。变量如age:int=25也可加注解。对于函数，即使有默认参数也应加类型，无返回值用None，不确定类型可用Any但建议少用。使用typing模块的Optional、List、Dict、Union和Callable等工具可实现更复杂的类型提示，分别用于表示可能None、集合元素类型、多类型可能及回调函数类型。类型注解的好处
2025-06-09 19:42:01
594
Python里struct模块 字节流打包解包struct的二进制处理 struct模块是Python中用于处理二进制数据的工具，主要功能是将基本数据类型打包为字节流或从字节流中解析出原始数据。1.它的核心功能包括pack和unpack函数，分别用于打包和解包数据；2.支持指定大小端格式（如>表示大端，
2025-06-09 18:45:04
379
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部