正文

抓取文本高频词

发布时间：2023-04-14 04:27:26 稿源：创意岭阅读： 131

大家好！今天让创意岭的小编来大家介绍下关于抓取文本高频词的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端

官网：https://ai.de1919.com。

创意岭作为行业内优秀的企业，服务客户遍布全球各地，如需了解SEO相关业务请拨打电话175-8598-2043，或添加微信：1454722008

本文目录:

1、python 提取有关键词的句子怎么做
2、用Python实现小说里的高频词统计并显示
3、“关键词”提取都有哪些方案？
4、统计高频词的软件有哪些？

抓取文本高频词

一、python 提取有关键词的句子怎么做

高频词提取：

# !/usr/bin/python3

# coding:utf-8

import jieba.analyse

jieba.load_userdict('dict.txt') # dict.txt自定义词典

content = open('kw.txt', 'rb').read()

tags = jieba.analyse.extract_tags(content, topK=10) # topK 为高频词数量

print("\n".join(tags))

二、用Python实现小说里的高频词统计并显示

用jieba做分词，用wordcloud包做词云就可以了

# 读取文件内容
file = 'd:/艾萨克·阿西莫夫/奇妙的航程.TXT'
f = open(file, 'r', encoding='gbk')
text = f.read()
f.close()
# 使用jieba分词,因为wordcloud是以空格识别单词边界的
import jieba
text = ' '.join(jieba.cut(text))
# 掩码图片,单色图就好
from scipy.misc import imread
color_mask = imread('D:/Pictures/7218.png')
# 建立词云对象,因为是中文,指定一个中文字体,不然可能会乱码
# WordCloud的参数可以控制很多内容,请自行阅读包的文档
import wordcloud
w = wordcloud.WordCloud(font_path='C:/Windows/Fonts/msyh.ttc',
                        max_words=100,
                        mask=color_mask)
# 载入以空格分词的字符串
w.generate(text)
# 生成图片
w.to_file('d:/img1.png')

抓取文本高频词

三、“关键词”提取都有哪些方案？

仅从词语角度分析，1.2句banana是重复出现的，3.4句kitten是重复出现的。但其实可以发现1.2句主要跟食物有关，3.4句主要跟动物有关，而food、animal两个词在四句话里均未出现，有没有可能判断出四句话中所包含的两个主题呢，或者当两篇文章共有的高频词很少，如一篇讲banana，一篇讲orange，是否可以判断两篇文章都包含food这个主题呢，如何生成主题、如何分析文章的主题，这就是topic-model所研究的内容。对文本进行LSA（隐形语义分析）。在直接对词频进行分析的研究中，可以认为通过词语来描述文章，即一层的传递关系。而topic-model则认为文章是由主题组成，文章中的词，是以一定概率从主题中选取的。不同的主题下，词语出现的概率分布是不同的。比如”鱼雷“一词，在”军事“主题下出现的概率远大于在”食品”主题下出现的概率。即topic-model认为文档和词语之间还有一层关系。首先假设每篇文章只有一个主题z，则对于文章中的词w，是根据在z主题下的概率分布p(w|z)生成的。则在已经选定主题的前提下，整篇文档产生的概率是而这种对每篇文章只有一个主题的假设显然是不合理的，事实上每篇文章可能有多个主题，即主题的选择也是服从某概率分布p(t)的因此根据LDA模型，所有变量的联合分布为表示topic下词的分布，表示文档下topic的分布。是第m个文档的单词总数。和表示词语和topic的概率分布先验参数。而学习LDA的过程，就是通过观察到的文档集合，学习的过程。

抓取文本高频词

四、统计高频词的软件有哪些？

分析软件有Excel、SPSS、MATLAB、 SAS、Finereport等

其中Excel我就不多说了相信大家都懂。

SPSS是世界上最早采用图形菜单驱动界面的统计软件它将几乎所有的功能都以统一、规范的界面展现出来。SPSS采用类似EXCEL表格的方式输入与管理数据，数据接口较为通用，能方便的从其他数据库中读入数据。其统计过程包括了常用的、较为成熟的统计过程，完全可以满足大部分的工作需要。

MATLAB是美国MathWorks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境使用的。

其优点如下：

1、高效的数值计算及符号计算功能，能使用户从繁杂的数学运算分析中解脱出来；

2、具有完备的图形处理功能，实现计算结果和编程的可视化；

3、友好的用户界面及接近数学表达式的自然化语言，使学者易于学习和掌握；

4、功能丰富的应用工具箱(如信号处理工具箱、通信工具箱等) ，为用户提供了大量方便实用的处理工具。

但是这款软件的使用难度较大，非专业人士不推荐使用。

SAS是把数据存取，管理，分析和展现有机地融为一体。其功能非常强大统计方法齐，全，新。它由数十个专用模块构成，功能包括数据访问、数据储存及管理、应用开发、图形处理、数据分析、报告编制、运筹学方法、计量经济学与预测等。SAS系统基本上可以分为四大部分：SAS数据库部分；SAS分析核心；SAS开发呈现工具；SAS对分布处理模式的支持及其数据仓库设计。不过这款软件的使用需要一定的专业知识，非专业人士不推荐使用。

Finereport类EXCEL设计模式，EXCEL+绑定数据列”形式持多SHEET和跨SHEET计算，完美兼容EXCEL公式，用户可以所见即所得的设计出任意复杂的表样，轻松实现中国式复杂报表。它的功能也是非常的丰富，比如说数据支持与整合、聚合报表、数据地图、Flash打印、交互分析等。

以上就是关于抓取文本高频词相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。