如何避免词组拆分影响 TF-IDF 计算？

百变鹏仔 5天前 #Python

文章标签词组

自定义 tf-idf 计算，避免词组拆分

在使用 tfidfvectorizer 计算 tf-idf 值时，当文本数据包含词组时，可能会遇到自动分词的问题，导致输出特征包含分拆后的单词。为了解决这一问题，以下提供两种方法：

1. 调整 tfidfvectorizer 参数

如果文本数据中的词组由下划线或其他字符连接，可以设置 tfidfvectorizer 的 analyzer 参数为 "word"，以禁用分词功能。

from sklearn.feature_extraction.text import tfidfvectorizerdocs = ["this_is_book", "this_is_apple"]vectorizer = tfidfvectorizer(analyzer="word", stop_words="english")tfidf = vectorizer.fit_transform(docs)print(vectorizer.get_feature_names_out())

输出：

['this_is_apple', 'this_is_book']

2. 自定义 tf-idf 计算

如果你不想使用 tfidfvectorizer，也可以自行编写 tf-idf 计算程序。以下是一个示例实现：

import mathdef tfidf_custom(docs, vocab):  """  自定义 TF-IDF 计算  参数：    docs: 文档集合    vocab: 词汇表  """  # 计算词频  tf_dict = {}  for doc in docs:    for word in doc:      if word in tf_dict.keys():        tf_dict[word] += 1      else:        tf_dict[word] = 1  # 计算文档频率  df_dict = {}  for word in vocab:    for doc in docs:      if word in doc:        if word in df_dict.keys():          df_dict[word] += 1        else:          df_dict[word] = 1  # 计算 TF-IDF 值  tfidf_dict = {}  for word in vocab:    tfidf_dict[word] = (tf_dict[word] / sum(tf_dict.values())) * math.log(len(docs) / df_dict[word])  return tfidf_dict# 文档集合和词汇表docs = ["This_is_book", "This_is_apple"]vocab = ["This_is_apple", "This_is_book"]tfidf_custom(docs, vocab)

文章推荐

如何避免词组拆分影响 TF-IDF 计算？

如何在Python中实现梯度下降算法以寻找局部最小值？

Python程序删除数组中的重复元素

使用Networxx模块的超链接诱导主题搜索（HITS）算法- Python

使用索引列表在Python中查找元素的乘积

在Python中打印字符串的所有子序列