CountVectorizer和TfidfTransformer的问题

Question

老师，您的步骤是：

1. 读取文件，分词，整合成数据集
   

2. 转化向量

3. 特征工程

4. 训练
   

其中第2步到第3步我没看明白，转化成词向量可以理解，为什么之后还要提取特征，才能训练呢？

count_vector.fit_transform(train_data)

TfidfTransformer(use_idf=False).fit_transform(vector_matrix)

这两步内部分别作了哪些事情？

Answer 1

Mr_Ricky 2018-08-16 15:36:31

第二步到第三步实际上在转换为词向量之后我们是读取了训练数据的tfidf的值，然后再利用这个值进行训练。下面这两句实际上也就是在做这件事。并不是说提取特征，可能我用提取特征这几个字表达的稍微有点会误导，实际上只是提取其tfidf的值。

• 提问者 丨越丨 #1

  也就是说第3步操作，其实提取的是这个训练集里面每一条语句中，重要性代表性最高的词语呗？这个具体提取了多少词语，有没有参数的设置？

• Mr_Ricky 回复 提问者 丨越丨 #2

  是的，这个参数其实你可以去网上找一下sklearn的这个tfidf的用法和说明，比较详细