| 孙新,欧阳童,严西敏,尚煜茗,郭文浩.基于训练集裁剪的加权K近邻文本分类算法[J].情报工程,2016,2(6):008-016 |
| 基于训练集裁剪的加权K近邻文本分类算法 |
| The Weighted KNN Text Categorization Algorithm Based on Training Set Cutting |
| |
| DOI：10.3772/j.issn.2095-915X.2016.06.002 |
| 中文关键词: ：文本分类，特征选择，信息增益，最近邻分类算法 |
| 英文关键词: Text categorization, feature selection, information gain, KNN algorithm |
| 基金项目:： 本文受国家 973 课题（2013CB329605）的资助 |
| 作者 | 单位 | | 孙新 | 北京理工大学计算机学院北京市海量语言信息处理与云计算应用工程技术研究中心 | | 欧阳童 | 北京理工大学计算机学院北京市海量语言信息处理与云计算应用工程技术研究中心 | | 严西敏 | 北京理工大学计算机学院北京市海量语言信息处理与云计算应用工程技术研究中心 | | 尚煜茗 | 北京理工大学计算机学院北京市海量语言信息处理与云计算应用工程技术研究中心 | | 郭文浩 | 北京理工大学计算机学院北京市海量语言信息处理与云计算应用工程技术研究中心 |
|
| 摘要点击次数: 3202 |
| 全文下载次数: 2567 |
| 中文摘要: |
| 文本分类是信息检索领域的重要应用之一，由于采用统一特征向量形式表示所有文档，导致针 对每个文档的特征向量具有高维性和稀疏性，从而影响文档分类的性能和精度。为有效提升文本特征 选择的准确度，本文首先提出基于信息增益的特征选择函数改进方法，提高特征选择的精度。KNN(KNearest Neighbor) 算法是文本分类中广泛应用的算法，本文针对经典 KNN 计算量大、类别标定函数 精度不高的问题，提出基于训练集裁剪的加权 KNN 算法。该算法通过对训练集进行裁剪提升了分类 算法的计算效率，通过模糊集的隶属度函数提升分类算法的准确性。在公开数据上的实验结果及实验 分析证明了算法的有效性。 |
| 英文摘要: |
| Text categorization is one of the key research fields in the information retrieval. Feature selection is an important part in the document processing, and imposes great influence on the document classification. In this paper, an improved feature selection algorithm based on information gain was proposed to improve the accuracy of text feature selection effectively. Moreover, K-Nearest Neighbor (KNN) algorithm is used widely in text categorization, and the advantages of this method are high accuracy and stability.However, the number of training samples and their position may influence the classification performance of the KNN algorithm, thus we proposed the weighted KNN classification algorithm based on training set cutting, and the accuracy of the classification algorithm can be improved by the rough sets and the concept of membership function. Finally, this research tested the new algorithm based on the text categorization experiment, and the results indicated that the effectiveness of the proposed algorithm. |
|
查看全文
查看/发表评论 下载PDF阅读器 |
| 关闭 |
