NLP

博客底部的相关文章由标签重合数改成正文相似度后，效果一直没人验证过。这篇用一个四级关联度标准标注了 169 个文章对，比较了标签、TF-IDF、字符二元组、BM25、LSA 与混合打分六种做法，给出 nDCG@4 与无关项比例，并定下最终的权重与阈值。

本文以 THUCNews 中文新闻语料库为基准，采用严格的控制变量法与分层随机抽样技术，系统评估了 N-gram 特征提取、TF-IDF 词权重变换、先验知识注入及停用词过滤序列对模型一致性指标（$C_V$）的影响。

本文详细介绍了如何利用 Python 及其强大的自然语言处理库实现 LDA（Latent Dirichlet Allocation） 隐狄利克雷分配模型，并深入探讨了如何提取与处理文档的主题分布。 LDA是一种用于文本分析的主题模型，作为一种‌无监督的主题模型‌，它适合需要‌主题发现‌和‌可解释性‌的场景，从文本数据中自动发现隐藏的主题结构‌。而且LDA模型简单、可解释性强，参数量可控，不容易过拟合‌。