算法:分析网页的标签

对于一个真正基本的方法，您可以使用TF-IDF算法来查找页面中最重要的单词

快速查看维基百科:

tf-idf权值(词频率-逆文档频率)为a权值常用于信息检索和文本挖掘。这权重是用来衡量一个词的重要性的统计度量是指向集合或语料库中的文档。重要性增加了与单词在文档中出现的次数成比例但是被语料库中该词的频率所抵消。变化tf-idf的权重方案经常被搜索引擎作为一种对给定的文档的相关性进行评分和排序的核心工具用户查询。Tf-idf可以成功地用于停止词过滤在各种学科领域，包括文本摘要和分类

一旦你在你的页面中找到最重要的单词，你可以使用它们作为标签。

---

如果你想改善你的标签，使他们更相关。

有很多方法可以继续，但你可以按照下面的方法进行:

• 提取一堆你知道主标签的文本。
• 对于所有这些文本，运行TF-IDF算法并使用得分最高的。
• 试着找到一个主方向将所有这些向量。(运行ACP例如，或任何机器学习工具)
• 并使用此标签表示来自主方向的单词集。(ACP的最大矢量)

希望大家能理解，对大家有帮助

通常您会查找由特定html包围的特定单词。例如，标题通常位于H标记中，如<h1>。

如果你解析一个页面的所有H1标签，那么它的理由是，该标签后面的内容是相关的。这一页就是一个例子。它在问题标题周围有一个H1标签。这给了谷歌一个提示，该页面是关于"算法"，"分析"，"网页"等。

困难的部分是确定上下文。

在我们这里的例子中，术语"页面"是非常通用的，可以与任何东西相关。然而，"网页"更具体一些。您可以使用内部字典来实现这一点，该字典是在分析大量文档以找到共性之后，根据术语频率随着时间的推移而构建的。频率应该提供一个加权值，以确定给定页面的前X个"标签"。

这更像是一个信息检索和数据挖掘问题。回顾Rao的一些讲座可能会有所帮助。

当你在搜索网页时，你实际上是在尝试建立一个索引。为此，可以构建一个全局Term-Frequency字典，其中将语言中的每个单词(通常是为了考虑复数形式和其他修改)存储为键，并将它们在文档中出现的次数存储为值。

从那里，你可以使用算法，如PageRank和权威和枢纽做数据分析。

您可以实现许多启发式:

• 首字母缩略词和全部大写的单词
• 不经常出现的单词，即丢弃在所有或大多数文档中出现的单词，而偏爱只在此文档中出现相对频繁的单词。
• 在本文档中始终以相同顺序出现的单词序列，也可能在其他文档中出现
• 等。