|
Post by account_disabled on Mar 20, 2024 21:34:26 GMT -5
这种方法保证了链接资产不会被浪费。此方法的缺点是如果分页过多爬网程序可能会陷入爬行分页页面的过程而不会爬行网站的关键区域。关系选项的编码说明实现和标签来指示分页页面的序列。此分页系列中的每个页面都可以具有相同的标题标签元描述和标签。但是如果您允许对分页页面建立索引您可以选择在所有这些标签中包含目标关键字。所有页面都应该将规范标签设置为其自己的而不是首页。如果具有跟踪或额外参数则规范标签可能需要额外考虑。 如果您不希望对分页页面建立索引请在分 澳大利亚 WhatsApp 号码列表 页系列中除第一页之外的每个页面的标题部分中将元标记设置为。我将在下表中将此称为选项。在网站管理员参数处理中将分页页面参数设置为并且如果可以正确实现可以抓取每个分页关系效果很好。对于某些网站来说这种额外的编码可能具有挑战性。您没有过多的分页并且爬虫程序在爬行您的整个网站时不会遇到问题。单个站点可以使用上面显示的一个或所有选项。应彻底检查网站上的每个分页模板看看哪个选项更适合使用。内容部分使用上述选项之一或全部。我检查了一些竞争对手网站它们都使用选项块分页或选项分页系列。 我想再次强调的主要挑战该选项需要完美的实现才能正常工作更安全的选择是页面或分页系列。我猜测尽管正在推广页面但大多数网站管理员尚未弄清楚如何将页面融入他们的用户体验因此不会实施它。但是如果正在推广选项我相信已经发现选项是搜索者的首选选项因此网站管理员有时可能需要放弃自己的业务目标。和使用并阻止所有分页页面被抓取和索引。
|
|