.net 解决spider多次和重复抓取的方案

前端技术 2023/09/04 .NET

原因:

早期由于搜索引擎蜘蛛的不完善，蜘蛛在爬行动态的url的时候很容易由于网站程序的不合理等原因造成蜘蛛迷路死循环。

所以蜘蛛为了避免之前现象就不读取动态的url，特别是带？的url

解决方案:

1):配置路由

http://localhost:3841/rentofficelist/3-0-0-0-0.html
这样就可以避免静态页面上使用动态参数,显示的页面都为静态页面

本文地址：https://www.stayed.cn/item/11247

转载请注明出处。

本站部分内容来源于网络,如侵犯到您的权益,请联系我

我的博客