架构师_程序员_码农网

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 3135|回复: 2

[SEO] Yandex 搜索引擎 robots.txt Clean-param 配置

[复制链接]
发表于 2022-4-2 20:12:51 | 显示全部楼层 |阅读模式
今天收到了一封来自 Yandex.Webmaster 的邮件,原文如下:

QQ截图20220402201217.jpg
Some pages with GET parameters in the URL on your site https://down.itsvse.com duplicate the contents of other pages (without GET parameters). For example, https://example.com/tovary?from=mainpage duplicates https://example.com/tovary. Because both pages are crawled, it might take longer for the information about important pages to be added to the search database. This may affect the site's search status.

Here are examples of pages and their duplicate pages with insignificant GET parameters:

ReturnUrl:
https://down.itsvse.com/Account/Index
https://down.itsvse.com/Account/Index?ReturnUrl=%2FUser%2FCollect
ReturnUrl:
https://down.itsvse.com/Account/Index
https://down.itsvse.com/Account/ ... %2FUser%2FResources
ReturnUrl:
https://down.itsvse.com/Account/Index
https://down.itsvse.com/Account/ ... oadLoading%2Fkzkalr
ReturnUrl:
https://down.itsvse.com/Account/Index
https://down.itsvse.com/Account/ ... Fitem%2Fawljnq.html
ReturnUrl:
https://down.itsvse.com/Account/Index
https://down.itsvse.com/Account/ ... loadLoading%2F11820
If these pages are duplicates, we recommend using the Clean-param directive in robots.txt, so that the robot ignores insignificant GET parameters and combines signals from identical pages on the main page.
翻译后,如下:

您站点https://down.itsvse.com上的 URL 中带有GET 参数的某些页面会复制其他页面的内容(没有 GET 参数)。例如, https://example.com/tovary?from=mainpagehttps://example.com/tovary重复。由于这两个页面都已被爬网,因此将有关重要页面的信息添加到搜索数据库可能需要更长的时间。这可能会影响网站的搜索状态。

以下是GET 参数无关紧要的页面及其重复页面 的示例:

ReturnUrl:
https ://down.itsvse.com/Account/Index
https://down.itsvse.com/Account/Index?ReturnUrl=%2FUser%2FCollect
ReturnUrl:
https ://down.itsvse.com/Account/Index
https://down.itsvse.com/Account/ ... %2FUser%2FResources
ReturnUrl:
https ://down.itsvse.com/Account/Index
https://down.itsvse.com/Account/ ... oadLoading%2Fkzkalr
ReturnUrl:
https://down.itsvse.com/Account/Index
https://down.itsvse.com/Account/ ... Fitem%2Fawljnq.html
ReturnUrl:
https ://down.itsvse.com/Account/Index
https://down.itsvse.com/Account/ ... loadLoading%2F11820
如果这些页面是重复的,我们建议使用 robots.txt 中的 Clean-param 指令,以便机器人忽略无关紧要的 GET 参数并在主页上合并来自相同页面的信号。
大体的意思就是有很多页面带参数值指向 A 链接,然后发现无论参数值怎么变化 A 链接页面始终显示相同的内容(HTML 源码一摸一样),例如:当某个页面点击操作需要跳转到登录页面,当登录成功后,我们希望能够跳转到原来的页面。

Yandex 搜索引擎希望我们对于此类 URL 链接添加 Clean-param 指令,文档:https://yandex.com/support/webmaster/robot-workings/clean-param.html

Clean-param 语法如下:


在第一个字段中,列出机器人应该忽略的参数,用&字符分隔。在第二个字段中,指明规则应应用到的页面的路径前缀。

示例如下:

我们根据格式和示例,最后调整 robots.txt 如下:

(完)





上一篇:ASP.NET Core(十三)判断是否是 Ajax 请求
下一篇:【转】.NET 6 新特性 Enumerable.Chunk()
码农网,只发表在实践过程中,遇到的技术难题,不误导他人。
发表于 2022-4-4 11:36:58 | 显示全部楼层
学习学习
码农网,只发表在实践过程中,遇到的技术难题,不误导他人。
 楼主| 发表于 2023-3-15 20:07:00 | 显示全部楼层
修改为:

码农网,只发表在实践过程中,遇到的技术难题,不误导他人。
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

免责声明:
码农网所发布的一切软件、编程资料或者文章仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。如有侵权请邮件与我们联系处理。

Mail To:help@itsvse.com

QQ|手机版|小黑屋|架构师 ( 鲁ICP备14021824号-2 )|网站地图

GMT+8, 2024-3-28 19:37

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表