Blogger优化设置丨Blogger的robots.txt自定义设置 - 今日科技

Blogger 相信是很多刚接触网站建设的人的首选,因为使用 Blogger 建站可以省下一笔不菲的服务器开销。但是接触 Blogger 时间久以后,很多人会发现它在SEO优化上存在很多问题,需要我们去研究并改进,不过瑕不掩瑜,Blogger 是我使用过 WordPress 后的最终选择,因为 WordPress 并不比 Blogger 简单!下面我将通过本文,为大家分享一些关于 Blogger 优化设置,如果你也有遇到相关问题,那么恭喜你看到今日科技(www.1024fuliba.net)小编为你分享的这篇技术文章。


Blogger 优化设置

Blogger 优化设置有很多,但基本上都能通过 Blogger 后台设置搞定。因此我们接下来讲的是需要我们手动设置的部分:robots.txt 的自定义。在我使用 Blogger 的过程中发现,Blogger 必须设置 robots.txt 来规范搜索引擎的抓取,不然就会出现很多重复页面被抓取,从而导致搜索引擎误会我们的网站质量比较低。

至于 robots.txt 是什么?简单的说,它是一个放在网站根目录下面的文本文件,里面会放入一些代码规则,这些规则会禁止或者允许搜索引擎抓取网站的特定内容。

但众所周知的是,我们使用 Blogger 搭建的网站,并没有服务器管理权限,那么我们就无法通过服务器进入到网站根目录来创建 robots.txt 并进行规则设置。看到这里,大家是不是很懵!明明这篇文章讲的是 Blogger 的 robots.txt 的自定义,可我们又没有 Blogger 的服务器管理权限,那应该怎么去自定义 Blogger 的 robots.txt 呢?

其实 Blogger 早就为我们想到了这个问题,并在后台设置界面给出了自定义 robots.txt 的功能,大家只需要后台设置中找到“抓取工具和编入索引”选项,然后启用“启用自定义 robots.txt”功能,在点击下方的“自定义 robots.txt”,就可以对 robots.txt 进行自定义规则导入了。

这里为大家分享一下我使用的 Blogger 的 robots 规则吧!该规则,只允许搜索引擎抓取网站的主页、标签页与文章页,并同时禁止了一些不允许搜索引擎抓取的内容,例如 Disallow: /*? 这个字段,是用来禁止抓取动态链接地址,Blogger 有很多动态链接地址。

规则如下:

User-agent: *
# 允许所有主要搜索引擎爬虫访问
# 默认情况下,未明确禁止的路径均被允许抓取,因此无需为文章、页面、图片等静态资源文件设置Allow指令。
# 这确保了您的核心内容和渲染页面所需的CSS、JS等资源可以被正常访问和渲染。

# 严格禁止动态链接以避免重复收录
# 1. 禁止所有搜索结果页面,但允许访问标签/分类页面
Disallow: /search
Allow: /search/label/

# 3. 禁止所有Feed(RSS/Atom)链接,这些通常不是主要内容且可能导致重复索引
Disallow: /feeds/

# 4. 禁止其他常见的动态查询参数,这些参数通常不改变内容但会创建新的URL
Disallow: /*?q=
Disallow: /*?updated-max=
Disallow: /*?showComment=
Disallow: /*?blogID=
Disallow: /*?widget=
Disallow: /*?view=
Disallow: /*?sessionid=
Disallow: /*?trackingID=
Disallow: /*?affiliateID=
Disallow: /*?s=
Disallow: /*?filter=
Disallow: /*?sort=
Disallow: /*?page=
Disallow: /*?start=
Disallow: /*?id=
Disallow: /*?ref=
Disallow: /*?source=
Disallow: /*?utm_
# 注意:通配符`*`匹配任何字符序列,`?`匹配字面上的问号,`=`匹配字面上的等号。
# 这里的规则旨在阻止任何URL中包含这些参数的部分,从而有效避免重复收录。

# 声明站点地图位置
# 站点地图有助于搜索引擎发现您网站上的所有重要页面。
# 请将“www.1024fuliba.net”替换为您的实际博客域名或自定义域名。
Sitemap: https://www.1024fuliba.net/sitemap.xml
Sitemap: https://www.1024fuliba.net/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.1024fuliba.net/feeds/posts/default?orderby=UPDATED

以上就是我设置的 robots 规则,大家直接复制粘贴到你的 Blogger 设置中即可。


结尾

好了,关于 Blogger 的 robots.txt 自定义,今天就为大家分享到这里吧!希望本文对大家使用 Blogger 起到一定帮助,明天有时间的话,我想再分享一下如何“启用自定义 robots 标头标记”,大家有兴趣的话,可以关注一下我们网站明天的更新。

最新调整说明:

移除对于?m=1参数的屏蔽,因为这是 Blogger 的移动端自动匹配的参数,如果屏蔽了,会导致谷歌的爬虫无法抓取网页内容。

但是大家需要在 Blogger 的后台设置中将主题设置为桌面版,路径为:主题背景 > 自定义 > 下拉选择“移动设置” > 选择“桌面版” > 保存。


然后再修改html,在 <head> 或 </body> 前添加下方的JS代码:

<script type="text/javascript">

  //<![CDATA[

  (function() {

    var u = window.location.href;

    var clean = u

      // 去除 ?m=1 或 &m=1

      .replace(/[?&]m=1(&|$)/, function(match, sep) { return sep ? sep : ''; })

      // 去除 ?m=0 或 &m=0

      .replace(/[?&]m=0(&|$)/, function(match, sep) { return sep ? sep : ''; });

    if (clean !== u) {

      // 不刷新页面,替换 URL

      window.history.replaceState(null, document.title, clean);

    }

  })();

  //]]>

</script>

Post a Comment

后一页 前一页