type
Post
status
Published
date
Nov 18, 2022
summary
tags
干货
category
外贸
slug
icon
password
“只有同行之间才是赤裸裸的仇恨。”——郭德纲
- 为什么要屏蔽我标题里提及的那些机器人？那些机器人都是干什么的？
Semrush、Ahrefs、Moz和Majestic等海外SEO软件爬虫机器人存在的目的是抓取你的网站数据，给软件使用者提供数据参考，然后就是如何超越你。拿SEMrush举例，我先打马赛克给大家看一下，有多可怕。
上图中，图1可以快速知道你的网站给你带来流量的关键词是什么，图2可以快速知道你的最新反链来自哪里，这是很可怕的。SEO最重要的就是内容和外链了，这一下全被有心人监听了个彻底。
📝那么，如何屏蔽这些SEO软件爬虫呢？
robots.txt文件中屏蔽
User-agent: Rogerbot User-agent: Exabot User-agent: MJ12bot User-agent: Dotbot User-agent: Gigabot User-agent: AhrefsBot User-agent: SemrushBot User-agent: SemrushBot-SA Disallow: /
在.htaccess中屏蔽，添加以下代码：
<IfModule mod_rewrite.c> RewriteEngine on RewriteCond %{HTTP_USER_AGENT} (ahrefsbot|mj12bot|rogerbot|exabot|dotbot|gigabot|semrush) [NC] RewriteRule .* - [F,L] </IfModule>
上面俩个方法基本上最有效，第一个防君子，第二个防小人。俩个一起用就可以了，如果你觉得不踏实，可以看一下我下面列出的原文出处。
原文出处：https://www.wisamabdulaziz.com/how-to-block-link-cralwers-like-majestic-ahrefs-moz-and-semrush.htm （致谢）