用Python抓取Google前三页，反向对手的SEO策略

用Python抓取Google前三页，反向工程外贸对手的SEO策略

做了六年外贸独立站运营，我养成了一个习惯：每季度用Python跑一遍竞争对手的Google前三页数据，把他们的排名关键词、页面结构、内容主题摸清楚，然后再决定我们下一步的内容方向和优化重点。这套方法不复杂，不需要大预算，但对策略制定的价值远超过花在它上面的时间。

我是外贸总监，产品是木工机械，主要出口到欧美和东南亚的家具制造行业。

这篇文章讲的不是“随便搜几个关键词看看对手排第几”，而是用Python系统性地抓取Google前三页数据，把竞争对手的SEO策略量化出来、拆解清楚。全程用开源工具和免费API就能跑通。

为什么用Python做竞争对手分析？

市面上有很多现成的SEO工具，Ahrefs、Semrush、Moz都能看竞品数据。我自己也用Semrush，它提供的Keyword Gap功能可以快速发现“对手在排而我未覆盖”的关键词。Semrush的Organic Research报告能直接告诉你竞争对手的流量来源和关键词分布，这些数据很有参考价值。

但工具能看到的只是“结果”，看不到“过程”。比如，你知道对手某个词排到了首页，但你看不到那条内容是怎么写的、内链是怎么布的、页面结构长什么样。而这些细节，往往才是决定排名的关键。

所以我的做法分两层：先用Semrush这类工具做快速发现，再用Python脚本做定向抓取和结构化分析。前者解决“不知道对手在做什么”的问题，后者解决“想知道对手是怎么做到的”的问题。

Python抓取Google前三页：一套可复用的流程

下面是我们实际跑通的抓取方案，分四个步骤，大部分逻辑都可以直接复用。

第一步：确定目标关键词和竞争对手列表

这一步不需要用代码，靠业务经验判断。

从你的产品线中选出10-20个核心关键词（不要太泛）。然后在Google手动搜索每个词，记录前两页出现的域名（同一个网站的不同页面算一个），去掉你自己，剩下的就是你的直接竞争对手。

如果发现某个词前两页全是行业巨头（比如Makita、Bosch这类），把这个词标记为“观察词”而不是“目标词”——暂时不打，但要持续监控。

第二步：用开源工具抓取Google SERP数据

直接抓取Google的HTML结果是比较麻烦的，因为Google有反爬机制。但有一个基于Playwright的开源工具可以绕过这些限制——mcp_web_search，它通过模拟真实浏览器行为来获取搜索结果，支持命令行直接使用。

安装和使用方式：

bash# 安装git clone https://github.com/iwanghc/mcp_web_search.gitcd mcp_web_searchpip install -r requirements.txtplaywright install chromium# 抓取指定关键词的前10条结果python cli.py --limit 10 "woodworking machinery supplier"

这个工具会返回搜索结果的标题、链接和摘要，还支持获取页面原始HTML用于后续分析。如果想深入分析某个页面的结构（比如H1标签、内链布局），可以用--get-html选项把页面源码保存下来，再用BeautifulSoup做解析。

一个需要注意的点： 使用自动化工具抓取时，要控制频率，避免对目标服务器造成负担。每个请求之间加随机延迟，是基本的爬虫礼仪。

第三步：分析排名页面的共性特征

抓取完数据之后，重点分析下面几个维度：

Title和H1结构。 对手在标题里用了什么词？主关键词放在前面还是中间？有没有加场景词（比如“for furniture manufacturing”）？很多外贸网站的标题统一用“产品名-公司名”，但排名靠前的页面往往会加入场景词和问题词来匹配更细分的搜索意图。

内容结构和字数。 排名靠前的页面是产品页还是文章页？字数大概多少？有没有用列表或表格来组织信息？Google对“结构化内容”的偏好越来越明显，能清晰拆解成段落和模块的页面，表现往往优于大段散文。

内部链接模式。 这个页面链接了哪些其他页面？是否形成了多个相关页面之间的互链？权重在页面之间如何流转？

多语言版本。 如果你观察的竞争对手有多语言站点，记录他们的URL结构（子目录还是子域名）和内容覆盖情况。这些信息可以帮助你规划多语言SEO策略——不必一开始铺全部语言，但至少知道对手在哪些市场已经有了布局。

第四步：用数据指导内容策略

这是最关键的一步——抓到的数据不是为了“看”，是为了“用”。经过前三步收集的数据，可以指导以下三类决策：

关键词增补。 从对手排名的词中，筛选你尚未覆盖的高价值词（尤其是有明确采购意图的交易型关键词），将其加入内容规划清单。

内容形式调整。 如果发现对手的“场景词”页面（比如laser engraver for jewelry）比通用产品页排名更好，优先制作场景专属落地页。

内链补全。 如果对手页面在“相关文章”部分做了大量内链，你可以在自己的文章页底部增加对应的“推荐阅读”或“相关产品”区域。

把以上发现的复用到你自己网站的迭代里，就完成了从“分析”到“执行”的闭环。

Python分析和工具分析的结合

前文提到过，Python抓取是工具分析的补充，不是替代。Semrush这类工具最大的价值在于快速发现——Keyword Gap报告可以告诉你“你在哪个词上输了”，而Python分析解决的是“对手凭什么赢了”的问题。

实际操作中，我一般先用Semrush扫一遍竞争对手的关键词缺口，批量导出那些“对方有排名而我完全没有”的词，筛选出50-80个值得深入挖掘的目标词，再针对这些词用Python脚本跑前三页的页面结构分析——看对方的内容框架、标题结构、内链模式。

两者结合之后，你既有了“该打哪些词”的方向，又有了“怎么打”的具体参考。相比于只做其中任何一步，效率和判断力都会显著提升。

执行落地

如果公司内部有懂Python的人，这套抓取流程可以完全自己跑。如果内部没有技术资源，找外部团队配合执行也是可行的——但筛选服务商时建议先试3个月，不签年单，3个月时间足够跑完至少两轮SERP抓取和数据分析，看到竞品信息对内容优化的实际帮助有多大。

写在最后

用Python抓取Google前三页，本质上不是为了“偷”对手的策略，而是为了缩小“我以为客户在搜什么”和“客户实际上在搜什么”之间的差距。

对手在首页的每一个词、每一篇内容，都是他们花时间、花预算验证过的真实需求。把这些需求看懂，再转化成自己的内容方向，比坐在办公室里猜客户在想什么要精准得多。这套方法跑通之后，我们每季度的内容规划，几乎全是根据抓取数据来定的。