今天被一個朋友問到，該怎么獲取競爭對手網(wǎng)站上所有開放的鏈接，干脆這篇文章簡單梳理一下。

其實要解決這個需要，我使用到的方法一般有三個，由易到難逐一介紹下。

最簡單的方法，自然是看網(wǎng)站的站點地圖。

直接在競爭對手域名后面加上 sitemap.xml 去訪問網(wǎng)站的站點頁面，就基本看到了這個網(wǎng)站所有的數(shù)據(jù)信息。

就拿 RankMath 這款 SEO 插件來說，它不僅提供了站點所有的索引鏈接數(shù)據(jù)，還將這些鏈接數(shù)據(jù)做了很好的層級劃分。

我們需要做的，就是將站點地圖上的數(shù)據(jù)信息復(fù)制下來，做下最簡單的數(shù)據(jù)格式清晰便可以保存下來了。

但是這種站點地圖方法，有時候有一點點缺點。

其一并不是所有網(wǎng)站都有站點地圖，可能原因是運營團(tuán)隊真的沒有設(shè)置，當(dāng)然也可能是因為運營團(tuán)隊故意隱藏掉了。

其二是站點地圖上的鏈接，并不百分百包含網(wǎng)站的所有鏈接。

比如有些不打算讓搜索引擎收錄的頁面，可能在設(shè)置的時候便直接將其 noindex 了，于是這部分頁面便在站點地圖里面不可見。

所以為了獲取更全面的站點數(shù)據(jù)，我更傾向于使用一些 Site Audit 之類的工具。

比如業(yè)內(nèi)在監(jiān)控這塊做得非常棒的“尖叫青蛙”這款軟件，在抓取網(wǎng)站鏈接方面就做得很不錯?；疽粋€網(wǎng)站的根域名扔進(jìn)去，軟件便可以很快速的將這個網(wǎng)站的所有鏈接全部抓出來。

那除了這種桌面端軟件外，還有很多在線版的監(jiān)控工具也非常好用，比如付費版本 Ahrefs 與 SEMRUSH 都提供網(wǎng)站檢測工具。

比如上圖是我使用 UberSuggest 這款 SEO 工具做競爭對手信息檢測，也完全可以實現(xiàn)我的需求。

且這些在線版的檢測工具有個好處，就是你設(shè)置外項目信息后，系統(tǒng)會持續(xù)關(guān)注競爭對手的所有操作。一旦競爭對手網(wǎng)站有任何異動，軟件都會在第一時間提醒你并給你生成相應(yīng)報表。

其實上面這兩個方法等我們熟練掌握后，再去做競爭對手頁面鏈接梳理這樣的工作就非常輕而易舉了。

但是如果你的需求再復(fù)雜一點，比如一次性收集一千個競爭對手網(wǎng)站的鏈接信息，這就需要我們自己開發(fā)相應(yīng)的信息抓取腳本了。

邏輯其實也簡單，類似于搜索引擎爬蟲的工作原理，不停在網(wǎng)站頁面上進(jìn)行遞歸查找。

其實想要這樣的腳本，我們自己也不需要寫什么代碼，直接把自己的需求告訴 AI 工具，很快相應(yīng)的解決方案便出來了。

當(dāng)然上面這三個方法，都是常規(guī)的信息抓取手段了。至于不常規(guī)的，我們做正常業(yè)務(wù)的沒必要了解。