正如我們在第 1 章中提到的，搜索引擎是應(yīng)答機。它們的存在是為了發(fā)現(xiàn)、理解和組織互聯(lián)網(wǎng)內(nèi)容，以便為搜索者提出的問題提供最相關(guān)的結(jié)果。

為了出現(xiàn)在搜索結(jié)果中，您的內(nèi)容首先需要對搜索引擎可見。這可以說是 SEO 難題中最重要的部分：如果找不到您的網(wǎng)站，您將永遠不會出現(xiàn)在 SERP（搜索引擎結(jié)果頁面）中。

搜索引擎是如何工作的？

搜索引擎通過三個主要功能工作：

1. 爬行：在 Internet 上搜索內(nèi)容，查看他們找到的每個 URL 的代碼/內(nèi)容。

2. 索引：存儲和組織在爬行過程中發(fā)現(xiàn)的內(nèi)容。一旦頁面在索引中，它就會在運行中顯示為相關(guān)查詢的結(jié)果。

3. 排名：提供最能回答搜索者查詢的內(nèi)容片段，這意味著結(jié)果按最相關(guān)到最不相關(guān)的順序排列。

什么是搜索引擎抓取？

爬網(wǎng)是搜索引擎派出一組機器人（稱為爬蟲或蜘蛛）來查找新內(nèi)容和更新內(nèi)容的發(fā)現(xiàn)過程。內(nèi)容可能會有所不同——它可以是網(wǎng)頁、圖像、視頻、PDF 等——但無論格式如何，內(nèi)容都是通過鏈接發(fā)現(xiàn)的。

Googlebot 首先獲取幾個網(wǎng)頁，然后按照這些網(wǎng)頁上的鏈接查找新網(wǎng)址。通過沿著這條鏈接路徑跳躍，爬蟲能夠找到新內(nèi)容并將其添加到名為Caffeine的索引中——一個包含已發(fā)現(xiàn) URL 的龐大數(shù)據(jù)庫——稍后在搜索者尋找該 URL 上的內(nèi)容是很好的搭配。

什么是搜索引擎索引？

搜索引擎處理和存儲他們在索引中找到的信息，索引是一個巨大的數(shù)據(jù)庫，包含他們發(fā)現(xiàn)的所有內(nèi)容，并認為足以為搜索者提供服務(wù)。

搜索引擎排名

當有人執(zhí)行搜索時，搜索引擎會在其索引中搜索高度相關(guān)的內(nèi)容，然后對該內(nèi)容進行排序，以期解決搜索者的查詢。這種按相關(guān)性對搜索結(jié)果進行排序稱為排名。一般來說，您可以假設(shè)網(wǎng)站排名越高，搜索引擎認為該網(wǎng)站與查詢越相關(guān)。

可以從您網(wǎng)站的部分或全部阻止搜索引擎爬蟲，或指示搜索引擎避免將某些頁面存儲在其索引中。雖然這樣做可能是有原因的，但如果您希望搜索者找到您的內(nèi)容，您必須首先確保爬蟲可以訪問它并且可以編入索引。否則，它就像看不見一樣好。

到本章結(jié)束時，您將擁有使用搜索引擎所需的上下文，而不是與之對抗！

在 SEO 中，并非所有搜索引擎都是平等的

許多初學(xué)者想知道特定搜索引擎的相對重要性。大多數(shù)人都知道谷歌擁有最大的市場份額，但是針對必應(yīng)、雅虎等進行優(yōu)化有多重要？事實是，盡管存在30 多個主要網(wǎng)絡(luò)搜索引擎，但 SEO 社區(qū)確實只關(guān)注 Google。為什么？簡短的回答是，谷歌是絕大多數(shù)人搜索網(wǎng)絡(luò)的地方。如果我們包括谷歌圖片、谷歌地圖和 YouTube（谷歌財產(chǎn)），超過 90%的網(wǎng)絡(luò)搜索發(fā)生在谷歌上——幾乎是必應(yīng)和雅虎的 20 倍。

爬行：搜索引擎能找到你的網(wǎng)頁嗎？

正如您剛剛了解到的，確保您的網(wǎng)站被抓取并編入索引是出現(xiàn)在 SERP 中的先決條件。如果您已經(jīng)有一個網(wǎng)站，最好先查看索引中的頁面數(shù)量。這將深入了解 Google 是否正在抓取并找到您想要的所有頁面，而沒有您不想要的頁面。

檢查索引頁面的一種方法是“site:yourdomain.com”，這是一種高級搜索運算符。前往谷歌并在搜索欄中輸入“site:yourdomain.com”。這將返回 Google 在其索引中針對指定站點的結(jié)果

Google 顯示的結(jié)果數(shù)量（請參閱上面的“關(guān)于 XX 結(jié)果”）并不準確，但它確實讓您清楚地了解哪些頁面已在您的網(wǎng)站上編入索引，以及它們目前如何顯示在搜索結(jié)果中。

要獲得更準確的結(jié)果，請監(jiān)控并使用 Google Search Console 中的索引覆蓋率報告。如果您目前沒有，可以注冊一個免費的Google Search Console 帳戶。使用此工具，您可以為您的網(wǎng)站提交站點地圖，并監(jiān)控有多少提交的頁面實際上已添加到 Google 的索引中，等等。

如果您沒有出現(xiàn)在搜索結(jié)果中的任何位置，可能有以下幾個原因：

• 您的網(wǎng)站是全新的，尚未被抓取。

• 您的網(wǎng)站未鏈接到任何外部網(wǎng)站。

• 您網(wǎng)站的導(dǎo)航使機器人難以有效地抓取它。

• 您的站點包含一些稱為爬蟲指令的基本代碼，這些代碼會阻止搜索引擎。

• 您的網(wǎng)站因垃圾郵件策略而受到 Google 的處罰。

告訴搜索引擎如何抓取您的網(wǎng)站

如果您使用 Google Search Console 或“site:domain.com”高級搜索運算符并發(fā)現(xiàn)索引中缺少某些重要頁面和/或某些不重要的頁面被錯誤地編入索引，則您可以進行一些優(yōu)化實施以更好地指導(dǎo) Googlebot 如何抓取您的網(wǎng)絡(luò)內(nèi)容。告訴搜索引擎如何抓取您的網(wǎng)站可以讓您更好地控制索引中的內(nèi)容。

大多數(shù)人都考慮確保 Google 可以找到他們的重要頁面，但很容易忘記有些頁面您可能不想讓 Googlebot 找到。這些可能包括諸如內(nèi)容稀少的舊 URL、重復(fù) URL（例如電子商務(wù)的排序和過濾參數(shù)）、特殊促銷代碼頁、暫存或測試頁等內(nèi)容。

要引導(dǎo) Googlebot 遠離您網(wǎng)站的某些頁面和部分，請使用 robots.txt。

robots.txt

Robots.txt 文件位于網(wǎng)站的根目錄（例如 yourdomain.com/robots.txt），并建議您的網(wǎng)站搜索引擎應(yīng)該和不應(yīng)該抓取哪些部分，以及它們抓取您網(wǎng)站的速度, 通過特定的 robots.txt 指令。

Googlebot 如何處理 robots.txt 文件

• 如果 Googlebot 找不到某個網(wǎng)站的 robots.txt 文件，它會繼續(xù)抓取該網(wǎng)站。

• 如果 Googlebot 找到某個網(wǎng)站的 robots.txt 文件，它通常會遵循建議并繼續(xù)抓取該網(wǎng)站。

• 如果 Googlebot 在嘗試訪問網(wǎng)站的 robots.txt 文件時遇到錯誤并且無法確定該文件是否存在，則不會抓取該網(wǎng)站。

優(yōu)化抓取預(yù)算！

抓取預(yù)算是指 Googlebot 在離開之前會在您的網(wǎng)站上抓取的平均網(wǎng)址數(shù)，因此抓取預(yù)算優(yōu)化可確保 Googlebot 不會浪費時間抓取您不重要的網(wǎng)頁，以免有忽略重要網(wǎng)頁的風(fēng)險。在擁有數(shù)萬個 URL 的超大型網(wǎng)站上，抓取預(yù)算最為重要，但阻止抓取工具訪問您絕對不關(guān)心的內(nèi)容絕不是一個壞主意。只要確保不要阻止爬蟲訪問您添加了其他指令的頁面，例如規(guī)范或 noindex 標簽。如果 Googlebot 被某個網(wǎng)頁屏蔽，它將無法看到該網(wǎng)頁上的說明。

并非所有網(wǎng)絡(luò)機器人都遵循 robots.txt。懷有惡意的人（例如電子郵件地址抓取工具）會構(gòu)建不遵循此協(xié)議的機器人。事實上，一些不法分子使用 robots.txt 文件來查找您的私人內(nèi)容所在的位置。盡管從私人頁面（例如登錄和管理頁面）阻止爬蟲以使其不顯示在索引中似乎是合乎邏輯的，但將這些 URL 的位置放在可公開訪問的 robots.txt 文件中也意味著懷有惡意的人可以更容易地找到它們。最好對這些頁面進行 NoIndex 并將它們放在登錄表單后面，而不是將它們放在您的 robots.txt 文件中。

您可以在我們學(xué)習(xí)中心的robots.txt 部分閱讀更多詳細信息。

在 GSC 中定義 URL 參數(shù)

某些站點（最常見于電子商務(wù)）通過將某些參數(shù)附加到 URL 來在多個不同的 URL 上提供相同的內(nèi)容。如果您曾經(jīng)在網(wǎng)上購物過，您可能已經(jīng)通過過濾器縮小了搜索范圍。例如，您可以在亞馬遜上搜索“鞋子”，然后按尺碼、顏色和款式細化您的搜索。每次細化時，URL 都會略有變化：

https://www.example.com/products/women/dresses/green.htmhttps://www.example.com/products/women?category=dresses&color=greenhttps://example.com/shopindex.php?product_id=32&highlight=green+dress&cat_id=1&sessionid=123$affid=43

Google 如何知道要向搜索者提供哪個版本的 URL？Google 在自行確定代表性 URL 方面做得非常好，但您可以使用 Google Search Console 中的 URL 參數(shù)功能來準確告訴 Google 您希望他們?nèi)绾翁幚砟捻撁?。如果您使用此功能告訴 Googlebot“不抓取帶有 ____ 參數(shù)的網(wǎng)址”，那么您實際上是在要求對 Googlebot 隱藏此內(nèi)容，這可能會導(dǎo)致從搜索結(jié)果中刪除這些頁面。如果這些參數(shù)創(chuàng)建重復(fù)頁面，這就是您想要的，但如果您希望將這些頁面編入索引，則不理想。

爬蟲能找到你所有的重要內(nèi)容嗎？

現(xiàn)在您已經(jīng)了解了一些確保搜索引擎抓取工具遠離您不重要的內(nèi)容的策略，讓我們了解可以幫助 Googlebot 找到您的重要頁面的優(yōu)化。

有時，搜索引擎可以通過抓取來找到您網(wǎng)站的某些部分，但其他頁面或部分可能由于某種原因而被遮擋。確保搜索引擎能夠發(fā)現(xiàn)您想要編入索引的所有內(nèi)容，而不僅僅是您的主頁，這一點很重要。

您的內(nèi)容是否隱藏在登錄表單后面？

如果您要求用戶在訪問某些內(nèi)容之前登錄、填寫表格或回答調(diào)查，搜索引擎將看不到這些受保護的頁面。爬蟲絕對不會登錄。

您是否依賴搜索表單？

機器人不能使用搜索表單。有些人認為，如果他們在自己的網(wǎng)站上放置搜索框，搜索引擎將能夠找到訪問者搜索的所有內(nèi)容。

文本是否隱藏在非文本內(nèi)容中？

不應(yīng)使用非文本媒體形式（圖像、視頻、GIF 等）來顯示您希望編入索引的文本。雖然搜索引擎在識別圖像方面變得越來越好，但不能保證他們現(xiàn)在能夠閱讀和理解它。最好在網(wǎng)頁的 <HTML> 標記中添加文本。

搜索引擎可以跟隨您的網(wǎng)站導(dǎo)航嗎？

正如爬蟲需要通過來自其他站點的鏈接來發(fā)現(xiàn)您的站點一樣，它也需要您自己站點上的鏈接路徑來引導(dǎo)它從一個頁面到另一個頁面。如果您希望搜索引擎找到某個頁面，但沒有從任何其他頁面鏈接到該頁面，那么它就像不可見一樣好。許多網(wǎng)站犯了一個嚴重錯誤，即以搜索引擎無法訪問的方式構(gòu)建導(dǎo)航，從而阻礙了它們在搜索結(jié)果中列出的能力。

常見的導(dǎo)航錯誤會使爬蟲無法看到您的所有網(wǎng)站：

• 移動導(dǎo)航顯示與桌面導(dǎo)航不同的結(jié)果

• 菜單項不在 HTML 中的任何類型的導(dǎo)航，例如啟用 JavaScript 的導(dǎo)航。谷歌在抓取和理解 Javascript 方面做得更好，但它仍然不是一個完美的過程。確保某些內(nèi)容被 Google 找到、理解和索引的更可靠的方法是將其放入 HTML 中。

• 個性化，或向特定類型的訪問者顯示獨特的導(dǎo)航，而不是其他人，可能會偽裝成搜索引擎爬蟲

• 忘記通過導(dǎo)航鏈接到您網(wǎng)站上的主頁面 - 請記住，鏈接是爬蟲訪問新頁面的路徑！

這就是為什么您的網(wǎng)站必須具有清晰的導(dǎo)航和有用的 URL 文件夾結(jié)構(gòu)的原因。

你有干凈的信息架構(gòu)嗎？

信息架構(gòu)是在網(wǎng)站上組織和標記內(nèi)容以提高效率和用戶可查找性的實踐。最好的信息架構(gòu)是直觀的，這意味著用戶不必費力地瀏覽您的網(wǎng)站或查找某些內(nèi)容。

你在使用站點地圖嗎？

站點地圖顧名思義：您網(wǎng)站上的 URL 列表，爬蟲可以使用這些 URL 來發(fā)現(xiàn)您的內(nèi)容并將其編入索引。確保 Google 找到您的最高優(yōu)先級頁面的最簡單方法之一是創(chuàng)建一個符合 Google 標準的文件并通過 Google Search Console 提交。雖然提交站點地圖并不能取代對良好站點導(dǎo)航的需求，但它當然可以幫助爬蟲跟蹤到您所有重要頁面的路徑。

確保您只包含希望被搜索引擎索引的 URL，并確保為爬蟲提供一致的指示。例如，如果您通過 robots.txt 阻止了該網(wǎng)址，或者在您的站點地圖中包含重復(fù)的網(wǎng)址而不是首選的規(guī)范版本，則不要在站點地圖中包含該網(wǎng)址。

如果您的網(wǎng)站沒有任何其他網(wǎng)站鏈接到它，您仍然可以通過在 Google Search Console 中提交 XML 站點地圖來將其編入索引。不能保證他們會在索引中包含提交的 URL，但值得一試！

抓取工具在嘗試訪問您的網(wǎng)址時是否會出錯？

在抓取您網(wǎng)站上的網(wǎng)址的過程中，抓取工具可能會遇到錯誤。您可以轉(zhuǎn)到 Google Search Console 的“抓取錯誤”報告來檢測可能發(fā)生這種情況的網(wǎng)址 - 該報告將向您顯示服務(wù)器錯誤和未找到的錯誤。服務(wù)器日志文件也可以向您展示這一點，以及其他信息的寶庫，例如抓取頻率，但因為訪問和剖析服務(wù)器日志文件是一種更高級的策略，我們不會在初學(xué)者指南中詳細討論它，雖然您可以在此處了解更多信息。

在對爬網(wǎng)錯誤報告執(zhí)行任何有意義的操作之前，了解服務(wù)器錯誤和“未找到”錯誤很重要。

4xx 代碼：當搜索引擎爬蟲由于客戶端錯誤而無法訪問您的內(nèi)容時

4xx 錯誤是客戶端錯誤，意味著請求的 URL 包含錯誤的語法或無法實現(xiàn)。最常見的 4xx 錯誤之一是“404 – 未找到”錯誤。這些可能是由于 URL 錯別字、刪除的頁面或損壞的重定向而發(fā)生的，僅舉幾個例子。當搜索引擎遇到 404 時，他們無法訪問該 URL。當用戶遇到 404 時，他們可能會感到沮喪并離開。

5xx 代碼：當搜索引擎爬蟲由于服務(wù)器錯誤而無法訪問您的內(nèi)容時

5xx 錯誤是服務(wù)器錯誤，意味著網(wǎng)頁所在的服務(wù)器未能滿足搜索者或搜索引擎訪問該頁面的請求。在 Google Search Console 的“抓取錯誤”報告中，有一個專門針對這些錯誤的選項卡。這些通常是因為對 URL 的請求超時，因此 Googlebot 放棄了請求。查看Google 的文檔以了解有關(guān)修復(fù)服務(wù)器連接問題的更多信息。

幸運的是，有一種方法可以告訴搜索者和搜索引擎您的頁面已經(jīng)移動——301（永久）重定向。

創(chuàng)建自定義 404 頁面！

通過添加指向您網(wǎng)站上重要頁面的鏈接、網(wǎng)站搜索功能甚至聯(lián)系信息來自定義您的 404 頁面。這應(yīng)該可以降低訪問者在點擊 404 時從您的網(wǎng)站反彈的可能性。

假設(shè)您將頁面從example.com/young-dogs/移動到example.com/puppies/。搜索引擎和用戶需要一座橋梁來從舊 URL 跨越到新 URL。該橋是 301 重定向。

301 狀態(tài)代碼本身意味著頁面已永久移動到新位置，因此請避免將 URL 重定向到不相關(guān)的頁面——舊 URL 內(nèi)容實際上并不存在的 URL。如果某個頁面正在針對某個查詢進行排名，而您將其 301 指向具有不同內(nèi)容的 URL，則它的排名位置可能會下降，因為與該特定查詢相關(guān)的內(nèi)容不再存在。301 很強大——負責(zé)任地移動 URL！

您還可以選擇 302 重定向頁面，但這應(yīng)該保留用于臨時移動以及在傳遞鏈接公平性不是那么重要的情況下。302s有點像繞道而行。您暫時通過某條路線吸收流量，但不會永遠如此。

注意重定向鏈！

如果 Googlebot 必須經(jīng)過多次重定向，則它可能很難到達您的網(wǎng)頁。谷歌稱這些為“重定向鏈”，他們建議盡可能地限制它們。如果您將 example.com/1 重定向到 example.com/2，然后決定將其重定向到 example.com/3，那么最好消除中間人并簡單地將 example.com/1 重定向到 example.com/3。

一旦您確保您的網(wǎng)站針對可抓取性進行了優(yōu)化，接下來的工作就是確保它可以被編入索引。

索引：搜索引擎如何解釋和存儲您的頁面？

一旦您確定您的網(wǎng)站已被抓取，接下來的工作就是確保它可以被編入索引。沒錯——僅僅因為您的網(wǎng)站可以被搜索引擎發(fā)現(xiàn)和抓取，并不一定意味著它會被存儲在他們的索引中。在上一節(jié)關(guān)于抓取中，我們討論了搜索引擎如何發(fā)現(xiàn)您的網(wǎng)頁。索引是存儲您發(fā)現(xiàn)的頁面的位置。爬蟲找到頁面后，搜索引擎會像瀏覽器一樣呈現(xiàn)它。在此過程中，搜索引擎會分析該頁面的內(nèi)容。所有這些信息都存儲在其索引中。

繼續(xù)閱讀以了解索引的工作原理以及如何確保您的站點進入這個非常重要的數(shù)據(jù)庫。

我可以看到 Googlebot 抓取工具如何查看我的網(wǎng)頁嗎？

是的，您網(wǎng)頁的緩存版本將反映 Googlebot 上次抓取該網(wǎng)頁的快照。

Google 以不同的頻率抓取和緩存網(wǎng)頁。比起 Roger the Mozbot 的副業(yè)者 Roger 不太出名的網(wǎng)站http://www.rogerlovescupcakes 而言，像https://www.nytimes.com這樣頻繁發(fā)帖的知名網(wǎng)站將被更頻繁地抓取。.（如果它是真的……）

您可以通過單擊 SERP 中 URL 旁邊的下拉箭頭并選擇“緩存”來查看頁面的緩存版本

您還可以查看網(wǎng)站的純文本版本，以確定您的重要內(nèi)容是否被有效地抓取和緩存。

頁面是否曾從索引中刪除？

是的，頁面可以從索引中刪除！URL 可能被刪除的一些主要原因包括：

• URL 返回“未找到”錯誤 (4XX) 或服務(wù)器錯誤 (5XX) – 這可能是意外（頁面被移動且未設(shè)置 301 重定向）或有意（頁面被刪除并 404將其從索引中刪除）

• 該 URL 添加了 noindex 元標記 - 站點所有者可以添加此標記以指示搜索引擎從其索引中省略該頁面。

• 該 URL 已因違反搜索引擎的網(wǎng)站管理員指南而受到人工處罰，因此已從索引中刪除。

• 該 URL 已被阻止抓取，并在訪問者訪問該頁面之前添加了所需的密碼。

如果您認為您網(wǎng)站上以前在 Google 索引中的頁面不再顯示，您可以使用URL 檢查工具來了解頁面的狀態(tài)，或者使用具有“請求索引”功能的Google 抓取將單個 URL 提交到索引。（額外獎勵：GSC 的“獲取”工具還有一個“呈現(xiàn)”選項，可讓您查看 Google 解釋您的頁面的方式是否存在任何問題）。

告訴搜索引擎如何索引您的網(wǎng)站

機器人元指令

元指令（或“元標記”）是您可以向搜索引擎提供的有關(guān)您希望如何處理網(wǎng)頁的說明。

您可以告訴搜索引擎爬蟲諸如“不要在搜索結(jié)果中將此頁面編入索引”或“不要將任何鏈接資產(chǎn)傳遞給任何頁面鏈接”之類的信息。這些指令通過 HTML 頁面（最常用）的 <head> 中的機器人元標記或通過 HTTP 標頭中的 X-Robots-Tag 執(zhí)行。

機器人元標記

可以在網(wǎng)頁 HTML 的 <head> 中使用 robots 元標記。它可以排除所有或特定的搜索引擎。以下是最常見的元指令，以及您可以在哪些情況下應(yīng)用它們。

index/noindex告訴引擎該頁面是否應(yīng)該被抓取并保存在搜索引擎的索引中以供檢索。如果您選擇使用“noindex”，那么您就是在向爬蟲傳達您希望從搜索結(jié)果中排除該頁面的信息。默認情況下，搜索引擎假定它們可以索引所有頁面，因此不需要使用“索引”值。

• 何時使用：如果您試圖從 Google 的網(wǎng)站索引中刪除薄頁（例如：用戶生成的個人資料頁面），但您仍然希望訪問者可以訪問它們，您可以選擇將頁面標記為“noindex”。

follow/nofollow告訴搜索引擎是否應(yīng)該關(guān)注頁面上的鏈接或 nofollow?！案S”會導(dǎo)致機器人跟隨您頁面上的鏈接并將鏈接權(quán)益?zhèn)鬟f給這些 URL?；蛘?，如果您選擇使用“nofollow”，搜索引擎將不會跟蹤或傳遞任何鏈接資產(chǎn)到頁面上的鏈接。默認情況下，假定所有頁面都具有“follow”屬性。

• 何時使用：當您試圖阻止頁面被索引以及阻止爬蟲跟蹤頁面上的鏈接時，nofollow 通常與 noindex 一起使用。

noarchive用于限制搜索引擎保存頁面的緩存副本。默認情況下，引擎將維護它們已編入索引的所有頁面的可見副本，搜索者可以通過搜索結(jié)果中的緩存鏈接訪問這些副本。

• 何時使用：如果您經(jīng)營一個電子商務(wù)網(wǎng)站并且您的價格經(jīng)常變化，您可以考慮使用 noarchive 標簽來防止搜索者看到過時的價格。

以下是元機器人 noindex、nofollow 標簽的示例：

<!DOCTYPE html><html><head><meta name="robots" content="noindex, nofollow" /></head><body>...</body></html>

此示例將所有搜索引擎排除在索引頁面和跟蹤任何頁面鏈接之外。如果您想排除多個爬蟲，例如 googlebot 和 bing，則可以使用多個機器人排除標簽。

元指令影響索引，而不是爬行

Googlebot 需要抓取您的網(wǎng)頁才能看到它的元指令，因此如果您試圖阻止抓取工具訪問某些頁面，元指令不是實現(xiàn)此目的的方法。機器人標簽必須被抓取才能被尊重。

X-Robots-Tag

x-robots 標記用于 URL 的 HTTP 標頭中，如果您想大規(guī)模阻止搜索引擎，則提供比元標記更多的靈活性和功能，因為您可以使用正則表達式、阻止非 HTML 文件和應(yīng)用全站 noindex 標記.

例如，您可以輕松排除整個文件夾或文件類型（如 moz.com/no-bake/old-recipes-to-noindex）：

<Files ~ “\/?no\-bake\/.*”> 標題集 X-Robots-Tag “noindex, nofollow”</Files>機器人元標記中使用的派生詞也可用于 X-Robots-Tag。

或特定文件類型（如 PDF）：

<Files ~ “\.pdf$”> Header set X-Robots-Tag “noindex, nofollow”</Files>

WordPress 提示：

在儀表板 > 設(shè)置 > 閱讀中，確保未選中“搜索引擎可見性”框。這會阻止搜索引擎通過您的 robots.txt 文件訪問您的網(wǎng)站！

了解影響抓取和索引編制的不同方式將幫助您避免可能阻止您的重要頁面被找到的常見陷阱。

排名：搜索引擎如何對網(wǎng)址進行排名？

搜索引擎如何確保當有人在搜索欄中鍵入查詢時，他們會得到相關(guān)結(jié)果作為回報？該過程稱為排名，或按與特定查詢最相關(guān)到最不相關(guān)的搜索結(jié)果排序。

為了確定相關(guān)性，搜索引擎使用算法、過程或公式，通過該算法以有意義的方式檢索和排序存儲的信息。這些算法多年來經(jīng)歷了許多變化，以提高搜索結(jié)果的質(zhì)量。例如，谷歌每天都會進行算法調(diào)整——其中一些更新是微小的質(zhì)量調(diào)整，而另一些則是為解決特定問題而部署的核心/廣泛算法更新，例如企鵝解決鏈接垃圾郵件。查看我們的Google 算法更改歷史記錄，了解可追溯到 2000 年的已確認和未確認的 Google 更新列表。

為什么算法變化如此頻繁？谷歌只是想讓我們保持警覺嗎？雖然谷歌并不總是透露他們?yōu)槭裁催@樣做的細節(jié)，但我們知道谷歌在進行算法調(diào)整時的目標是提高整體搜索質(zhì)量。這就是為什么在回答算法更新問題時，谷歌會回答類似這樣的話：“我們一直在進行高質(zhì)量的更新?！?這表明，如果您的網(wǎng)站在算法調(diào)整后受到影響，請將其與Google 的質(zhì)量指南或搜索質(zhì)量評估指南進行比較，兩者都非常能說明搜索引擎的需求。

搜索引擎想要什么？

搜索引擎一直想要同樣的東西：以最有用的格式為搜索者的問題提供有用的答案。如果這是真的，那么為什么現(xiàn)在的 SEO 看起來與過去幾年不同呢？

從學(xué)習(xí)一門新語言的人的角度來考慮它。

起初，他們對語言的理解非常初級——“見 Spot Run”。隨著時間的推移，他們的理解開始加深，他們學(xué)習(xí)語義——語言背后的意義以及單詞和短語之間的關(guān)系。最終，通過足夠的練習(xí)，學(xué)生可以很好地了解語言，甚至可以理解細微差別，并且能夠為模糊或不完整的問題提供答案。

當搜索引擎剛剛開始學(xué)習(xí)我們的語言時，通過使用實際上違反質(zhì)量指南的技巧和策略來操縱系統(tǒng)要容易得多。以關(guān)鍵字填充為例。如果您想為“有趣的笑話”等特定關(guān)鍵字排名，您可以在頁面上多次添加“有趣的笑話”一詞，并將其加粗，以期提高您對該詞的排名：

歡迎來到有趣的笑話！我們講世界上最有趣的笑話。有趣的笑話是樂趣和瘋狂。你的笑話等著你。坐下來閱讀有趣的笑話，因為有趣的笑話可以讓你快樂和有趣。一些有趣的最喜歡的笑話。

這種策略造成了糟糕的用戶體驗，而不是嘲笑有趣的笑話，人們被煩人的、難以閱讀的文本轟炸。它可能在過去有效，但這絕不是搜索引擎想要的。

鏈接在 SEO 中的作用

當我們談?wù)撴溄訒r，我們可能意味著兩件事。反向鏈接或“入站鏈接”是來自其他網(wǎng)站的指向您網(wǎng)站的鏈接，而內(nèi)部鏈接是您自己網(wǎng)站上指向您的其他頁面（在同一網(wǎng)站上）的鏈接。

鏈接歷來在搜索引擎優(yōu)化中發(fā)揮了重要作用。很早就，搜索引擎需要幫助確定哪些 URL 比其他 URL 更值得信賴，以幫助他們確定如何對搜索結(jié)果進行排名。計算指向任何給定站點的鏈接數(shù)量有助于他們做到這一點。

反向鏈接的工作方式與現(xiàn)實生活中的 WoM（口碑）推薦非常相似。讓我們以假設(shè)的咖啡店 Jenny's Coffee 為例：

• 別人的推薦=權(quán)威的好兆頭

• 例子：許多不同的人都告訴過你珍妮的咖啡是城里最好的

• 來自你自己的推薦 = 有偏見，所以不是權(quán)威的好兆頭

• 示例：珍妮聲稱珍妮的咖啡是鎮(zhèn)上最好的

• 來自不相關(guān)或低質(zhì)量來源的推薦 = 不是權(quán)威的好兆頭，甚至可能讓您被標記為垃圾郵件

• 示例：珍妮付錢讓從未去過她的咖啡店的人告訴別人它有多好。

• 沒有轉(zhuǎn)介=不明確的權(quán)限

• 示例：?Jenny's Coffee 可能不錯，但是您一直找不到任何有意見的人，因此您無法確定。

這就是創(chuàng)建PageRank 的原因。PageRank（谷歌核心算法的一部分）是一種以谷歌創(chuàng)始人之一拉里佩奇命名的鏈接分析算法。PageRank 通過衡量指向網(wǎng)頁的鏈接的質(zhì)量和數(shù)量來估計網(wǎng)頁的重要性。假設(shè)網(wǎng)頁越相關(guān)、越重要、越值得信賴，它獲得的鏈接就越多。

您從高權(quán)威（受信任）網(wǎng)站獲得的反向鏈接越自然，您在搜索結(jié)果中排名更高的可能性就越大。

內(nèi)容在 SEO 中扮演的角色

如果鏈接沒有將搜索者定向到某些內(nèi)容，則鏈接將毫無意義。東西是內(nèi)容！內(nèi)容不僅僅是文字；它是搜索者要消費的任何東西——有視頻內(nèi)容、圖像內(nèi)容，當然還有文本。如果搜索引擎是答錄機，那么內(nèi)容就是引擎提供這些答案的手段。

每當有人進行搜索時，都會有數(shù)以千計的可能結(jié)果，那么搜索引擎如何決定搜索者會發(fā)現(xiàn)哪些頁面有價值呢？確定您的網(wǎng)頁在給定查詢中排名的很大一部分是您網(wǎng)頁上的內(nèi)容與查詢意圖的匹配程度。換句話說，此頁面是否與搜索的詞匹配并幫助完成搜索者試圖完成的任務(wù)？

由于這種關(guān)注用戶滿意度和任務(wù)完成情況，因此對于您的內(nèi)容應(yīng)該多長時間、應(yīng)該包含多少關(guān)鍵字或您在標題標簽中放置的內(nèi)容沒有嚴格的基準。所有這些都可以影響頁面在搜索中的表現(xiàn)，但重點應(yīng)該放在將閱讀內(nèi)容的用戶上。

今天，有數(shù)百甚至數(shù)千個排名信號，前三名保持相當一致：您網(wǎng)站的鏈接（作為第三方可信度信號）、頁面內(nèi)容（滿足搜索者意圖的優(yōu)質(zhì)內(nèi)容）以及排名大腦。

什么是RankBrain？

RankBrain 是谷歌核心算法的機器學(xué)習(xí)組件。機器學(xué)習(xí)是一種計算機程序，它通過新的觀察和訓(xùn)練數(shù)據(jù)隨著時間的推移不斷改進其預(yù)測。換句話說，它一直在學(xué)習(xí)，因為它一直在學(xué)習(xí)，搜索結(jié)果應(yīng)該不斷改進。

例如，如果 RankBrain 注意到排名較低的 URL 比排名較高的 URL 為用戶提供了更好的結(jié)果，您可以打賭 RankBrain 會調(diào)整這些結(jié)果，將相關(guān)性更高的結(jié)果移至更高的位置，并將相關(guān)性較低的頁面作為副產(chǎn)品降級。

與搜索引擎的大多數(shù)事情一樣，我們并不確切知道 RankBrain 的組成部分，但顯然，Google 的人也不知道。

這對 SEO 意味著什么？

由于 Google 將繼續(xù)利用 RankBrain 來推廣最相關(guān)、最有用的內(nèi)容，因此我們需要比以往任何時候都更加專注于滿足搜索者的意圖。為可能登陸您頁面的搜索者提供盡可能好的信息和體驗，您已經(jīng)邁出了在 RankBrain 世界中表現(xiàn)良好的重要第一步。

參與度指標：相關(guān)性、因果關(guān)系或兩者兼而有之？

在谷歌排名中，參與度指標很可能是部分相關(guān)性和部分因果關(guān)系。

當我們說參與度指標時，我們指的是表示搜索者如何通過搜索結(jié)果與您的網(wǎng)站互動的數(shù)據(jù)。這包括以下內(nèi)容：

• 點擊次數(shù)（來自搜索的訪問）

• 頁面停留時間（訪問者離開頁面之前在頁面上花費的時間）

• 跳出率（用戶僅查看一頁的所有網(wǎng)站會話的百分比）

• Pogo-sticking（點擊一個有機結(jié)果，然后快速返回 SERP 以選擇另一個結(jié)果）

許多測試，包括Moz 自己的排名因素調(diào)查，表明參與度指標與更高的排名相關(guān)，但因果關(guān)系一直存在激烈爭論。良好的參與度指標是否僅表明排名靠前的網(wǎng)站？或者網(wǎng)站排名靠前是因為它們擁有良好的參與度指標？

谷歌所說的

雖然他們從未使用過“直接排名信號”這個詞，但谷歌已經(jīng)明確表示他們絕對使用點擊數(shù)據(jù)來修改特定查詢的 SERP。

根據(jù)谷歌前搜索質(zhì)量主管Udi Manber 的說法：

“排名本身受點擊數(shù)據(jù)的影響。如果我們發(fā)現(xiàn)，對于特定查詢，80% 的人點擊 #2，而只有 10% 的人點擊 #1，過一段時間我們就會發(fā)現(xiàn) #2 可能是人們想要的，所以我們會切換它?！?/span>

谷歌前工程師 Edmond Lau 的另一條評論證實了這一點：

“很明顯，任何合理的搜索引擎都會使用自己結(jié)果上的點擊數(shù)據(jù)反饋到排名中，以提高搜索結(jié)果的質(zhì)量。使用點擊數(shù)據(jù)的實際機制通常是專有的，但谷歌明確表示，它使用點擊數(shù)據(jù)及其專利在排名調(diào)整的內(nèi)容項目等系統(tǒng)上。”

由于谷歌需要保持和提高搜索質(zhì)量，參與度指標似乎不可避免地不僅僅是相關(guān)性，但似乎谷歌沒有將參與度指標稱為“排名信號”，因為這些指標用于提高搜索質(zhì)量，而單個 URL 的排名只是其中的一個副產(chǎn)品。

什么測試已經(jīng)證實

各種測試已經(jīng)證實，谷歌將根據(jù)搜索者的參與度調(diào)整 SERP 順序：

• Rand Fishkin 的 2014 年測試導(dǎo)致在讓大約 200 人點擊來自 SERP 的 URL 后，第 7 名的結(jié)果上升到第 1 名。有趣的是，排名提升似乎與訪問鏈接的人的位置無關(guān)。在許多參與者所在的美國，排名位置飆升，而在谷歌加拿大、谷歌澳大利亞等頁面上的排名仍然較低。

• Larry Kim 在RankBrain 之前和之后的熱門頁面及其平均停留時間的比較似乎表明，谷歌算法的機器學(xué)習(xí)組件降低了人們不花太多時間瀏覽的頁面的排名位置。

• Darren Shaw 的測試也顯示了用戶行為對本地搜索和地圖包結(jié)果的影響。

由于用戶參與度指標顯然用于調(diào)整 SERP 的質(zhì)量，并將排名位置更改作為副產(chǎn)品，因此可以肯定地說 SEO 應(yīng)該針對參與度進行優(yōu)化。參與度不會改變您網(wǎng)頁的客觀質(zhì)量，而是會改變您對搜索者相對于該查詢的其他結(jié)果的價值。這就是為什么在沒有更改您的頁面或其反向鏈接后，如果搜索者的行為表明他們更喜歡其他頁面，則排名可能會下降。

在網(wǎng)頁排名方面，參與度指標就像一個事實檢查器。鏈接和內(nèi)容等客觀因素首先對頁面進行排名，然后參與度指標可以幫助谷歌在他們沒有做對時進行調(diào)整。

搜索結(jié)果的演變

當搜索引擎缺乏今天的復(fù)雜性時，術(shù)語“10 個藍色鏈接”被創(chuàng)造來描述 SERP 的扁平結(jié)構(gòu)。每次執(zhí)行搜索時，Google 都會返回一個包含 10 個自然結(jié)果的頁面，每個結(jié)果都采用相同的格式。

在這個搜索領(lǐng)域，保持第一名是 SEO 的圣杯。但后來發(fā)生了一些事情。谷歌開始在他們的搜索結(jié)果頁面上添加新格式的結(jié)果，稱為SERP 功能。其中一些 SERP 功能包括：

• 付費廣告

• 精選片段

• 人們也問盒子

• 本地（地圖）包

• 知識面板

• 附加鏈接

谷歌一直在添加新的。他們甚至嘗試了“零結(jié)果 SERP”，這是一種現(xiàn)象，即知識圖譜中只有一個結(jié)果顯示在 SERP 上，除了“查看更多結(jié)果”的選項外，它下面沒有任何結(jié)果。

由于兩個主要原因，這些功能的添加引起了一些最初的恐慌。一方面，其中許多功能導(dǎo)致有機結(jié)果在 SERP 上被進一步推低。另一個副產(chǎn)品是更少的搜索者點擊有機結(jié)果，因為在 SERP 本身上回答了更多的查詢。

那么谷歌為什么要這樣做呢？這一切都可以追溯到搜索體驗。用戶行為表明，不同的內(nèi)容格式可以更好地滿足某些查詢。請注意不同類型的 SERP 功能如何匹配不同類型的查詢意圖。

我們將在第 3 章中更多地討論意圖，但就目前而言，重要的是要知道答案可以以多種格式提供給搜索者，以及您如何構(gòu)建內(nèi)容會影響它在搜索中出現(xiàn)的格式。

本地化搜索

像谷歌這樣的搜索引擎有自己的本地商業(yè)列表專有索引，它可以從中創(chuàng)建本地搜索結(jié)果。

如果您是具有物理位置的客戶可以訪問企業(yè)進行本地搜索引擎優(yōu)化工作（例如：牙醫(yī)）或為前往參觀他們的客戶（例如：管道工）業(yè)務(wù)，請務(wù)必要求，驗證和優(yōu)化一免費的Google 我的商家信息。

對于本地化搜索結(jié)果，Google 使用三個主要因素來確定排名：

1. 關(guān)聯(lián)

2. 距離

3. 突出

關(guān)聯(lián)

相關(guān)性是本地企業(yè)與搜索者正在尋找的內(nèi)容相匹配的程度。為確保企業(yè)盡其所能與搜索者相關(guān)，請確保企業(yè)信息填寫完整、準確。

距離

Google 使用您的地理位置來更好地為您提供本地搜索結(jié)果。本地搜索結(jié)果對鄰近度非常敏感，鄰近度是指搜索者的位置和/或查詢中指定的位置（如果搜索者包括一個）。

自然搜索結(jié)果對搜索者的位置很敏感，但很少像本地包結(jié)果那樣明顯。

突出

以知名度為一個因素，谷歌希望獎勵在現(xiàn)實世界中知名的企業(yè)。除了企業(yè)的線下知名度外，Google 還會考慮一些在線因素來確定本地排名，例如：

評論

本地企業(yè)收到的 Google 評論數(shù)量以及這些評論的情緒對其在本地結(jié)果中的排名有顯著影響。

引文

“企業(yè)引用”或“企業(yè)列表”是基于網(wǎng)絡(luò)的對本地化平臺（Yelp、Acxiom、YP、Infogroup、Localeze 等）上本地企業(yè)“NAP”（名稱、地址、電話號碼）的引用。.

本地排名受本地商業(yè)引用的數(shù)量和一致性影響。谷歌從各種來源中提取數(shù)據(jù)，不斷地構(gòu)成其本地業(yè)務(wù)索引。當 Google 發(fā)現(xiàn)對企業(yè)名稱、位置和電話號碼的多個一致引用時，它會增強 Google 對該數(shù)據(jù)有效性的“信任”。這樣一來，Google 就能夠以更高的信心展示業(yè)務(wù)。Google 還使用網(wǎng)絡(luò)上其他來源的信息，例如鏈接和文章。

有機排名

SEO 最佳實踐也適用于本地 SEO，因為 Google 在確定本地排名時還會考慮網(wǎng)站在自然搜索結(jié)果中的位置。

在下一章中，您將學(xué)習(xí)有助于 Google 和用戶更好地理解您的內(nèi)容的頁面最佳實踐。

[獎金！] 本地參與

盡管谷歌沒有將其列為本地排名因素，但參與度的作用只會隨著時間的推移而增加。谷歌通過整合真實世界的數(shù)據(jù)，如熱門訪問時間和平均訪問時長，繼續(xù)豐富本地搜索結(jié)果...

毫無疑問，現(xiàn)在本地結(jié)果比以往任何時候都更受現(xiàn)實世界數(shù)據(jù)的影響。這種交互性是搜索者與本地企業(yè)互動和響應(yīng)的方式，而不是像鏈接和引文這樣的純靜態(tài)（和可玩游戲）信息。

由于 Google 希望向搜索者提供最好、最相關(guān)的本地業(yè)務(wù)，因此他們使用實時參與度指標來確定質(zhì)量和相關(guān)性是非常有意義的。

您不必了解 Google 算法的來龍去脈（這仍然是個謎?。F(xiàn)在您應(yīng)該對搜索引擎如何查找、解釋、存儲和排名內(nèi)容有很好的基礎(chǔ)知識。有了這些知識，讓我們學(xué)習(xí)如何在第 3 章（關(guān)鍵字研究）中選擇您的內(nèi)容將針對的關(guān)鍵字！

由布蘭妮穆勒和 Moz 工作人員撰寫。

翻譯來源：moz