不論你的網站是用Shopify建立的，還是Wordpress，還是Magento，要注意你的網站都要做優化

我們在講到針對一個網站優化，特別是站內優化的時候，其實主要包含

2大方面：

- 一是針對頁面的SEO （on-page ）

- 另外一個是網站結構優化，也叫做技術性SEO 

由于搜索結果的競爭越來越激烈，對SEO在技術上的優化也提出了更高的要求。

一個表現良好的網站，必須要是可抓取、快速、安全的網站。

技術性SEO包含的內容很多，涵蓋網站的結構設計、URL、網絡地圖等內容，而且是一個技術性很強的方面。

今天我主要說一說網站技術SEO的六個基本方面，做好這六大方面，網站的性能會更加優化和健康。

很多人可能看到這一章節會覺得很枯燥，但是其實是很重要的。

為什么呢？

因為一個網站，如果你花了很多時間在獲取流量上，比如廣告，比如紅人，但是基本的文章的audit（審視）都沒有過關的話，那么無形之中會大大增加你網站的營銷費用。

試想一下一個2秒打開速度的網站，和一個十秒才打開的網站，那效果能一樣嗎？

所以從一個網站的優化角度來講，特別是技術性優化的角度來探討，我們要從以下幾點進行優化:

確保網站可抓取

確保網站可抓取，首先要檢查robots.txt文件，這個文件是任何網絡爬行軟件到達站點時的第1個調用點。

robots.txt文件會明確應該被抓取的和不應該被抓取的部分，表現為允許（allow）、禁止(disallow)某些用戶代理的行為。

通過將/robots.txt添加到根域末尾，可以公開使用robots.txt文件。我們看一下Hallam網站的示例：

可以看到，Hallam網站不允許以/ wp-admin（網站后端）開頭的URL被抓取。通過指明哪些地方禁止這些URL，可以節省帶寬、服務器資源和爬網預算。

與此同時，搜索引擎爬蟲抓取網站的重要部分時，不應該受到禁止。

因為robots.txt是爬蟲在抓取網站時看到的第1個文件，所以將robots.txt指向站點地圖?？梢栽谂f版的Google Search Console中編輯和測試robots.txt文件。

在robots.txt的測試工具中，下面的網址欄輸入任何網址，就可以檢查這個網址能否被抓取，robots.txt文件中有沒有錯誤和警告。

因為舊版的Google Search Console功能要比新版本的功能多一些，在技術SEO方面舊版本會更好用一些。

比方說，舊版本可以查看站長工具上的抓取統計信息區域（Craw Stats），對于了解網站的抓取方式會更加的方便。

這個報告有3個圖表，顯示了Z近3個月的數據。

每天抓取的網頁數量、每天下載的千字節數、下載網頁所花費的時間（以毫秒為單位），能夠顯示網站的抓取速度及和搜索引擎爬蟲的關系。

搜索引擎爬蟲定期訪問某網站，并且這是一個快速而且容易被抓取的網站的話，這個網站就會有很高的抓取速度。

這些圖表數據如果能保持一致是好的，任何重大波動都會出問題，可能是HTML損壞，內容陳舊或robots.txt文件阻止了太多URL。

如果加載一個頁面需要很長時間，表示爬蟲爬取時間太長，建立索引速度較慢。

還可以在新版的Google Search Console查看覆蓋率報告中的抓取錯誤。

這些地方都是有爬取問題的頁面，點擊可以顯示這些頁面。檢查這些頁面是什么原因導致的爬取問題，不是很重要的頁面，盡快解決這些問題。

如果你在Craw Stats或覆蓋率報告中，發現重大的抓取錯誤或波動，可以對日志文件進行分析查看。

從服務器日志訪問原始數據可能會比較麻煩，因為分析是高級設置，但它有助于準確理解哪些頁面可以被抓取、哪些不能抓取。

哪些頁面會被優先處理，哪些區域出現了預算浪費的情況，還有爬蟲在爬取網站的過程中收到哪些服務器響應。

檢查站點可編入索引

檢查爬蟲是否可以抓取網站之后，還要搞清楚網站上的網頁有沒有編入Google索引。

有很多方法可以檢查這一問題，前面用到的Google Search Console覆蓋報告，就可以用來查看每個頁面的狀態。

從這個報告中我們看到四個數據:

• 錯誤：404s重定向錯誤。

• 有效警告：已編制索引但附有警告的頁面。

• 有效：成功編制索引的頁面。

• 已排除：被排除在索引狀態之外的頁面及其原因，如重定向或被robots.txt阻止的網頁。

還可以使用URL檢查工具分析特定的URL。

如果某主頁的流量有所下降，就該檢查這個新加入的網站是不是已經編入索引，或者對這個網址進行問題排查。

還有一個好方法可用來檢查網站能否索引，就是使用爬取工具，推薦Screaming Frog。

Screaming Frog是Z強大、使用Z普遍的爬取軟件之一。它有付費版本和免費版本，可以根據網站的大小進行選擇。

免費版本的功能有限，抓取的數量限于500個URL。而付費版本的年費是149英鎊，有很多的功能和可用API，沒有抓取限制。

運行爬取軟件之后，就可以看到和索引相關的兩列結果。

Indexability：可索引性，顯示URL能否被編入索引，是“可索引”還是“不可索引”。

Indexability Status：可索引性狀態，顯示URL不可索引的原因是什么，是不是被編為了另一個URL，或是帶有無索引標簽。

這個工具是批量審核網站一種很好的方式，可以了解哪些網頁正在被編入索引，哪些網頁不可被編入索引，這些都會顯示在結果中。

對列進行排序并查找異常的情況，使用Google Analytics API，能有效識別出可索引的重要頁面。

Z后，還可以使用這個網站檢查你的頁面有多少是已經索引的：domain Google Search parameter。

在搜索欄中輸入site：yourdomain并按Enter鍵，就可以看到網站上已被Google編入索引的每個網頁。

示例：

這里我們看到boots.com有大約95,000個已經索引的URL，通過這個功能我們知道Google現在存儲了多少網頁。

如果你的網頁數量和被谷歌索引的數量差很多。

那么你應該思考：

網站的HTTP版本是否仍在編入索引？

已被編入索引的頁面有沒有重復的，需要規范化的?

網站的大部分內容是否應該被編入索引？

通過這三個問題，了解谷歌如何將網站編入索引，以及如何做出相應更改。

查看站點地圖

SEO還有一個不能忽略的重要方面：站點地圖。XML站點地圖是你的網站到Google和其它搜索引擎爬蟲的地圖。

實際上，站點地圖幫助這些爬蟲給你的網頁排名。

有效的站點地圖有幾點值得注意:

• 站點地圖要在XML文檔中正確格式化。

• 站點地圖應該遵循XML站點地圖協議。

• 只包含規范版本的網址。

• 不包含沒有索引的網址。

• 更新或創建新頁面時，要包括所有新頁面。

關于站點地圖的小工具：

1. Yoast SEO插件，可以創建XML站點地圖。

2. Screaming Frog，它的站點地圖分析非常詳細。

另外，還可以在站點題圖上查看網址，遺失的網址或者是少見的網址。

確保站點地圖包含Z重要的頁面，排除不用編進Google索引的頁面，并且結構要正確。完成這些操作之后，你應該將站點地圖重新提交到Google Search Console。

網站要適應移動端設備

谷歌去年宣布了會優先對移動端進行索引。也就是說，網頁的移動端版本會優先于電腦端版本，進行排名和索引，因為大部分用戶主要使用移動設備進行網頁訪問,所以網站排名也會給移動端優先的權利。

谷歌的Mobile-Friendly Test是一款免費工具，可以用來檢查網頁在移動端的響應和適應性。

在網址欄輸入域名，就可以顯示在移動設備上的呈現效果，是否適應移動設備。

當然也可以手動檢查網站在移動端的適應情況，用手機瀏覽一個網站，檢查網站的主要轉化路徑有沒有錯誤。

網站上面的所有聯系表格、電話號碼、關鍵服務頁面，是否都正常運行。如果你是在電腦端瀏覽網頁的話，就可以右鍵單擊頁面，再做檢查。

網頁速度

網頁速度現在是Google排名的一個很重要的因素，網頁響應迅速也是提升用戶體驗度的一個很好的方式。

下面我給你們推薦一些測試網站速度的實用工具

Google PageSpeed Insights

這是谷歌的一款功能強大的工具，可以免費使用。它可以在移動端和電腦端對網站進行速度測試，進行打分，并給出提高頁面速度的建議。

對主頁和核心頁面進行測試，可以知道你的網址速度如何，采取哪些措施可以提高網速。

還有一點要提醒一下：我們說的頁面速度，不僅是指某人打開網頁時，加載出一個頁面的速度，還包括搜索引擎抓取網頁的速度和難易度。

這也是縮小和捆綁CSS和Javascript文件的原因。所以依靠肉眼檢查頁面加載還不夠，還需要使用工具來全面地分析頁面是如何加載的。

谷歌還有一款工具可以測試移動設備的網速，專門針對移動設備提高網速。

它會根據測試給出一個結果報告：

1.網站在在3G和4G網絡上的速度，包括網站加載速度有多少秒，評級是多少，網站速度趨勢在加快還是減慢；

2.針對每個頁面的個性化修復方式；

3.網速和競爭對手的網速做對比的情況；

4.網站收入受到網速的影響情況。

Google Analytics

針對網速的問題，還可以使用Google Analytics，它可以給出提高網速的診斷建議。

打開Google Analytics，在Behaviour中找到Site Speed，可以查詢出很多關于網速的有用信息，包括特定網頁在不同瀏覽器和國家地區的加載效果。

你可以根據頁面瀏覽量進行檢查，優先處理Z重要的頁面。

影響頁面加載速度的因素有很多，如果你發現頁面加載有問題，可以通過檢查一些常規內容去修復頁面:

• 優化圖像，圖像有沒有壓縮過；

• 修復膨脹的javascript；

• 減少服務器請求；

• 確保緩存有效；

• 檢查服務器的速度快不快；

• 考慮使用內容分發網絡（CDN）

• 
  

重復內容審核

Z后一項是審核網站內容有沒有重復。對于做SEO的人來說，內容重復是一個很大的禁忌。

雖然說谷歌不會因為內容重復就懲罰某個網站，但是谷歌不喜歡重復文案內容，這一點是很明確的。

谷歌認為重復內容對用戶是沒什么用處的，所以它不會在搜索引擎排名中給有重復內容的頁面很好的排名。

要檢查有沒有重復內容，可以使用Google search parameters進行快速查詢，輸入網址，在搜索結果的Z后一頁，如果有重復內容，就會出現以下文字：

如果這里出現了重復內容，應該再使用Screaming Frog抓取一下網站。然后按照頁面標題進行排序，就可以檢查網站上有哪些重復的頁面。

搜索引擎技術優化讓你的網站更加優化和健康。

以上是技術性SEO的六個方法，是網站結構優化相對基礎的東西。如果你們想要在技術上做得更好，還可以繼續深入。

也可以直接聯系我公司， 我們提供軟件優化，人工優化。