在這種情況下將合併並遵循所有相關說

muhammad166152@

txt 檔案會阻止 Googlebot（和其他 Google 機器人）之外的所有機器人抓取該網站。 Googlebot 會忽略不太特定的用戶代理通知。 指南 準則是您希望指定的使用者代理程式遵循的規則。 支援的指令 目前 Google 支援的指南及其用法如下： 不允許 使用此指令指示搜尋引擎不要存取位於特定路徑內的文件和頁面。例如，如果您想阻止所有搜尋引擎訪問您的部落格和所有帖子，您的 robots.
txt 檔案應如下所示： 使用者代理：*禁止：/blog 一個小注意事項：如果您無法在「block」指令後定義路徑，搜尋引擎將忽略它。


允許 使用此指令允許搜尋引擎抓取目錄或頁面，即使在不允許相反操作的目錄中也是如此。例如，如果您想阻止搜尋引擎訪問部落格上除一篇之外的所有帖子，那麼您的 robots.
txt 檔案將如下所示： 使用者明。 重要的提示： 瀏覽器只遵循用戶代 南非 電話號碼 理指定的完全適用於它們的規則。 這就是為什麼上面顯示的 robots.pdf 他們將無法存取其中的部分內容。 Google 和 Bing 都支援該指令。



簡單說明一下：與 Block 指令一樣，如果您在 Allow 指令之後沒有定義路徑，搜尋引擎將忽略它。 關於衝突規則的說明： 如果您不小心，允許和允許指令很容易相互衝突。在下面的範例中，我們阻止訪問/blog/並允許訪問/blog 。 使用者代理：*禁止：/blog/允許：/blog 在這種情況下，對/blog/post-title/的訪問似乎既被禁止又被允許。那麼這起案件誰是贏家呢？ 適用於 Google 和 Bing 的規則是字元數最多的指令獲勝。 您可以在下面找到區塊指令： 塊：/blog/（6 個字元） 允許：/blog（5 個字元） 如果允許和阻止指令的長度相等，則限制最少的指令獲勝。