Robots.txt: Difference between revisions

Revision as of 04:58, 21 September 2026

Robots.txt for golbal website or specific folders

manual

robots.txt validator

New Robots.txt Syntax Checker: a validator for robots.txt files

sitemap

Sitemap: URL_of_sitemap_file

Google Sitemap Template for MovableType

移除自己的網頁在google上的索引

不希望自己的網站或網頁在google上被搜尋要求Google移掉連結

?天: 使用自動網址移除系統
3-5個工作天內生效，並排除索引至少90天: 使用 Google 網站管理員工具中的 URL 移除要求工具 (說明)
6~8週內生效，並暫時排除索引180天: 使用robots.txt等 (說明: 如何確定我的內容可以從 Google 索引移除？, [1])

more on 網站管理員說明中心 - 我如何從 Google 的索引中移除內容？

meta tag for single webpage

<meta name="robots" content="noindex,nofollow" />

@@ Line 4: / Line 4: @@
 * [http://www.searchtools.com/robots/robots-meta.html Search Indexing Robots and the Robots META Tag - SearchTools.com]
 * [http://www.google.com/support/webmasters/bin/answer.py?answer=40367 網站管理員說明中心 - 我不想將要攔截的每個檔案都列出。我可以使用* 和 $ 模式媒合嗎？]([http://www.google.com/support/webmasters/bin/answer.py?answer=40367&hl=en EN])
-* [http://www.mediawiki.org/wiki/Robots.txt Robots.txt - MediaWiki]
-* [http://code.google.com/web/controlcrawlindex/docs/getting_started.html Getting Started - Controlling Crawling and Indexing - Google Code]
 robots.txt validator
 * [http://tool.motoricerca.info/robots-checker.phtml New Robots.txt Syntax Checker: a validator for robots.txt files]
 == sitemap ==
@@ Line 21: / Line 21: @@
 不希望自己的網站或網頁在google上被搜尋 要求Google移掉連結
 * ?天: 使用[http://services.google.com/urlconsole/controller 自動網址移除系統]
-* 3-5個工作天
+* 3-5個工作天內生效，並排除索引至少90天: 使用 [https://www.google.com/webmasters/tools/ Google 網站管理員工具]中的 URL 移除要求工具 ([http://www.google.com.tw/support/webmasters/bin/answer.py?answer=61062&ctx=sibling 說明])
-** 3-5個工作天內生效，並排除索引至少90天: 使用 [https://www.google.com/webmasters/tools/ Google 網站管理員工具]中的 URL 移除要求工具 ([http://www.google.com.tw/support/webmasters/bin/answer.py?answer=61062&ctx=sibling 說明])
-** 3-5個工作天: [http://www.google.com.tw/support/bin/request.py?ctx=answer 說明中心]回報選「法務問題」 via [http://khchao.blogspot.com/2007/12/google.html 威爺喔北貢: 移除Google搜尋引擎上的資料以及庫存網頁]
 * 6~8週內生效，並暫時排除索引180天: 使用robots.txt等 (說明: [http://www.google.com.tw/support/webmasters/bin/answer.py?answer=59819&topic=8459 如何確定我的內容可以從 Google 索引移除？], [http://www.google.com/intl/zh-TW/remove.html])
 : more on [http://www.google.com.tw/support/webmasters/bin/answer.py?answer=35301 網站管理員說明中心 - 我如何從 Google 的索引中移除內容？]
@@ Line 37: / Line 35: @@
 * [[Add meta tag to movabletype]]
 * [http://www.robbin.cc/vb/showthread.php?t=485 如何用.htaccess擋搜尋器 - WordPress歡樂正體中文交流所]
-* [http://gordon168.tw/?p=202 用Robots.txt來和搜尋機器人打交道 « 高登工作室]
-* [http://www.freegroup.org/2012/08/how-to-remove-results-from-google-yahoo-facebook/  [教學] 當個人隱私資料（電話號碼、地址）出現在 Google、Yahoo 頁庫存檔或 Facebook 時，如何請求刪除？]
-[[Category:Web_Dev]] [[Category:Google]]
+[[Category:Web_Dev]]