Robots.txt

2026-09-20T20:58:04Z

2408:8649:2300:147:0:0:0:2:

== Robots.txt for golbal website or specific folders ==
manual
* [http://www.robotstxt.org/wc/norobots.html A Standard for Robot Exclusion]
* [http://www.searchtools.com/robots/robots-meta.html Search Indexing Robots and the Robots META Tag - SearchTools.com]
* [http://www.google.com/support/webmasters/bin/answer.py?answer=40367 網站管理員說明中心 - 我不想將要攔截的每個檔案都列出。我可以使用* 和 $ 模式媒合嗎？]([http://www.google.com/support/webmasters/bin/answer.py?answer=40367&hl=en EN])

robots.txt validator
* [http://tool.motoricerca.info/robots-checker.phtml New Robots.txt Syntax Checker: a validator for robots.txt files]

== sitemap ==

Sitemap: URL_of_sitemap_file

[[Google Sitemap Template for MovableType]]

== 移除自己的網頁在google上的索引 ==
不希望自己的網站或網頁在google上被搜尋要求Google移掉連結
* ?天: 使用[http://services.google.com/urlconsole/controller 自動網址移除系統]
* 3-5個工作天內生效，並排除索引至少90天: 使用 [https://www.google.com/webmasters/tools/ Google 網站管理員工具]中的 URL 移除要求工具 ([http://www.google.com.tw/support/webmasters/bin/answer.py?answer=61062&ctx=sibling 說明])
* 6~8週內生效，並暫時排除索引180天: 使用robots.txt等 (說明: [http://www.google.com.tw/support/webmasters/bin/answer.py?answer=59819&topic=8459 如何確定我的內容可以從 Google 索引移除？], [http://www.google.com/intl/zh-TW/remove.html])
: more on [http://www.google.com.tw/support/webmasters/bin/answer.py?answer=35301 網站管理員說明中心 - 我如何從 Google 的索引中移除內容？]

=== meta tag for single webpage ===

<meta name="robots" content="noindex,nofollow" />

related:
* 2007/10事件: [http://www.wretch.cc/blog/billypan101&article_id=11714886 BillyPan 的部落格 - 無名刪掉robots.txt，【無名，別擋Google!】串聯初步成功。宣告停止串聯。]
* [http://www.robotstxt.org/wc/meta-user.html HTML Author's Guide to the Robots META tag]
* [[Add meta tag to movabletype]]
* [http://www.robbin.cc/vb/showthread.php?t=485 如何用.htaccess擋搜尋器 - WordPress歡樂正體中文交流所]

[[Category:Web_Dev]]

LemonWiki共筆 - User contributions [en]

Robots.txt