Robots.txt

Robots.txt for golbal website or specific folders

manual

• A Standard for Robot Exclusion
• Search Indexing Robots and the Robots META Tag - SearchTools.com
• 網站管理員說明中心 - 我不想將要攔截的每個檔案都列出。我可以使用* 和 $ 模式媒合嗎？(EN)
• Robots.txt - MediaWiki

robots.txt validator

• New Robots.txt Syntax Checker: a validator for robots.txt files

sitemap

Sitemap: URL_of_sitemap_file

Google Sitemap Template for MovableType

移除自己的網頁在google上的索引

不希望自己的網站或網頁在google上被搜尋 要求Google移掉連結

• ?天: 使用自動網址移除系統
• 3-5個工作天
  • 3-5個工作天內生效，並排除索引至少90天: 使用 Google 網站管理員工具中的 URL 移除要求工具 (說明)
  • 3-5個工作天: 說明中心回報選「法務問題」 via 威爺喔北貢: 移除Google搜尋引擎上的資料以及庫存網頁
• 6~8週內生效，並暫時排除索引180天: 使用robots.txt等 (說明: 如何確定我的內容可以從 Google 索引移除？, [1])

more on 網站管理員說明中心 - 我如何從 Google 的索引中移除內容？

meta tag for single webpage

<meta name="robots" content="noindex,nofollow" />

related:

• 2007/10事件: BillyPan 的部落格 - 無名刪掉robots.txt，【無名，別擋Google!】串聯初步成功。宣告停止串聯。
• HTML Author's Guide to the Robots META tag
• Add meta tag to movabletype
• 如何用.htaccess擋搜尋器 - WordPress歡樂正體中文交流所
• 用Robots.txt來和搜尋機器人打交道 « 高登工作室