The Web Robots Pages
Web Robots (also known as Web Wanderers, Crawlers, or Spiders), are programs that traverse the Web automatically. Search engines such as Google use them to index the web content, spammers use them to scan for email addresses, and they have many other uses. On this site you can learn more about web robots. About /robots.txt explains what /robots.txt is, and how to use it. The FAQ answers many frequ
robots.txtã¨ã¯ï¼Ÿè¨ç½®ã™ã‚‹ç†ç”±ãƒ»SEO効果・書ã方を解説
robots.txtã¨ã¯ã€Googleãªã©ã®æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã®ã‚¯ãƒãƒ¼ãƒ©ãƒ¼ã«å¯¾ã—ã¦ã€ã€Œã©ã®URLã«ã‚¢ã‚¯ã‚»ã‚¹ã—ã¦ã„ã„ã‹ã€ã‚’ä¼ãˆã‚‹ã‚‚ã®ã§ã‚る。 ã“れを使ãˆã°ã€ç‰¹å®šã®ãƒšãƒ¼ã‚¸ã‚„フォルダã®ã‚¯ãƒãƒ¼ãƒ«ã‚’æ‹’å¦ã§ãる（クãƒãƒ¼ãƒ«ã•ã›ãªã„）ã“ã¨ãŒã§ãる。クãƒãƒ¼ãƒ©ãƒ¼ã®å‹•ãを最é©åŒ–ã™ã‚‹ã“ã¨ã§ã€SEOã®è¦³ç‚¹ã‹ã‚‰ã‚‚良ã„影響を得られるå¯èƒ½æ€§ãŒã‚る。
ãƒãƒœãƒƒãƒˆæŽ’除プãƒãƒˆã‚³ãƒ«ï¼ˆREP）ã¨ã¯ï¼Ÿâ€•â€•ãƒ¡ã‚¿ã‚¿ã‚°ã‚„robots.txtã®åŸºç¤Ž | Web担当者Forum
HTTPヘッダーã¨ã¯ã€ã‚¦ã‚§ãƒ–サーãƒãƒ¼ãŒã‚¦ã‚§ãƒ–ブラウザãªã©ã®ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆã«å¯¾ã—ã¦ãƒ‡ãƒ¼ã‚¿ã‚’é€ã‚‹å‰ã«é€ä¿¡ã™ã‚‹æƒ…å ±ã®ã“ã¨ã§ã€é€šå¸¸ã¯ãƒ–ラウザã«ã¯è¡¨ç¤ºã•ã‚Œãªã„。 多ãã®å ´åˆã€HTTPレスãƒãƒ³ã‚¹ã‚³ãƒ¼ãƒ‰ã€ã‚³ãƒ³ãƒ†ãƒ³ãƒ„ã®ç¨®é¡žï¼ˆHTMLãªã®ã‹PDFãªã®ã‹ãªã©ï¼‰ã€ã‚³ãƒ³ãƒ†ãƒ³ãƒ„ã®ã‚µã‚¤ã‚ºã€æœ€çµ‚更新日付ãªã©ã®æƒ…å ±ãŒå«ã¾ã‚Œã¦ã„る。 HTTPヘッダーã®å†…容ã¯åŸºæœ¬çš„ã«HTMLページã®è¨˜è¿°ãªã©ã§ã¯å¤‰æ›´ã§ããšã€ã‚µãƒ¼ãƒãƒ¼ã®è¨å®šã‚„出力プãƒã‚°ãƒ©ãƒ ã®è¨å®šã«ã‚ˆã£ã¦å¤‰æ›´ã§ãる。ãŸã ã—ã€HTMLページ内ã®ã€Œmeta http-equivã€ã®ã‚¿ã‚°ã«ã‚ˆã£ã¦ã€HTTPヘッダーã§æŒ‡å®šã™ã‚‹æƒ…å ±ã‚’è¨˜è¿°ã§ãã€ã»ã¨ã‚“ã©ã®ã‚¦ã‚§ãƒ–ブラウザãŒmeta http-equivã®æƒ…å ±ã‚’è§£é‡ˆã™ã‚‹ã€‚ ãã—ã¦2005å¹´ã«ç™»å ´ã—ãŸã‚µã‚¤ãƒˆãƒžãƒƒãƒ—プãƒãƒˆã‚³ãƒ«ã§ã¯ã€ï¼ˆXML）サイトマップを通ã˜ã¦å¤§é‡ã®ã‚³ãƒ³ãƒ†ãƒ³ãƒ„を検索エンジンã«ç™»éŒ²ã™ã‚‹æ‰‹ç¶šããŒå®šç¾©ã•ã‚Œã¦ã„る。 ã¾ãŸ2005å¹´ã«ã¯ã€Œrel=
ãƒãƒœãƒƒãƒˆã®ã‚¢ã‚¯ã‚»ã‚¹ã‚„インデックスを制御ã™ã‚‹ãƒ†ã‚¯ãƒ‹ãƒƒã‚¯ï¼š 基本ã®ãŠã•ã‚‰ã„（å‰ç·¨ï¼‰ | Moz - SEOã¨ã‚¤ãƒ³ãƒã‚¦ãƒ³ãƒ‰ãƒžãƒ¼ã‚±ãƒ†ã‚£ãƒ³ã‚°ã®å®Ÿè·µæƒ…å ±
ã“ã®è¨˜äº‹ã®å†…容ã¯ã™ã¹ã¦ç†è€…自身ã®è¦‹è§£ã§ã‚り（ã‚ã‚Šãã†ã‚‚ãªã„ã“ã¨ã ãŒã€ç†è€…ãŒå‚¬çœ 状態ã«ã‚ã‚‹å ´åˆã‚’除ã）ã€SEOmozã®è¦‹è§£ã‚’åæ˜ ã—ã¦ã„ã‚‹ã¨ã¯é™ã‚‰ãªã„。 ã™ã§ã«ã”å˜çŸ¥ã ã¨æ€ã†ãŒã€æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã®ã‚¹ãƒ‘イダーã¯ã€ã‚¦ã‚§ãƒ–サイトを訪れã¦ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹åŒ–ã™ã‚‹éš›ã€å¸¸ã«åŠ¹æžœçš„ãªåƒãã‚’ã—ã¦ãれるã‚ã‘ã§ã¯ãªã„。å„検索エンジンã®ãƒãƒœãƒƒãƒˆã«ä»»ã›ã¦ãŠãã¨ã€è¤‡è£½ã‚³ãƒ³ãƒ†ãƒ³ãƒ„å•é¡Œã‚’生ã¿å‡ºã™ã€é‡è¦ãªãƒšãƒ¼ã‚¸ã‚’ジャンクページã¨è¦‹ãªã™ã€ãƒ¦ãƒ¼ã‚¶ãƒ¼ãŒæœ€åˆã«è¦‹ã‚‹ã¹ãã§ã¯ãªã„コンテンツをインデックスã™ã‚‹ãªã©ã€ã•ã¾ã–ã¾ãªå•é¡ŒãŒç”Ÿã˜ã‚‹å¯èƒ½æ€§ãŒã‚る。 ãŸã ã—ã€ç§ãŸã¡ãŒè‡ªç”±ã«ä½¿ãˆã¦ã€ã‚¦ã‚§ãƒ–サイト上ã§ã®ãƒãƒœãƒƒãƒˆã®æ´»å‹•ã‚’ã§ãã‚‹ã ã‘効果的ãªã‚‚ã®ã«ã™ã‚‹é“å…·ç«‹ã¦ã¯ãŸãã•ã‚“ã‚る。ãŸã¨ãˆã°ã€æ¬¡ã®ã‚ˆã†ãªã‚‚ã®ã 。 meta robotsã‚¿ã‚°URLæ£è¦åŒ–タグ（rel="canonical"）X-Robots-Tagrobots.txt ãれをè¸ã¾ãˆã¦ã€ã“ã®è¨˜äº‹ã§ã¯ã€ãƒãƒœ
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}