로봇 排除 標準 (robots exclusion standard), 로봇 排除 프로토콜 (robots exclusion protocol)은 웹 사이트 에 로봇이 接近하는 것을 防止하기 위한 規約 으로, 一般的으로 接近 制限에 對한 說明을 robots.txt 에 記述한다.

이 規約은 1994年 6月에 처음 만들어졌고, 아직 이 規約에 對한 RFC 는 없다.

이 規約은 勸告案이며, 로봇이 robots.txt 파일을 읽고 接近을 中止하는 것을 目的으로 한다. 따라서, 接近 防止 設定을 하였다고 해도, 다른 사람들이 그 파일에 接近할 수 있다. robots.txt 파일은 恒常 사이트의 루트 디렉토리에 位置해야 한다. ^[1]

예 [ 編輯 ]

萬若 모든 로봇에게 文書 接近을 許諾하려면, robots.txt에 다음과 같이 入力하면 된다.

User-agent: *www.belladoi.co.kr
Allow: /

모든 로봇을 遮斷하려면, robots.txt에 다음과 같이 入力하면 된다.

User-agent: *
Disallow: /

모든 로봇에 歲 디렉터리 接近을 遮斷하려면, robots.txt에 다음과 같이 入力하면 된다.

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

모든 로봇에 特定 파일 接近을 遮斷하려면, robots.txt에 다음과 같이 入力하면 된다.

User-agent: *
Disallow: /directory/file.html

BadBot 로봇에 모든 파일 接近을 遮斷하려면, robots.txt에 다음과 같이 入力하면 된다.

User-agent: BadBot
Disallow: /

BadBot 과 Googlebot 로봇에 特定 디렉터리 接近을 遮斷하려면, robots.txt에 다음과 같이 入力하면 된다.

User-agent: BadBot
User-agent: Googlebot
Disallow: /private/

다양하게 組合하여 使用할 수 있다.

User-agent: googlebot        # googlebot 로봇만 適用
Disallow: /private/          # 이 디렉토리를 接近 遮斷한다.

User-agent: googlebot-news   # googlebot-news 로봇만 適用
Disallow: /                  # 모든 디렉토리를 接近 遮斷한다.

User-agent: *                # 모든 로봇 適用
Disallow: /something/        # 이 디렉토리를 接近 遮斷한다.

代案 [ 編輯 ]

HTML 의 meta 태그를 利用할 수도 있다. <syntaxhighlight lang="html4strict"> <meta name="Robots" content="Noindex,Nofollow" />

하지만 이러한 方法은 一般的인 方法이 아니고, 아직까지는 一部의 로봇만이 支援한다.

같이 보기 [ 編輯 ]

• noindex
• nofollow

各州 [ 編輯 ]

外部 링크 [ 編輯 ]

• (韓國語) w3seo robots.txt - Example,maker
• (韓國語) www.robotstxt.org - The Web Robots Pages