robots.txt ロボット排除

検索ロボットに特定のページを閲覧されないようにorさせるように指示する。

ルートフォルダ（ドメイン直下）にrobots.txtという名前のファイルを作る。

ファイル記述法は
User-agent: *
Disallow:url

User-agent: *は全てのUser Agentに対してという意味。特定のロボットに指示したいならその名前を入れる。
URLは相対パスで。