robots.txt 生成 (robots.txt Generator)
クローラー制御ファイルを作成
設定
robots.txt
User-agent: *
Disallow: /api/
Disallow: /admin/robots.txt生成ツールの使い方
User-agentごとの設定を入力すると、robots.txtファイルの内容が自動生成されます。
1
ルールの設定
デフォルトのUser-agent (*) に対する許可(Allow)・拒否(Disallow)パスを設定します。
2
Sitemapの追加
必要に応じてサイトマップのURLを指定します。
3
コピーまたはダウンロード
生成されたテキストをコピーして、robots.txtファイルとして保存・アップロードします。