クローラー制御ファイルを作成
User-agent: * Disallow: /api/ Disallow: /admin/
User-agentごとの設定を入力すると、robots.txtファイルの内容が自動生成されます。
デフォルトのUser-agent (*) に対する許可(Allow)・拒否(Disallow)パスを設定します。
必要に応じてサイトマップのURLを指定します。
生成されたテキストをコピーして、robots.txtファイルとして保存・アップロードします。
Metaタグ生成
Sitemap検証(未実装)
