Анализатор Robots.txt и Sitemap

Анализируйте robots.txt и sitemap.xml любого сайта. Просматривайте правила для краулеров, заблокированные пути и ссылки на карту сайта.