User-agent: * Allow: /admin/blog-page Disallow: /auth/ Disallow: /payments/ Disallow: /config/ Disallow: /admin/ Disallow: /vault/ Disallow: /proxy/ Disallow: /analyze Disallow: /process Disallow: /download/ Disallow: /usage/ Disallow: /health Disallow: /ready Disallow: /metrics Disallow: /status Disallow: /feedback Disallow: /user/ Disallow: /office-addin Disallow: /blog/api # AI-краулеры (issue #887): перечислены явно и РАЗРЕШЕНЫ (`Allow: /`). # Внутренние пути ниже повторяют правила группы `*`: по RFC 9309 §2.2.1 своя # группа ЗАМЕЩАЕТ `*`, поэтому без повтора разрешение открыло бы ботам # /admin/, /vault/ и другие служебные адреса. # `Allow: /` стоит ПОСЛЕДНИМ намеренно: для парсеров со старой семантикой # («побеждает первое совпавшее правило», так читает файл, например, # `urllib.robotparser` из стандартной библиотеки Python) `Allow: /` в начале # группы отменяет все запреты ниже. User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: ClaudeBot User-agent: Claude-User User-agent: Claude-SearchBot User-agent: anthropic-ai User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Google-Extended User-agent: Applebot-Extended User-agent: CCBot User-agent: Bytespider User-agent: Amazonbot User-agent: meta-externalagent User-agent: cohere-ai User-agent: YouBot User-agent: DuckAssistBot Allow: /admin/blog-page Disallow: /auth/ Disallow: /payments/ Disallow: /config/ Disallow: /admin/ Disallow: /vault/ Disallow: /proxy/ Disallow: /analyze Disallow: /process Disallow: /download/ Disallow: /usage/ Disallow: /health Disallow: /ready Disallow: /metrics Disallow: /status Disallow: /feedback Disallow: /user/ Disallow: /office-addin Disallow: /blog/api Allow: / Clean-param: etext&y_ref&ybaip&yclid&_openstat&utm_source&utm_medium&utm_campaign&utm_content&utm_term / Host: https://maskgate.ru Sitemap: https://maskgate.ru/sitemap.xml