User-agent: * Disallow: /my/ Disallow: /thumb/*/d/fgs16_* Disallow: /d/fgs16_* Disallow: /thumb/*/d/tpl25_* Disallow: /d/tpl25_* Disallow: /thumb/*/d/stp25_* Disallow: /d/stp25_* Sitemap: https://mnt.by/sitemap.2254939.xml.gz User-agent: Yandex Allow: / Disallow: /my/ Disallow: /thumb/*/d/fgs16_* Disallow: /d/fgs16_* Disallow: /thumb/*/d/tpl25_* Disallow: /d/tpl25_* Disallow: /thumb/*/d/stp25_* Disallow: /d/stp25_* Host: https://mnt.by Sitemap: https://mnt.by/sitemap.2254939.xml.gz # Настройка вежливого сканирования для старых поисковиков User-agent: msnbot Crawl-delay: 10 # Разрешаем ИИ-ботам индексировать сайт и файлы разметки llms.txt User-agent: GPTBot User-agent: PerplexityBot User-agent: ClaudeBot User-agent: Google-Extended Allow: /llms.txt Allow: /llms-full.txt Allow: / # Блокировка прожорливых SEO-краулеров и спам-ботов User-agent: MJ12bot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: SemrushBot-SA Disallow: / User-agent: DotBot Disallow: / User-agent: SBarkrowler Disallow: / User-agent: BLEXBot Disallow: /