# =====================================================
# robots.txt — westom.pl
# Strategia: sklepy i firmy widoczne w Google i w AI –
# wpuszczamy wyszukiwarki i roboty AI (wyszukiwanie i trening modeli),
# blokujemy tylko scrapery bez wartości.
# Ostatnia aktualizacja: wrzesień 2026
#
# Roboty AI nie mają osobnych grup – działa dla nich reguła „*” poniżej,
# więc dostają te same wyłączenia co Googlebot (panel, wyszukiwarka, parametry).
# Wpuszczone m.in.: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot,
# Claude-User, ClaudeBot, anthropic-ai, PerplexityBot, Perplexity-User,
# Google-Extended, Google-Agent, Google-NotebookLM, Applebot-Extended,
# Amazonbot, MistralAI-User, YouBot, DuckAssistBot, CCBot (Common Crawl).
# =====================================================

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /?s=
Disallow: /search/
Disallow: /?p=
Disallow: /*?replytocom
Disallow: /*?utm_
Disallow: /*?fbclid
Disallow: /*?gclid
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /*.css$
Allow: /*.js$
Allow: /*.webp$
Allow: /*.svg$

# --- Blokada: scrapery bez wartości / znane z łamania zasad ---
User-agent: Bytespider
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: ImagesiftBot
Disallow: /

User-agent: Omgili
Disallow: /

User-agent: omgilibot
Disallow: /

# --- Mapa witryny ---
Sitemap: https://westom.pl/sitemap_index.xml