User-agent: * # Bloquea directorios de sistema y areas no indexables del CMS Disallow: /sc-admin/ # Area de administracion #Disallow: /sc-includes/ # Archivos internos y de template (Bloquea todo aqui a menos que Style.css u otro asset este aqui - ver nota abajo) # Nota para /sc.includes/: Si 'style.css' u otros assets publicos esenciales (CSS/JS/Imgs) estan directamente bajo /sc-includes/ # sin subcarpeta, al bloquear la carpeta entera '/sc-includes/', tambien bloqueas esos assets. # Si este es el caso, quita la linea 'Disallow: /sc.includes/' y considera bloquear solo subcarpetas internas si existen, EJ: Disallow: /sc.includes/html/ Disallow: /sc.includes/php/ # Permitiria acceso directo a archivos en /sc.includes/ (como style.css) Disallow: /scr/profile/ # Bloquea perfiles de usuario dentro de scr/ si esa ruta existe (redundante si /usuario/ es bloqueado) # /scr/css/, /scr/images/, /scr/js/, /scr/minified/, /scr/photos/ NO SE BLOQUEAN por defecto (assets) # Bloquea URLs de perfiles de usuario y paginas de gestion de cuenta/anuncios Disallow: /usuario/ # Bloquea /usuario/ y todas sus subrutas /usuario/N/ etc. (pero NO las que llevan parametros - cubierto abajo) Disallow: /mis-anuncios/ # Bloquea todas las URLs bajo /mis-anuncios/ # Bloquea EXPLICITAMENTE TODO lo que contenga un parametro de query string "?". # Esto atrapa /anuncios/?q=..., /usuario/N?pag=..., /?_gl=..., /anuncios-barcelona/?pag=... etc. # Crucial para reducir Crawl Budget y problemas de indexacion con parametros. Disallow: /*? # La directiva Crawl-delay (original de tu anterior robots.txt) Crawl-delay: 10 # URLs de Sitemap - Confirma que sitemap.xml en la raiz es el indice principal correcto y funciona bien en GSC (sin barra) Sitemap: https://www.anunciese.es/sitemap.xml