Herramienta gratis
Generador de robots.txt
Decide qué crawlers de IA pueden leer tu sitio, bot por bot, y obtén un robots.txt que dice exactamente eso.
- 100% gratis
- Sin registro
- Resultados instantáneos
Escribe tu robots.txt
Búsqueda, entrenamiento y visitas de usuarios
Las empresas de IA usan hoy un crawler por tarea, así que puedes seguir en las respuestas de IA sin ceder tus páginas al entrenamiento de modelos.
Crawlers de búsqueda
OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot y Applebot arman los índices que citan las respuestas de IA. Si los bloqueas, esas respuestas no pueden enlazarte.
Crawlers de entrenamiento
GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent, Bytespider y CCBot juntan datos para entrenar modelos. Bloquearlos te deja fuera del entrenamiento, no de la búsqueda.
Por qué se repiten las rutas
Un crawler con su propio grupo ignora el grupo *. Por eso cada ruta privada se escribe de nuevo dentro de cada grupo con nombre; si no, ese bot la leería.
Siguiente paso
Vigila el acceso de crawlers de IA en Rank PromptLa auditoría técnica lee tu robots.txt en cada revisión y avisa el día en que un lanzamiento empieza a bloquear un crawler de IA.
Pasa de una foto puntual a visibilidad en IA permanente
La herramienta gratis es un punto de partida rápido y honesto. Rank Prompt lo convierte en un programa que monitorea, compara y mejora cómo la IA habla de ti.
Ahora mismo
Este generador gratis
- Las reglas de un sitio
- Releídas en el navegador
- Sin vigilar tu archivo publicado
El panorama completo
Plataforma de Rank Prompt
- Monitorea tu visibilidad en ChatGPT, Gemini, Perplexity, Claude, Grok y Google AI Mode (AI Overviews)
- Corre todo tu set de prompts de forma programada, no una sola consulta, una vez
- Share of voice frente a la competencia y evolución del ranking en el tiempo
- Alertas cuando ganas o pierdes terreno, más reportes exportables
- Contenido optimizado para IA, auditorías SEO e insights de citas
Preguntas frecuentes
Preguntas sobre el generador de robots.txt
¿Todavía tienes preguntas? Escríbenos
¿Bloquear GPTBot me saca de las respuestas de ChatGPT?
No. GPTBot junta datos de entrenamiento. La búsqueda de ChatGPT usa OAI-SearchBot y las visitas que pide una persona usan ChatGPT-User. Permite esos para seguir en las respuestas de ChatGPT.
¿Google-Extended controla los AI Overviews?
No. Google dice que Google-Extended rige el entrenamiento y el grounding de Gemini, y no afecta a la Búsqueda de Google. AI Overviews y AI Mode salen del índice de Googlebot.
¿Los crawlers de IA respetan robots.txt?
Los principales crawlers de entrenamiento y de búsqueda dicen que sí. Las visitas que dispara un usuario, como ChatGPT-User, Perplexity-User y Meta-ExternalFetcher, pueden no hacerlo, según la documentación de sus dueños.
¿Dónde va el archivo?
En la raíz del dominio, como /robots.txt. Cada subdominio necesita el suyo.
Entérate cuando un lanzamiento bloquee a los crawlers de IA
Rank Prompt revisa acceso de crawlers, schema y preparación para IA en cada página seguida, y te dice qué cambió.