Cómo los motores consumen un sitio?

Antes de hablar de metadatos, schema, performance o redirects, es clave entender cómo un motor (buscador o IA) consume un sitio web.
Muchos problemas de SEO técnico existen porque el equipo asume que el crawler ve lo mismo que el usuario, y eso no siempre es cierto.

1.1 El pipeline real: crawling → rendering → indexing → ranking

El proceso completo, simplificado, es:

Crawling
El bot descubre URLs.
Rendering
Intenta interpretar el contenido de la página.
Indexing
Decide qué guardar y cómo representarlo.
Ranking / Retrieval
Usa esa información para responder búsquedas (o generar respuestas).

Si una URL falla en cualquiera de estas etapas, no importa lo bien que esté el contenido.

1.2 Crawling: cómo se descubren las URLs

Durante el crawling, el bot:

sigue enlaces internos
lee el sitemap.xml
respeta (o no) robots.txt
detecta redirects
evalúa status codes

Implicancias técnicas clave

Una página sin enlaces internos puede no ser descubierta.
El sitemap no reemplaza el enlazado interno.
URLs que solo existen por navegación JS pueden no ser crawleadas.
Redirects mal implementados consumen presupuesto de crawl.

Errores comunes

Páginas “huérfanas”
Navegaciones 100% client-side
URLs importantes solo accesibles desde interacciones JS
Sitemaps con URLs no finales

1.3 Rendering: qué ve realmente el bot

Una vez descubierta la URL, el bot intenta renderizar el contenido.

Hay tres escenarios posibles:

1. HTML completo en la respuesta inicial

SSR / SSG / ISR bien implementado
El bot ve contenido inmediatamente
Escenario ideal

2. HTML parcial + JS que completa el contenido

CSR o híbridos mal configurados
El bot debe ejecutar JS
Puede fallar o demorarse
Contenido puede no indexarse correctamente

3. HTML vacío o genérico

Skeletons
Loading states
Contenido solo post-hydration
Muy riesgoso para SEO y GEO

Regla fundamental

Si el contenido no está presente en el HTML inicial, no puede asumirse que será correctamente renderizado por un bot.

1.4 HTML inicial vs hidratación

Para el usuario:

la hidratación suele ser transparente

Para un bot:

la hidratación puede:
- no ejecutarse
- fallar
- ejecutarse tarde
- ejecutarse parcialmente

Implicancias técnicas

Titles, headings y contenido principal deben existir antes de la hidratación.
No se debe depender de useEffect para renderizar contenido crítico.
Estados “loading” no deberían ser el único HTML visible.

1.5 Indexing: qué decide guardar el motor

Después del rendering, el motor decide:

si la página se indexa o no
bajo qué URL (canonical)
con qué contenido
con qué señales (headings, texto, schema, links)

Factores técnicos que afectan la indexación

Canonicals incorrectos
Meta robots / headers
Contenido duplicado
Thin content
URLs con parámetros
Redirects encadenados

Error común

Una página:

responde 200
se ve bien en el browser
pero no se indexa, porque:
apunta a otro canonical
está marcada como noindex
duplica otra URL

1.6 Ranking y recuperación de información

Recién después de indexar, el motor puede:

rankear la página
usarla para respuestas directas (AEO)
usarla como fuente para respuestas generativas (GEO)

Importante

El ranking no compensa errores anteriores.
Una página mal renderizada o mal indexada no “rankea peor”: simplemente no existe para el motor.

1.7 Diferencias entre buscadores clásicos y motores de IA

Buscadores clásicos (Google, Bing)

Crawl por URLs
Indexan documentos
Ejecutan JS con limitaciones
Usan señales estructurales

Motores de IA / LLMs

No navegan como un browser
No ejecutan JS
Prefieren:
- HTML limpio
- texto claro
- estructura semántica
- schema
- representaciones simplificadas (ej. Markdown)

Esto refuerza que: