Qué es IndexNow y cómo puede afectar al SEO

Tarsis.net, 28 de diciembre de 2021

En el siempre líquido panorama del SEO parece que, por primera vez, Bing y Yandex pretenden arrebatar la iniciativa a Google.

Cómo han indexado los buscadores hasta el momento

Aunque normalmente empleemos el término «indexación» para describir el proceso en el que un motor de búsqueda adquiere, digiere y produce información sobre una determinada página web, en realidad es un proceso más complejo que incluye varias fases:

• Un proceso automático (bot) del motor de búsqueda explora («araña») un sitio web, con una determinada frecuencia, en busca de páginas que lo componen. El contenido puede ser antiguo, nuevo o haber sido actualizado desde la última visita de la araña del buscador. El contenido de la página es descargado, a la espera de ser procesado más tarde.
• Otro proceso evalúa el contenido descargado, obteniendo de él información y metainformación propia de la página y también ajena (por ejemplo relacionar la URL de esa página con enlaces en otras páginas a las que se cualifica con un rango de autoridad); el proceso valora la página, asignándole una puntuación basada en un algoritmo que toma en consideración un número muy elevado (y siempre cambiante) de factores, y esa información se almacena en bases de datos. Esto es lo que es propiamente el proceso de indexación. El tiempo que pasa desde que un contenido es arañado hasta que los cambios se reflejan en un motor de búsqueda puede variar desde unos pocos días hasta un par de semanas.
• Finalmente, un usuario busca una determinada palabra clave y el buscador recupera la información que tiene almacenada, ordenando los resultados pertinentes a esa búsqueda en función de varios parámetros, como la puntuación que ha asignado previamente a la página, pero también el historial de búsquedas previas del usuario, la información previa de otros tipos que tenga del usuario, la ubicación geográfica y una infinidad más.

Como puede verse en este conjunto de procesos, no hay, en principio, ningún elemento activo por parte del sitio web, sino que la iniciativa, la frecuencia, la valoración, todo entra dentro del ámbito del buscador.

Esto no es totalmente cierto, porque a lo largo de los años se han desarrollado diferentes elementos mediante los cuales el administrador de un sitio web puede «invitar» a los buscadores a que indexen o no indexen determinadas partes de la web, como son:

• El archivo robots.txt, que indica a los buscadores qué partes de la web sí y no deben seguir sus arañas para incluir en los resultados de búsqueda. Se trata meramente de una indicación, y siguiendo las buenas prácticas los motores de búsqueda suelen tener en cuenta esas indicaciones para excluir partes que el dueño de la web no quiera ver indexadas, pero el motor de búsqueda puede hacer caso o no a este archivo, sin que el dueño de la web pueda hacer nada por evitarlo.
• Los archivos de mapa de sito web (site maps), que son una colección (a veces uno, a veces varios) archivos XML que contienen indicaciones para los buscadores sobre el catálogo de páginas que el administrador de la web desearía ver indexadas. Se trata de un archivo cuyo objetivo es ayudar a las arañas a que no dejen de indexar determinadas páginas. Los motores de búsqueda los utilizan activamente, pero no existe ningún compromiso de que las páginas que figuran en el mapa vayan a ser indexadas.
• Las herramientas para webmasters, de las que disponen los principales buscadores, y que pueden servir (depende de la época) para solicitar reindexación de un sitio, o exclusión de determinadas páginas.

Tanto en lo que respecta a los procesos que atañen a la indexación como a los elementos que sí/no se indexan, la capacidad de un administrador de sitio web o experto en SEO para influir en esa indexación ha sido siempre muy limitada y, aunque seguir las buenas prácticas dictadas por los buscadores proporciona una probabilidad razonable de ser indexado, todo el proceso destila opacidad y arbitrariedad.

Qué es IndexNow

IndexNow es un protocolo pensado para que un sitio web, en el momento de crear o modificar una página, pida a un motor de búsqueda que indexe el nuevo contenido.

Esto se lleva a cabo mediante una API, que en el caso de IndexNow es una invocación extremadamente sencilla:

https://www.bing.com/IndexNow?url=[url-con-nuevo-contenido]&key=[clave-de-la-api]

Es decir, lo único que necesitamos es disponer de una clave de autenticación de la API en cada motor de búsqueda que soporte IndexNow e indicarle qué URL tiene nuevo contenido. Esto genera una petición de indexación inmediata.

El gestor de contenidos publica una nueva página (o versión actualizada de una página ya existente) y en ese momento realiza por sí mismo esa llamada a la API, disparando el proceso de indexación por parte del motor de búsqueda.

Naturalmente esto no significa que el motor de búsqueda vaya necesariamente a indexar esa página o que lo haga inmediatamente. Los algoritmos de los motores de búsqueda determinan la idoneidad y prioridad de la indexación de un contenido basándose en sus propias reglas — siempre cambiantes –, por lo que no hay garantía de que nuestro contenido sea efectivamente indexado, ni de que lo sea en un plazo corto.

Pero digamos que no hay ningún obstáculo en nuestro sitio web, en el contenido que se solicita indexar o en que pueda ser considerado de baja prioridad. En ese caso la incorporación de ese contenido a los resultados de búsqueda podría medirse en minutos, no en días.

Las personas que trabajamos haciendo SEO podemos ver la ventaja de este mecanismo, porque acelera los resultados que esperamos obtener, aunque habría que hacer mención a que IndexNow es desde nuestro punto de vista algo más que una mera mejora de procedimiento de indexación, puesto que que constituye un cambio de paradigma respecto a cómo se indexan las páginas web.

Hasta el momento eran los buscadores los que tomaban la iniciativa a la hora de indexar, arañando una página (pull), sometiendo su contenido y metainformación a una evaluación, a una extracción de información y, finalmente a su indexación (o no). Con IndexNow la iniciativa de la indexación cambia de campo a los sitios web (push) capaces de utilizar IndexNow.

Cómo puede IndexNow afectar al posicionamiento

El que una página se indexe antes o después no afecta a cómo el algoritmo del motor de búsqueda califica la relevancia del contenido y posiciona a esa página en los resultados de búsqueda (a menos que en algún momento el motor de búsqueda considere que disponer de IndexNow es un factor que cuente positivamente para su posicionamiento).

A lo que sí afectaría es a la variabilidad de los resultados, que pasaría prácticamente a ser en tiempo real. Cuando se está trabajando en el SEO de una página, y se consigue, por ejemplo, que aparezca en la primera página de resultados para determinada palabra clave, uno puede hasta ahora tener una cierta tranquilidad respecto a que esa posición va a mantenerse al menos algunos días.

IndexNow cambiaría las reglas del juego en el sentido de mantener aún más de puntillas a los especialistas SEO, que no podrían reposar ni un momento, y eso haría aún más necesario contar con herramientas que monitoricen el posicionamiento en tiempo real, tanto el propio como el de la competencia.

¿Va a triunfar IndexNow?

Aún es pronto para poder decirlo, porque son varias las condiciones que se necesitan para que esta iniciativa gane momento:

• Google tendría que incorporar este protocolo en su sistema de indexación. Esto puede ocurrir o no. Actualmente Google ha anunciado que está evaluando la factibilidad (sostenibilidad, según Google) del protocolo dentro de sus propias operaciones. En la mayor parte del mundo Google es el motor de búsqueda prevalente (~96% en España), así que, sin el concurso de Google, IndexNow podría quedarse en un proyecto que utiliza una minoría entusiasta durante un tiempo, acaba mustiándose por falta de acogida y pasa al baúl de los recuerdos.
• Pero puede que no le interese hacerlo, porque Google es muy de tener el síndrome de «eso no está hecho en casa», e incorporar IndexNow supone en cierta forma conceder que otros actores en el mundo de los buscadores van por delante. Recordemos que la prevalencia de Google le otorga de facto el control del botón rojo.
• No podrá triunfar si los gestores de contenidos no lo adoptan, y en especial WordPress, que mueve un tercio de los sitios web de Internet. Puesto que IndexNow es un protocolo, no sólo se necesita que haya un servidor (el motor de búsqueda) atendiendo peticiones de indexación, sino también clientes que soliciten ese servicio (los gestores de contenidos). Para que IndexNow tenga una oportunidad será esencial ver qué ocurre con los principales gestores de contenido.
• … y los plugins de SEO son los embajadores de los sitios ante los buscadores. Microsoft ha donado el código necesario para que los principales gestores de contenidos puedan hacer uso de esta tecnología, y de hecho existe ya al menos un plugin de WordPress que está haciendo uso de IndexNow, pero va a ser seguramente los plugins SEO de más éxito (Yoast SEO y All In One SEO) los que disparen su uso en el momento en que Google aceptara el uso de IndexNow.
• … o que herramientas SEO actúen de proxy IndexNow, pidiendo la indexación en nombre de sitios web que no dispongan de las herramientas necesarias para hacerlo, o sencillamente que a sus administradores les resulte más conveniente de esa manera. El mundo de las herramientas SEO es tremendamente dinámico, y a buen seguro a estas horas proveedores de servicios SEO SaaS están estudiando ofrecer esta posibilidad, a la espera de cómo se desarrollen los acontecimientos.