Entrar en la lista no es lo mismo que ser elegido

Imagina a un visitante que está a dos calles y decide dónde comer. En lugar de recorrer un mapa, pregunta a un asistente de IA y lee una respuesta breve que nombra cuatro lugares. Si tu local no está entre ellos, no ocurre nada que puedas ver: ni un clic perdido, ni una reserva abandonada, ni una queja. La escena es hipotética, pero el cambio que representa puede medirse. Una respuesta es una lista corta, con espacio para unos pocos nombres. Si un local queda fuera, su responsable no recibe ninguna señal.

Un estudio publicado como versión preliminar elaboró una lista completa de 4.776 cafeterías, restaurantes y bares en Canggu y sus alrededores y en Ubud, dos zonas de Bali. Después preguntó a cuatro sistemas de IA dónde comer y beber allí. Dentro de ese mercado y con ese método de medición, al menos el 85,6% de esos 4.776 locales nunca fue recomendado por ninguno de los cuatro sistemas. Entre los locales con al menos 50 valoraciones, la proporción de locales nunca recomendados fue del 72,6%.

Ambas cifras describen este registro, en estas dos zonas, en inglés y a través de las interfaces con búsqueda web de estos cuatro sistemas. No son una referencia para otra ciudad, idioma, categoría o aplicación.

Entre 12.439 menciones válidas de locales, los sistemas recomendaron establecimientos cerrados permanentemente 93 veces. Se trataba de 14 locales cuyo cierre se confirmó. Por separado, tras la revisión, un nombre de local se consideró probablemente inventado: aparecía en 10 menciones, el 0,08% de las menciones válidas.

El autor interpreta ese contraste como una señal de que, en esta recopilación de datos, el fallo práctico era la desactualización más que la invención. Leído con cuidado, es una comparación entre dos recuentos dentro de un periodo de siete días, no una clasificación del daño. Ambos recuentos son pequeños y no se hizo seguimiento de ninguno. El estudio observó lo que dijeron los sistemas, no lo que hizo alguien después. Por eso no puede mostrar cuánto le cuesta a un negocio cada tipo de error.

La consecuencia práctica es modesta. Mantener correctos los horarios, la dirección, los precios, la disponibilidad y el estado de cierre vale la pena por sí mismo. El estudio no demuestra que corregirlos haga que un local aparezca, llegue al primer puesto o atraiga a alguien al establecimiento.

El artículo es una versión preliminar pública y no ha pasado por revisión por pares. La fase confirmatoria abarcó 2.208 ejecuciones durante siete días y produjo 12.439 menciones válidas de locales. Se utilizaron 96 consultas en inglés adaptadas a perfiles de usuario y dirigidas a ChatGPT, Claude, Gemini y Perplexity mediante API con búsqueda web, no mediante sus aplicaciones de consumo. El diseño, las hipótesis y el plan de análisis se prerregistraron públicamente antes de recopilar los datos confirmatorios. Así resulta más fácil distinguir las pruebas previstas de las explicaciones elegidas después de ver los resultados.

Las asociaciones con la entrada se expresan como razones de posibilidades, también llamadas odds ratios, de un modelo ajustado: volumen de reseñas, 1,64; web propia, 1,92; precio publicado, 1,54; menciones en webs de terceros, 1,44; y puntuación, 0,89, que el autor interpreta como una asociación nula en ese paso. Dentro de las respuestas, la puntuación se asoció con la primera posición con un valor de 1,17. Una razón de posibilidades superior a 1 indica mayores posibilidades relativas dentro de ese modelo. No es una ganancia en puntos porcentuales ni evidencia de causalidad.

También se midió la repetibilidad, y las cifras pueden malinterpretarse. Al hacer de nuevo la misma pregunta al mismo sistema, este devolvía un conjunto de locales sustancialmente distinto: la similitud media de Jaccard entre ejecuciones repetidas iba de 0,22 para Claude a 0,45 para Gemini. La similitud de Jaccard es la proporción de locales que comparten dos listas respecto al total de locales distintos que aparece en cualquiera de ellas. Un valor de 1 significa que las listas son idénticas; 0, que no comparten ninguno. Por tanto, una media de 0,30 indica que un par típico de ejecuciones compartía aproximadamente un tercio de los nombres considerados. No significa que se obtuviera la misma respuesta el 30% de las veces. Medido del mismo modo, el solapamiento entre los 20 primeros locales de sistemas diferentes iba de 0,33 a 0,54. Una nueva prueba dos semanas después produjo una rotación de nombres comparable a la de las repeticiones dentro del periodo original, algo que el autor atribuye a la variación del muestreo y no al cambio a lo largo del tiempo.

El método de medición tenía sus propios límites. El número de repeticiones variaba por sistema: Perplexity se ejecutó 10 veces por consulta, ChatGPT y Gemini 5 veces, y Claude 3 veces. En el caso de Claude, cada ejecución estaba limitada a dos búsquedas. Tras las correcciones, la validez según el criterio estricto por ejecución fue del 91,5%. La identificación de los locales tuvo una precisión aproximada del 98% al 99%, no perfecta.

Norly financió y realizó el estudio, y vende herramientas de gestión de reseñas y visibilidad en IA para negocios de hostelería. El autor declara ese interés comercial y describe las medidas de prerregistro y validación destinadas a proteger la independencia del trabajo. Esas medidas no hacen desaparecer el conflicto comercial. Obenan trabaja en la misma categoría, por lo que esta evidencia, incluida nuestra interpretación, merece el mismo cuidado.