Una acción que podría tener importantes consecuencias regulatorias está en marcha. Cloudflare, una empresa de infraestructura web, ha actualizado los archivos robots.txt de millones de sitios web con el objetivo de presionar a Google para que modifique la forma en que rastrea estos sitios para alimentar sus productos e iniciativas de inteligencia artificial.
Para comprender mejor esta situación, se entrevistó al CEO de Cloudflare, Matthew Prince, para conocer los detalles, la importancia de este movimiento y cómo podría evolucionar la web en el futuro. Sin embargo, es necesario contextualizar la situación.
Esta nueva política, denominada por Cloudflare como su Política de Señales de Contenido, surge tras las quejas de editores y otras empresas que dependen del tráfico web sobre las “AI Overviews” (Resúmenes de IA) de Google y otros motores de respuesta basados en IA. Estas empresas argumentan que estas herramientas están reduciendo drásticamente sus ingresos al no redirigir el tráfico a la fuente original de la información.
Si bien ha habido demandas y esfuerzos para crear nuevos mercados que garanticen una compensación justa, pocas empresas tienen la influencia de Cloudflare. Sus productos y servicios respaldan aproximadamente el 20% de la web, lo que representa una porción significativa de los sitios web que aparecen en los resultados de búsqueda o que alimentan los modelos de lenguaje grandes.
“Casi todas las empresas de IA razonables están diciendo: ‘Si hay igualdad de condiciones, estaremos encantados de pagar por el contenido'”, afirmó Prince. “El problema es que todas le tienen terror a Google, porque si Google obtiene el contenido gratis, pero todos los demás tienen que pagar por él, siempre estarán en desventaja”.
Esto ocurre porque Google está utilizando su posición dominante en las búsquedas para asegurarse de que los editores web permitan que su contenido se utilice de formas que quizás no deseen.
Las Normas Cambiantes de la Web
Desde 2023, Google ha ofrecido a los administradores de sitios web una forma de excluir su contenido del uso para entrenar los modelos de lenguaje grandes de Google, como Gemini.
Sin embargo, permitir que las páginas sean indexadas por los rastreadores de búsqueda de Google y se muestren en los resultados implica aceptar que también se utilizarán para generar “AI Overviews” en la parte superior de las páginas de resultados, a través de un proceso llamado generación aumentada de recuperación (RAG).
Esta situación es diferente para muchos otros rastreadores, lo que convierte a Google en un caso atípico entre los principales actores.
Este es un punto conflictivo para una amplia gama de administradores de sitios web, desde sitios de noticias que publican periodismo hasta bancos de inversión que producen informes de investigación.
Un estudio de julio del Pew Research Center analizó datos de 900 adultos en los EE. UU. y descubrió que las “AI Overviews” reducen las referencias casi a la mitad. Específicamente, los usuarios hicieron clic en un enlace en una página con “AI Overviews” en la parte superior solo el 8% de las veces, en comparación con el 15% de las páginas de resultados de los motores de búsqueda sin esos resúmenes.
Además, un informe en The Wall Street Journal citó una amplia gama de fuentes, incluidas métricas de tráfico interno de numerosas publicaciones importantes como The New York Times y Business Insider, para describir caídas en todo el sector en el tráfico del sitio web que, según esos editores, estaban vinculadas a los resúmenes de IA, lo que provocó despidos y cambios estratégicos.
En agosto, la jefa de búsqueda de Google, Liz Reid, cuestionó la validez y la aplicabilidad de los estudios e informes de los editores sobre la reducción de los clics en los enlaces en la búsqueda. “En general, el volumen total de clics orgánicos de la Búsqueda de Google a los sitios web se ha mantenido relativamente estable año tras año”, escribió, y continuó diciendo que los informes de grandes disminuciones “a menudo se basaban en metodologías defectuosas, ejemplos aislados o cambios de tráfico que ocurrieron antes del lanzamiento de las funciones de IA en la Búsqueda”.
Los editores no están convencidos. Penske Media Corporation, propietaria de marcas como The Hollywood Reporter y Rolling Stone, demandó a Google por las “AI Overviews” en septiembre. La demanda afirma que los ingresos por enlaces de afiliados han disminuido en más de un tercio en el último año, debido en gran parte a las descripciones generales de Google, una escasez amenazante en un negocio que ya tiene márgenes difíciles.
La demanda de Penske señaló específicamente que, debido a que Google agrupa la indexación tradicional de los motores de búsqueda y el uso de RAG, la empresa no tiene más remedio que permitir que Google siga resumiendo sus artículos, ya que cortar por completo las referencias de búsqueda de Google sería financier
Fuente original: ver aquí