Cloudflare ha lanzado la beta privada de AI Index, un innovador índice web diseñado para la generación de dominios. Este avance, que permite que los contenidos sean descubiertos por la inteligencia artificial con control del editor, ha sido presentado como una solución que beneficia tanto a los creadores de contenido como a los desarrolladores de IA. La propuesta se centra en ofrecer acceso estructurado y en tiempo real, asegurando compensaciones justas para los editores.
El concepto sobre el que se basa AI Index es claro y ambicioso: en un futuro donde la web será consultada por modelos y agentes de inteligencia artificial, es crucial que los sitios web tengan la capacidad de decidir cómo se accede a su contenido. Esto implica establecer reglas claras y habilitar opciones de monetización. Para los equipos de IA, esto supone la capacidad de suscribirse a cambios en los contenidos «de origen» sin necesidad de realizar rastreos indiscriminados.
La activación de AI Index permite a Cloudflare crear automáticamente un índice optimizado para IA de los dominios de sus clientes. Este índice ofrece APIs estándar y se integra con AI Crawl Control, lo que permite a los editores ver quién accede a su contenido, definir permisos, establecer políticas y, si lo desean, cobrar por el acceso mediante opciones como Pay per crawl.
Las innovaciones tecnológicas de esta propuesta se centran en la transición de un modelo de web «rastreada» a una web «suscrita». Ante el creciente uso de chatbots y agentes para la búsqueda de información, el actual modelo de rastreo indiscriminado ha mostrado claras desventajas, como el escaso control de los creadores sobre el acceso a su contenido y los elevados costos para los equipos de IA. Cloudflare propone un sistema donde los sitios pueden ofrecer un índice estructurado y permitir el acceso a través de un sistema de suscripción, estableciendo reglas y precios claros.
AI Index al ser activado en un dominio ofrece procesamiento en tiempo real de páginas, control granular sobre qué contenido incluir o excluir y APIs estándar para su consumo. Esto se complementa con herramientas para monetización directa, ofreciendo a los propietarios de los sitios control total sobre su contenido.
Para los desarrolladores de IA, este sistema les permite descubrir sitios que han optado por exponer sus índices, evaluar la calidad del contenido antes de acceder a él y recibir actualizaciones en tiempo real, lo que reduce significativamente los costos asociados con el rastreo masivo.
Cloudflare también planea lanzar Open Index, una colección agregada de índices individuales, que permitirá búsquedas amplias sin perder el control de los sitios participantes ni su capacidad para obtener ingresos por su contenido.
En resumen, este nuevo servicio busca establecer un marco más equilibrado para la web generativa, asegurando que los creadores de contenido mantengan el control y puedan monetizar su trabajo, mientras que los desarrolladores de IA pueden acceder a contenido de alta calidad de manera eficiente y estructurada. La beta privada ya está disponible para los editores interesados en probar esta innovadora solución.
Más información y referencias en Noticias Cloud.
