Wikipedia lucha contra los rastreadores voraces que consumen ancho de banda Wikimedia ha registrado un aumento del 50 por ciento en el ancho de banda utilizado para descargar contenido multimedia desde enero de 2024, según la fundación. Sin embargo, este aumento no se debe a un repentino apetito voraz de los lectores humanos por consumir Wikipedia, sino a los rastreadores de IA que raspan imágenes, videos, artículos y archivos autorizados por Wikimedia para capacitar modelos de inteligencia artificial. Este aumento en el tráfico de robots podría ralentizar el acceso a las páginas y activos de Wikimedia, especialmente durante eventos de alto interés. Wikimedia está preparada para soportar picos de tráfico de lectores humanos durante estos eventos, pero el excesivo tráfico generado por los rastreadores presenta riesgos y costos crecientes. La fundación explicó que el 65 por ciento del tráfico que recibe proviene de robots, lo que causa constantes interrupciones para su equipo. Wikimedia está trabajando en establecer formas sostenibles para que los desarrolladores y reutilizadores accedan a su contenido en el futuro, ya que no se vislumbra una disminución en el tráfico de robots en un futuro cercano.
Wikimedia ha informado que el 50 por ciento del ancho de banda utilizado para descargar contenido multimedia en enero de 2024 ha sido registrado por la fundación. Sin embargo, este aumento no se debe a un mayor interés de los lectores humanos en consumir contenido de Wikipedia y Wikimedia Commons, sino más bien a la actividad de programas automatizados como los AI de Crawler, que raspan imágenes, videos, artículos, y otros archivos autorizados por Wikimedia para entrenar modelos de inteligencia artificial.
Este repentino aumento en el tráfico generado por robots podría resultar en un acceso más lento a las páginas y activos de Wikimedia, especialmente durante eventos de gran interés. Por ejemplo, cuando falleció Jimmy Carter en diciembre, el interés en el video de su debate presidencial con Ronald Reagan causó tiempos de carga lentos para algunos usuarios. A pesar de que Wikimedia puede manejar los picos de tráfico de lectores humanos durante estos eventos, el incremento sin precedentes en el tráfico generado por los robots presenta desafíos y costos crecientes.
La fundación explicó que los lectores humanos tienden a buscar temas específicos y similares, lo que permite a Wikimedia crear un caché de contenido solicitado con frecuencia en el centro de datos más cercano al usuario para servirlo más rápido. Sin embargo, los artículos y contenido menos accesibles deben ser atendidos desde el Centro de Datos Básicos, lo que consume más recursos y, por lo tanto, implica mayores costos para Wikimedia. Los rastreadores, al acceder a páginas menos populares, requieren atención desde el centro de datos básico.
Wikimedia reveló que el 65 por ciento del tráfico recibido por el recurso proviene de robots, lo que representa una constante interrupción para el equipo de confiabilidad del sitio web. Esto ha llevado a la necesidad de bloquear estos bots para evitar ralentizar significativamente la experiencia de los lectores reales. La fundación reconoce que la expansión del tráfico generado por robots ha ocurrido sin una atribución adecuada, lo cual es esencial para atraer nuevos usuarios y garantizar la sostenibilidad del movimiento.
Wikimedia está trabajando para establecer formas sostenibles para que los desarrolladores y reutilizadores accedan a su contenido en el próximo año fiscal, ya que no se vislumbra una disminución en el tráfico relacionado con los bots en el futuro cercano. Este artículo originalmente apareció en Engadget en.
FUENTE
