La inteligencia artificial colapsará en unos años.
Este artículo fue publicado originalmente en inglés.
Un nuevo estudio advierte que los modelos generados por IA podrían colapsar a medida que dependan cada vez más del contenido generado por IA para su entrenamiento.
Los modelos de inteligencia artificial (IA) podrían encontrar un nuevo problema pronto a medida que el contenido generado por IA se difunde cada vez más por Internet. El grandes patrones lingüísticos (LLM), como ChatGPT de OpenAI, se han basado en datos disponibles en línea para entrenar y mejorar sus modelos. Sin embargo, dado que estos modelos evacuan datos disponibles en línea o enfrentan mayores restricciones en el acceso a los datos, se les puede capacitar con contenido generado por IA.
Según un nuevo estudio, esto podría conducir a una degradación del rendimiento de modelos y eventualmente llevaría a la producción de contenidos incoherentes, un fenómeno conocido como «colapso del modelo». «Con el tiempo, anticipamos que habrá más modelos difíciles de entrenar aunque probablemente tengamos más datos, simplemente porque es muy fácil tomar datos de los modelos», explica Ilia Shumailov, investigador junior de la Universidad de Oxford y coautor del estudio, para «Euronews Next». “Pero lo que sucederá es que será más difícil encontrar una población de datos que no es realmente parcial”, añadió. El estudio, publicado en la revista «Nature», analiza lo que está pasando cuando los modelos entrenan con datos generados por IA durante varios ciclos.
La investigación encontró que los sistemas están comenzando a cometer errores importantes y caer en un sinsentido. otro articulo por Emily Wenger, investigadora de Universidad de Duke, lo demuestra a través de un experimento en el que un modelo de IA se entrena continuamente con contenido generado por IA.
En el experimento, se proporcionó a un modelo de IA un conjunto de datos que contenía fotografías de diferentes razas de perros, con una sobrerrepresentación de los golden retrievers. El estudio encontró que era más probable que el modelo generara imágenes de golden retrievers que otras razas de perros menos representadas. A medida que avanza el ciclo, el modelo dejó fuera otras razas hasta que empezó a generar imágenes sin sentido.
Etapas del «colapso del modelo» en inteligencia artificial
“El colapso del modelo tiene dos etapas. La primera es la que llamamos la etapa inicial del colapso del modelo y lo que sucede es que cuando un modelo aprende de otro, lo primero que se ve es una reducción de la varianza», explica Shumailov. Esto da como resultado un sobremuestreo de ciertos aspectos mientras que otros aspectos importantes simplemente se descuidan. porque no estaban del todo claros para el modelo inicial. Aquí es cuando los modelos de IA ya no sirven por culpa de los modelos anteriores introduce sus propios errores en datos. Los errores presentes en los datos iniciales se pasan al siguiente modelo, que agrega su propio conjunto de errores y lo transmite también. A medida que los datos se producen y reciclan continuamente, Los modelos comienzan a malinterpretar la realidad y cometer más errores. “Si hay algunos errores en los datos generados por el modelo uno, básicamente se propagan al siguiente modelo. Y por último, El resultado es que el modelo malinterpreta la realidad. explica Shumailov.
Tipos de errores en los modelos de IA
Según Shumailov, hay tres tipos de errores que pueden cometer los modelos: errores de arquitectura, errores de proceso de aprendizaje y errores estadísticos. Los errores arquitectónicos ocurren cuando la estructura del modelo de IA no es adecuada para capturar todas las complejidades de los datos que se le proporcionan, provocando inexactitudes porque el modelo malinterpreta o simplifica demasiado algunas partes. Los errores en el proceso de aprendizaje ocurren cuando los métodos utilizados para la capacitación Los modelos tienen sesgos inherentes. lo que empuja al modelo a cometer ciertos tipos de errores.
Implicaciones del ‘colapso del modelo’
Cuando los modelos fallan, la principal preocupación es que Reduzca el ritmo de mejora de su rendimiento. Los modelos de IA dependen en gran medida de la calidad de los datos con los que se entrenan. Sin embargo, cuando se entrena con contenido generado por IA, estos datos se alimentan continuamente errores en el sistema. «Probablemente tendremos que hacer un esfuerzo extra para filtrar los datos. Y eso probablemente implicará una desaceleración de la mejora», dijo Shumailov. Además, a medida que la varianza disminuye y los datos se vuelven menos diversos, se espera que los datos subrepresentados se vean afectados de manera desproporcionada, planteando dudas sobre la inclusión de modelos de IA. «Tenemos que ser extremadamente cuidadoso para asegurarnos de que nuestros modelos sean correctos y no perdamos de vista los datos minoritarios que contienen», afirma Shumailov.
FUENTE
