AGI es tan de la vieja escuela
Devansh, 30 abril 2024, MEDIUM
Los modelos Single Expert son tan del 2019. Si está buscando crear una IA poderosa, considere usar modelos mixtos.
La imagen a continuación está tomada de la excelente publicación “ Modelado de distribuciones heterogéneas con una mezcla incontable de laplacianos asimétricos ”. Los autores generaron datos sintéticos de distribución múltiple. Estas distribuciones son muy difíciles para modelos de IA únicos, sin importar cuán buenos sean los modelos. Sin embargo, utilizando una combinación de diferentes modelos se puede modelar esto perfectamente.
“En las tareas de regresión, la incertidumbre aleatoria se aborda comúnmente considerando una distribución paramétrica de la variable de salida, que se basa en supuestos sólidos como simetría, unimodalidad o suponiendo una forma restringida. Estos supuestos son demasiado limitados en escenarios donde están presentes formas complejas, fuertes sesgos o modos múltiples…. Demostramos que UMAL produce distribuciones adecuadas, lo que nos permite extraer conocimientos más ricos y afinar la toma de decisiones”.
Esto tiene utilidad en casos de uso muy importantes del mundo real. Por ejemplo, Google AI pudo aprovechar una combinación de modelos laplacianos combinados con LSTM para mejorar significativamente los pronósticos de inundaciones para 460 millones de personas.
Así es como los investigadores describen su arquitectura:
Nuestro modelo de pronóstico de ríos utiliza dos LSTM aplicados secuencialmente: (1) un LSTM «hindcast» ingiere datos meteorológicos históricos (características dinámicas de pronóstico retroactivo) hasta el momento actual (o más bien, el momento de emisión de un pronóstico), y (2) un » pronóstico” LSTM ingiere estados del LSTM retrospectivo junto con datos meteorológicos pronosticados (características de pronóstico dinámico) para hacer predicciones futuras. Se ingresa un año de datos meteorológicos históricos en el LSTM retrospectivo y siete días de datos meteorológicos pronosticados se ingresan en el LSTM de pronóstico . Las características estáticas incluyen características geográficas y geofísicas de las cuencas hidrológicas que se ingresan en los LSTM de pronóstico y retrospectiva y permiten que el modelo aprenda diferentes comportamientos y respuestas hidrológicos en varios tipos de cuencas hidrológicas.
Los resultados del pronóstico LSTM se introducen en una capa de “cabeza” que utiliza redes de densidad de mezcla para producir un pronóstico probabilístico (es decir, parámetros predichos de una distribución de probabilidad sobre el flujo de la corriente). Específicamente, el modelo predice los parámetros de una combinación de funciones de densidad de probabilidad de cola pesada, llamadas distribuciones laplacianas asimétricas , en cada paso de tiempo de pronóstico. El resultado es una función de densidad de la mezcla, llamada distribución de mezcla contable de laplacianos asimétricos (CMAL), que representa una predicción probabilística del caudal volumétrico de un río particular en un momento particular.
Aquí se utiliza la mezcla contable de laplacianos asimétricos para modelar mejor la incertidumbre. Para leer más sobre cómo Google usa CMAL, consulte el artículo a continuación:
