Sanjeev Mohan, Medium, diciembre 2023

Al concluir el año 2023, todos podemos estar de acuerdo en que el mundo cambió irreversiblemente con la introducción de ChatGPT. Este impulso tampoco muestra signos de desaceleración, ya que la integración de la IA continúa avanzando con furia incesante. Sin embargo, la forma en que reaccionamos ante estos tiempos cambiantes requiere un acto de fe. La IA puede ser potencialmente transformadora y elegantemente inexacta, ¡todo al mismo tiempo! Pero nuestro futuro no es sólo la IA, porque todavía tenemos que seguir mejorando en la gestión de datos.

Es un rito de iniciación para que los proveedores de software, los expertos de la industria y los analistas ofrezcan sus predicciones para el próximo año. Sin embargo, con tanto flujo de noticias, resulta complicado para un líder empresarial consolidarse y trazar una imagen completa de lo que se avecina. El problema con las predicciones es que un nuevo avance importante puede hacerlas inadecuadas. En diciembre de 2022, ChatGPT tenía solo unos días y, naturalmente, la mayoría de las predicciones no lograron captar su gigantesco impacto en las prioridades de 2023.

En este documento, en lugar de predicciones, Rajesh Parikh y Sanjeev Mohan exploran las principales tecnologías que captarán nuestra atención en 2024, con especial énfasis en aquellas que podrían surgir el próximo año. Los lectores deberían utilizarlo como guía para identificar prioridades y preparar a sus organizaciones para elegir las apuestas correctas.

La Figura 1 muestra un resumen de las tendencias de 2024 que se clasifican como crecientes, estables y decrecientes:

• En ascenso : la aparición de nuevas soluciones y el crecimiento de las actuales abren las puertas a plataformas y aplicaciones innovadoras centradas en la IA que nos llevarán de copilotos a agentes autónomos.
• Estable: Iniciativas existentes de los últimos años que probablemente continuarán con un impulso estable en 2024, ya que sigue existiendo una necesidad fundamental de esas soluciones.
• Decreciente : estas tendencias fueron fuertes durante 2023 y es probable que pierdan impulso por razones como que son difíciles de usar en la práctica, ofrecen un enfoque fragmentado o son demasiado idealistas en implementaciones en el mundo real.

Así como ChatGPT se lanzó en los últimos días de 2022, los últimos días de 2023 han sido testigos del sorprendente lanzamiento de LLM multimodales y modelos de lenguaje pequeño integrados en dispositivos de borde. Este ritmo de innovación no tiene precedentes incluso en el dinámico espacio de TI al que todos estamos acostumbrados. Comencemos con las tendencias crecientes.

Tendencias crecientes

Las tendencias crecientes de 2024 tienen que ver con la plomería y la activación, especialmente para la IA con un enfoque en la calidad de los datos, la arquitectura de la plataforma y la gobernanza. Los agentes autónomos y los asistentes de tareas que desempeñan múltiples funciones de información pueden potencialmente automatizar parcial o totalmente la actividad necesaria. Además, las herramientas para generar conjuntos de datos de alta calidad pueden alimentar modelos en constante mejora en diversas etapas del ciclo de vida del desarrollo del modelo de IA. Hemos identificado cuatro tendencias crecientes para 2024:

1. Plataforma de datos inteligente
2. Agentes de IA
3. Pila de IA personalizada
4. Gobernanza de la IA

Plataforma de datos inteligente

Hoy en día, las plataformas de datos son en gran medida una pila de “sistemas de registro”, que reúnen datos de una variedad de bases de datos y aplicaciones empresariales en un repositorio común. El principal caso de uso actual de esta pila son los informes y el análisis y, en muy pocos casos, la automatización basada en datos. ¿Qué podría ser mejor que infundir inteligencia dentro de la plataforma de datos para acelerar la adopción de productos y aplicaciones de datos de IA en toda la empresa?

Definimos una plataforma de datos inteligente como aquella en la que la infraestructura del modelo de lenguaje grande (LLM) es parte de la plataforma de datos central. Esta capa de inteligencia se puede utilizar para infundir inteligencia en dos tipos de aplicaciones:

1. Aplicaciones de datos centrales : estas aplicaciones incluyen operaciones de datos impulsadas por IA, agentes de descubrimiento y búsqueda semántica, herramientas de ingesta asistidas por IA, preparación y transformación de datos asistidas por IA y agente de IA conversacional para análisis de datos. El grado de automatización de dichas aplicaciones sólo mejora a medida que el agente razona aprendiendo de los errores .
2. Aplicaciones inteligentes : los agentes inteligentes de IA son la segunda tendencia creciente que identificamos en este documento.

La Figura 2 muestra el diagrama de una plataforma de datos inteligente junto con agentes y aplicaciones de IA.

Una plataforma de datos inteligente es la próxima evolución del entorno actual de plataforma de datos centrada en almacenes/lagos. Junto con la necesidad de simplificar la interfaz de consumo, las aplicaciones inteligentes impulsarán la próxima década de productividad. En 2024, las empresas deberán analizar detenidamente la arquitectura actual de su plataforma de datos y abordar los desafíos relacionados con los silos de datos, la calidad y duplicación de los datos, y la fragmentación de los componentes de la pila. Los datos y metadatos seleccionados y de alta calidad son clave para el éxito de las iniciativas de IA generativa. Una plataforma de datos inteligente, junto con las aplicaciones de datos asociadas, está preparada para proporcionar la base de datos y la infraestructura de capa de modelado para la habilitación de casos de uso de IA.Los datos y metadatos seleccionados y de alta calidad son clave para el éxito de las iniciativas de IA generativa.Una plataforma de datos inteligente, junto con las aplicaciones de datos asociadas, está preparada para proporcionar la base de datos y la infraestructura de capa de modelado para la habilitación de casos de uso de IA.

Agentes de IA

El término “agente de IA” se convirtió en una palabra de moda durante la segunda mitad de 2023. Un agente de IA es un programa o sistema que puede percibir su entorno, razonar, dividir una tarea determinada en un conjunto de pasos, tomar decisiones y tomar decisiones. acciones para lograr esas tareas específicas de forma autónoma, tal como lo hacen los humanos.

El santo grial de la comprensión del lenguaje significaba que los humanos podían conversar, dirigir e interactuar con los programas de IA a través de la interfaz de lenguaje natural. Pero, ¿podrían los programas de IA hacer más que ayudar y responder preguntas relacionadas con tareas de información, como buscar, extraer o generar código y/o imágenes?

¿Pueden los agentes de IA ampliar la frontera de la automatización de tareas que hoy necesita mucha más intervención humana y tareas cognitivas que requieren pensamiento, razonamiento y resolución de problemas de alto nivel? Por ejemplo, realizar tareas como análisis de mercado, evaluación de riesgos y optimización de carteras de inversiones. O bien, realice tareas complejas que hasta el momento era poco probable que se automatizaran debido a la complejidad o al costo.

Ciertamente existe un incentivo económico para probar la capacidad de los agentes/tecnologías de IA del momento para asumir tareas que mejoren significativamente la productividad empresarial y la interfaz hombre-máquina.

Intentos de investigación anteriores trabajaron en torno a actividades relacionadas con las matemáticas, cadenas/gráficos de pensamientos y marcos de razonamiento de varios pasos basados ​​en LLM para demostrar la capacidad de automatizar una tarea compleja. Estos primeros anuncios estuvieron lejos de lograr lo que se necesita para construir una aplicación de agente de información totalmente autónoma, pero mostraron el potencial de lo que es posible.

La Figura 3 muestra una arquitectura que proporciona un paradigma generalizado que combina avances en razonamiento y actuación y trabajos iniciales en torno a los mismos, como la «cadena de pensamiento», para resolver diversas tareas de razonamiento lingüístico y toma de decisiones. Este acoplamiento de razonamiento y acción con el modelo de lenguaje permite a estos programas realizar tareas de toma de decisiones. Este paradigma se llama «ReAct».

Los agentes de IA podrían ayudar a automatizar tareas de información como análisis de datos, desarrollo de paneles de BI, optimización de procesos, entrada de datos, programación o atención básica al cliente. También pueden automatizar todo el flujo de trabajo, como la optimización de la cadena de suministro y la gestión de inventario. Los pasos que toman los agentes de IA en la Figura 3 se describen a continuación y permiten a los usuarios llevar a cabo dinámicamente una tarea de razonamiento, creando dinámicamente un pensamiento/plan y ajustando el plan de acción, al mismo tiempo que permiten interacciones externas para incorporar información adicional al razonamiento.

1. El primer paso del flujo es seleccionar una tarea y solicitar al LLM que divida una pregunta en un conjunto de pensamientos (subindicaciones).
2. Los pasos 2, 3, 4 permiten además que LLM rompa este montón de pensamientos y piense y razone estos subpensamientos.
3. Los pasos 5 a 8 permiten que LLM lleve a cabo interacciones externas, como extraer información según sea necesario para completar el pensamiento/tarea.
4. La integración de pensamiento/acción de forma libre se utiliza para lograr diferentes tareas, como descomponer preguntas, extraer información, realizar razonamientos de sentido común/aritmético, guiar la formulación de búsqueda y sintetizar la respuesta final.

Los agentes de información de IA es una tendencia que creemos que probablemente se desarrollará durante varios años; sin embargo, dada su promesa, esperamos que 2024 sea el año en el que se lograrán avances significativos tanto en términos de infraestructura/herramientas de agentes como de adopción temprana. Es apropiado señalar que gran parte de la forma en que entendemos el potencial de la arquitectura actual de IA para asumir tareas más complejas todavía tiene que ver en gran medida con el potencial, y hay bastantes problemas sin resolver.

A pesar de esto, las empresas deben aspirar a un enfoque práctico para crear aplicaciones de agentes y, en algún momento, esperar que las brechas con la tecnología de IA actual adopten una automatización cada vez más compleja que probablemente se reducirá con cada año que pasa. También debe tener en cuenta el grado de automatización posible en los próximos 12 meses, caso de uso por caso. Es probable que un camino/viaje evolutivo hacia tales proyectos produzca un éxito mucho mayor con tales esfuerzos.

Pila de IA personalizada

Nuestra tercera tendencia creciente se refiere a personalizar los modelos y/o sus respuestas a través de tres enfoques:

• Modelos de ajuste con más datos contextuales.
• Mejorar los conjuntos de datos utilizados para entrenar o ajustar modelos, incluidos datos sintéticos.
• Uso de la búsqueda vectorial para aprovechar modelos con datos relevantes.

Modelos de ajuste fino

Si bien los modelos fundamentales como el GPT-4 de OpenAI presentan una oportunidad para que las empresas creen prototipos del potencial de los casos de uso del modelo de IA generativa, no abordan suficientemente preocupaciones como la privacidad y la seguridad de los datos corporativos, la apertura de los datos utilizados para entrenar dichos modelos, la capacidad de ajustarlos para requisitos específicos, lograr la precisión deseada para cualquier tarea determinada y la propuesta general de costo-valor.

Para ir más allá de los prototipos y la necesidad de mejores resultados, es probable que veamos el surgimiento de modelos de lenguaje pequeño (SLM) personalizados o específicos de tareas, especialmente en aplicaciones verticales y de nicho. Estos modelos aprovecharán los modelos básicos/preentrenados como punto de partida para entrenar SLM o realizar ajustes con datos de dominio/empresa.

La Figura 4 muestra el ciclo de vida del ajuste de un modelo.

Agilizar el desarrollo de SLM personalizados, lograr la gestión del ciclo de vida de dichos modelos y llevarlos desde la experimentación hasta la implementación sin problemas sigue siendo un desafío:

1. Selección básica de LLM: la disponibilidad de múltiples opciones bien percibidas, pero la falta de una evaluación detallada de respaldo puede hacer que la elección de un modelo base sea confusa y desalentadora.
2. Conjuntos de datos de referencia : se necesitan conjuntos de datos de referencia durante la instrucción y el ajuste fino de RLHF, así como la evaluación y prueba del modelo. La disponibilidad y creación de conjuntos de datos de referencia sigue siendo laboriosa, a menudo subjetiva y en gran medida dependiente de los seres humanos. La disponibilidad de datos sintéticos o específicos de tareas/dominios originales puede acelerar significativamente la velocidad del desarrollo del modelo y reducir el tiempo de desarrollo.
3. Modelo de ajuste fino : uno de los pasos de capacitación clave necesarios para alinear y adaptar el modelo de instrucción ajustado a las expectativas del rendimiento del modelo en el mundo real es aplicar la retroalimentación humana. Este paso permite que el modelo reduzca las alucinaciones, los prejuicios, la toxicidad y mejore la seguridad. El ajuste fino eficiente de parámetros (PEFT) y RLHF son técnicas comunes populares que ayudan a ajustar un LLM base con el contexto específico de la tarea/dominio. Si bien las técnicas disponibles mejoraron significativamente, los conjuntos de datos/pares de respuesta rápida específicos de tarea/dominio de alta calidad y los conjuntos de datos de referencia que incluyen la retroalimentación humana requerida siguen siendo manuales, laboriosos y propensos a la variabilidad debido a la naturaleza creativa de la validación de la respuesta del lenguaje.
4. Probar y evaluar modelo: la evaluación de modelos perfeccionados que funcionan con las complejidades del lenguaje natural depende de la creatividad de la tarea y la evaluación de la respuesta, que a menudo es manual y subjetiva. Si bien actualmente se dispone de diversas métricas y técnicas, a menudo no son suficientes ni justificables para evaluar un modelo. Se utilizan técnicas como una respuesta de otra referencia o modelo superior para generar conjuntos de datos de evaluación de referencia para ayudar a mejorar la eficiencia de la etapa de evaluación. Los modelos también deben probarse en cuanto a seguridad, sesgo y toxicidad.

El éxito de las tareas necesarias para afinar los modelos depende del campo aún inmaduro de la gobernanza de la IA. Una tendencia creciente que se aborda a continuación es la gobernanza de la IA, que es necesaria para proporcionar explicabilidad de los modelos para generar confianza y cumplir con el cumplimiento normativo. También se utiliza para monitorear respuestas rápidas en tiempo real para detectar cualquier degradación del rendimiento, uso responsable, costo y problemas con la confiabilidad del producto.

El aumento de la disponibilidad de herramientas en torno al desarrollo de modelos de IA, la gestión del ciclo de vida, la implementación y el monitoreo que abordan los desafíos anteriores y simplifican el desarrollo del modelo y la gestión del ciclo de vida es clave para el éxito de los SLM y los modelos de tareas específicas.

Tenga en cuenta que los modelos de IA para tareas específicas aún son experimentales y que hay bastantes problemas sin resolver. Como resultado, un número importante de estos experimentos pueden fracasar. A pesar de eso, este es un tema que verá un aumento en las inversiones en todo el ecosistema en 2024.

Ecosistema de datos de alta calidad

Si bien los modelos entrenados en billones de parámetros, como el GPT-4 de OpenAI, aumentan su base de conocimientos, experimentos recientes han demostrado que un modelo mucho más pequeño que utiliza mejores datos puede superar lo que OpenAI ahora llama los LLM muy grandes como “modelos de frontera”. «

La disponibilidad de conjuntos de datos de alta calidad para modelos generales y personalizados que estén libres de privacidad y derechos de autor sigue siendo una gran preocupación. La mayor parte de la formación previa al LLM se basa en conjuntos de datos recopilados en Internet, libros y algunos conjuntos de datos experimentales que tienen su origen en el mundo académico o la investigación. Si bien hay algunos conjuntos de datos que se pueden obtener para la etapa de ajuste, la elección de conjuntos de datos fácilmente disponibles se reduce aún más dependiendo de la tarea/dominio.

A menudo, simplemente no hay datos suficientes para siquiera entrenar un modelo. Tomemos el ejemplo del fraude. Presumiblemente, las organizaciones no están plagadas de fraude desenfrenado y, por lo tanto, tienen una visibilidad limitada de los escenarios de fraude. Pero necesitan entrenar un modelo utilizando una amplia gama de posibilidades de fraude. Los datos sintéticos son la respuesta para hacer que estén disponibles datos de alta calidad para mejorar la velocidad de investigación y desarrollo de LLM.

Los datos sintéticos se pueden definir como datos que no se obtienen directamente de ningún dato del mundo real, sino que se crean artificialmente imitando las propiedades y características de los datos del mundo real. Los conjuntos de datos sintéticos podrían ser la respuesta para hacer que los datos de alta calidad estén disponibles para mejorar la velocidad de investigación y desarrollo de LLM en muchos casos de uso.

Una de las principales ventajas del uso de datos sintéticos es que protege la privacidad del usuario final, cumple con las cuestiones de derechos de autor y permite a las empresas cumplir con los requisitos de privacidad de la fuente original. También evita la divulgación involuntaria de información, mientras continúa avanzando en la investigación y el desarrollo de modelos. Los datos sintéticos son importantes para satisfacer la necesidad cada vez mayor de entrenar modelos de lenguaje grandes. Con la solución adecuada, los datos de alta calidad necesarios para grandes modelos de lenguaje se pueden resolver de manera rentable y permitir un impulso sostenido en la investigación de IA y el desarrollo y evaluación de modelos. Hay ideas sobre cómo generar conjuntos de datos sintéticos utilizando los propios modelos de frontera. No obstante, está claro que la creación y el uso de conjuntos de datos sintéticos tienen el potencial de resolver la necesidad de más datos para modelos cada vez más hambrientos.

Entendemos que, dada la naturaleza de la tarea, existen serios incentivos para que dicha línea de ecosistema/servicio desempeñe un papel en la solución de la necesidad de conjuntos de datos de alta calidad. En la actualidad, varias empresas emergentes y proveedores de servicios se dedican exclusivamente a proporcionar datos de imágenes y texto anotados en torno a las necesidades generalizadas de datos de capacitación. Sin embargo, existe la posibilidad de ampliar aún más esos servicios para incluir una larga cola de conjuntos de datos específicos de dominios/tareas. Es probable que esta tendencia cobre impulso en 2024.

Bases de datos vectoriales integradas

Elegir una base de datos vectorial es un desafío. Hay una variedad de factores en juego que incluyen escalabilidad, latencia, costos, consultas por segundo, etc. El caso de uso principal de las bases de datos tradicionales es realizar consultas por palabras clave frente a buscar utilizando el contexto. Es probable que la mayoría de las aplicaciones empresariales necesiten ambas funcionalidades. Por lo tanto, la elección es la introducción de una capacidad de base de datos vectorial dentro del DBMS tradicional.

La mayoría de las futuras aplicaciones empresariales de IA deberán funcionar con datos estructurados y no estructurados. La gestión de múltiples bases de datos genera ineficiencia, posibles condiciones de carrera, inconsistencias de datos entre los datos OLAP y los índices vectoriales en bases de datos vectoriales y gastos generales de administración y posibles condiciones de carrera que conducen a inconsistencias en los datos.

Por lo tanto, una base de datos vectorial integrada es más adecuada para aplicaciones que necesitan las mejores capacidades de consulta junto con la búsqueda semántica. Por ejemplo, una base de datos vectorial no sólo puede incorporar los informes financieros de una organización, sino también indexar estos modelos de datos y almacenarlos en la misma base de datos, al tiempo que ofrece capacidades de búsqueda semántica/de similitud.

Al ver esta nueva oportunidad de carga de trabajo, muchos DBMS y Lakehouse están incorporando funciones de búsqueda e incrustación de vectores en sus ofertas existentes. Las bases de datos integradas/casas del lago con funcionalidad de búsqueda semántica probablemente ganarán más fuerza en 2024 a medida que las empresas creen e implementen casos de uso de LLM.

La técnica más común para crear aplicaciones de IA es la generación aumentada de recuperación (RAG), que combina LLM y datos comerciales privados para brindar respuestas a preguntas en lenguaje natural. RAG integra un flujo en el que primero se buscan similitudes en los datos vectorizados antes de invocar la API de finalización de LLM, lo que genera una mayor precisión de respuesta.

Vemos dos tendencias que afectan el caso de uso de RAG. Uno tiene que ver con el tamaño cada vez mayor del contexto LLM que puede tomar los datos de entrada directamente sin la necesidad de enrutarlos a través de una base de datos. Esto reduce la necesidad de realizar el paso adicional (y complejo) de RAG. Sin embargo, esto no reduce la necesidad de bases de datos vectoriales, ya que filtran previamente las indicaciones para los LLM, lo que hace que las aplicaciones de IA sean rentables y eficientes. También pueden almacenar en caché las indicaciones y sus respuestas, lo que evita llamadas API costosas e innecesarias a los LLM para consultas duplicadas. Estos datos seleccionados se pueden utilizar en el futuro para ajustar los SLM de la organización.

La segunda tendencia tiene que ver con el auge de modelos multimodales que pueden complicar más el proceso RAG. Pero esperamos que en 2024 la funcionalidad RAG mejore mediante el uso de productos de terceros como LangChain y LlamaIndex.

Gobernanza de la IA

Los ejecutivos están pidiendo a sus líderes que aceleren los proyectos de IA, ya que están interesados ​​en extraer conocimientos sin precedentes de todos sus activos de datos, estructurados y no estructurados. Sin embargo, los líderes de TI saben que aplicar la IA a la infraestructura de datos subyacente no es nada sencillo. Saben que el éxito de las aplicaciones de IA depende de garantizar la calidad, la seguridad, la privacidad y la gobernanza de los datos. De ahí la necesidad de una gobernanza de la IA. Pero que es exactamente?

La gobernanza de la IA, al igual que su prima, la gobernanza de datos, requiere una definición común. De hecho, la gobernanza de la IA debería ir de la mano de la gobernanza de los datos.

En comparación con la IA tradicional, que estaba en el ámbito de unos pocos científicos de datos, la IA generativa tiene una gama mucho más amplia de usuarios. Además, la generación AI ha introducido nuevos conceptos de búsqueda de vectores, RAG e ingeniería rápida. Por lo tanto, la gobernanza moderna de la IA debe satisfacer las necesidades de múltiples personas, como propietarios y validadores de modelos, equipos de auditoría, ingenieros de datos, científicos de datos, ingenieros de MLOps, equipos de cumplimiento, privacidad y seguridad de datos, etc.

Al más alto nivel, la gobernanza de la IA debe aplicarse en dos niveles

• Entrenamiento o ajuste de modelos : las tareas de gobernanza incluyen la identificación de las fuentes de datos correctas, su fidelidad, la deriva de los datos, las ponderaciones del modelo y los resultados de la evaluación. La capacidad de comparar métricas de modelos entre versiones puede ayudar aún más a comprender las tendencias en el rendimiento del modelo. Específicamente, los costos de capacitación por iteración del uso de diferentes modelos en CPU y GPU son consideraciones importantes para la gobernanza de la IA. Actualmente, hay muy pocos proveedores que participen en la capacitación del modelo básico debido a los altos requisitos de recursos. Muchos más equipos están realizando ajustes a medida que esos costos han disminuido en los últimos tiempos. A medida que los costos bajen aún más, es posible que veamos más organizaciones o departamentos entrenando sus propios modelos.
• Uso/inferencia del modelo : las tareas de gobernanza deben garantizar un uso empresarial seguro. Las tareas incluyen la identificación de riesgos y su mitigación, la explicabilidad de los modelos, los costos y el rendimiento del uso de modelos de IA para lograr los objetivos del caso de uso empresarial.

La Figura 5 muestra los componentes básicos del programa de gobernanza de la IA.

El programa de gobernanza de la IA se compone de cuatro componentes básicos:

Descubrimiento de modelos

Los modelos están proliferando a un ritmo rápido, lo que refleja la naturaleza dinámica y en constante expansión del campo. A finales de 2023, Hugging Face se acercaba al medio millón de modelos . El problema es que cuando estos aparecen en su marco de IA, como Vertex Model Garden de Google Cloud o AWS Bedrock, los desarrolladores expertos comenzarán a utilizar algunos de ellos, con o sin la aprobación de los equipos de cumplimiento y gestión de riesgos. Para superar esto, muchos han comenzado a adoptar catálogos de modelos.

Aquí, el propósito del catálogo es descubrir qué modelos están en uso, sus números de versión y su estado de aprobación. También documenta el propietario del modelo, su propósito y uso. Para los modelos aprobados, el catálogo mostrará qué conjuntos de datos se utilizaron para entrenar los modelos, cómo se evaluaron los modelos y su puntuación de equidad. Los cuadros de mando de riesgos capturan las vulnerabilidades del modelo y sus impactos, y deben revisarse periódicamente para garantizar que los riesgos estén dentro de los umbrales.

Idealmente, un catálogo de modelos debería ser una extensión del catálogo de datos para que no haya una fragmentación de los datos y la gobernanza de la IA.

Consumo del modelo

En el consumo de modelos, el foco de la gobernanza de la IA está en mapear los casos de uso empresarial con los modelos aprobados e identificar los riesgos de seguridad de los datos. Esta sección de gobernanza de la IA aborda las preocupaciones relacionadas con el uso inseguro de datos corporativos, la inyección rápida y la pérdida de datos.

También es responsable de rastrear todo el linaje del ciclo de vida del modelo con pasos como aprobaciones del departamento legal, CISO, CDO, auditores, etc., hasta el retiro del modelo. Con controles implementados, se acelera la implementación de modelos en producción.

Las herramientas de gobernanza deberían permitir no sólo la identificación de riesgos en áreas como sesgo, toxicidad, deriva o infracción de propiedad intelectual, sino también documentar estrategias de mitigación de riesgos. La herramienta de gobernanza de la IA debería ayudar a proporcionar explicabilidad de los modelos.

Monitoreo continuo

Una vez que se implementan los modelos aprobados, deben tener un mecanismo para rastrear su desempeño a escala y escanear automáticamente las respuestas en busca de alucinaciones y otros contenidos inseguros. Uno de los mayores problemas de los modelos de IA es que sus respuestas no deterministas pueden provocar alucinaciones. Por lo tanto, el seguimiento de la precisión y la relevancia es muy importante. A medida que se pongan en producción más modelos de IA en 2024, será fundamental realizar un seguimiento de su rendimiento y costo.

Las áreas de riesgo mencionadas anteriormente deben ser monitoreadas constantemente para detectar cambios y anomalías inexplicables. Tras la detección de aberraciones, las alertas y notificaciones deben generarse de forma inteligente, sin causar «fatiga de alertas».

Aunque las tareas de seguridad y privacidad de los datos se ejecutan en todas las secciones de la gobernanza de la IA, la supervisión de los usuarios, sus derechos y las políticas de seguridad relacionadas es un componente importante.

Gestión de riesgos

Los cuadros de mando modelo, el conjunto de datos y los paneles de monitoreo de inferencia/uso, junto con la automatización del flujo de trabajo, son fundamentales para mantener la salud de las aplicaciones de IA e iniciar acciones correctivas oportunas para responder a cualquier degradación en el rendimiento esperado. Los flujos de trabajo automatizados pueden ayudar a crear datos y KPI de inferencia de modelos y activar alertas según sea necesario para garantizar que el propietario del modelo pueda iniciar acciones correctivas.

La herramienta debe proporcionar una capacidad de gestión de incidentes para documentar los pasos tomados para resolverlos. Puede integrarse aún más en sistemas de emisión de tickets como Jira y ServiceNow. Finalmente, los flujos de trabajo deberían permitir que las evaluaciones cumplan con las regulaciones relevantes de IA, como el Marco de Gestión de Riesgos de IA del NIST .

La gobernanza de la IA es una pieza fundamental para el éxito de cualquier iniciativa de IA. Esperamos un mayor enfoque en la gobernanza de la IA en 2024 por parte de múltiples proveedores, como las empresas de catálogos de datos tradicionales, así como de grandes proveedores de plataformas, como watson.governance de IBM. Unity Catalog de Databricks ya converge el catálogo de datos con los metadatos de los modelos de IA.

Para acelerar aún más este enfoque, hay varias regulaciones y estándares nuevos que se publicaron en los últimos días de 2023. Desde la Ley de IA de la UE hasta la ISO 42001 y el Marco de preparación de OpenAI , todos están diseñados para promover el uso responsable de la IA. Por ejemplo, el marco OpenAI tiene cuatro objetivos: «rastrear, evaluar, pronosticar y proteger» contra los riesgos del modelo. Anthropic también publicó su Política de Escalamiento Responsable .

Estable

El aumento de datos, ya sean del mundo real o sintéticos, ejerce más presión sobre la infraestructura de datos subyacente para que continúe avanzando y se vuelva más eficiente e interoperable. Las tendencias en esta sección ayudan a simplificar la pila de datos e inteligencia artificial para que su administración sea más fácil y económica y para reducir la carga que supone para las organizaciones dedicar una cantidad excesiva de tiempo a la tecnología y no a los imperativos comerciales.

Plano de datos unificado

A lo largo de los años, las plataformas de datos y análisis han tenido varias mini-olas, como se demostró más recientemente desde los almacenes en la nube hasta la pila de datos moderna de hoy. Durante años de estas oleadas, las organizaciones intentaron resolver problemas de escalabilidad y versatilidad de funciones; sin embargo, con cada ola que pasaba, la pila se fragmentaba más. El TCO siguió aumentando mientras que el valor derivado de dicha acumulación siguió cayendo.

El principal impulsor siguieron siendo las aplicaciones de informes y de inteligencia empresarial. Si bien algunas empresas ágiles tenían aplicaciones de aprendizaje automático encima de la pila base, la mayoría de las veces eran simplemente otra pila paralela. En consecuencia, la pila de datos fragmentada se ha convertido en un impedimento clave para el progreso de muchas aplicaciones de IA y la capacidad de las empresas de obtener valor de sus inversiones en pilas de datos.

El modelado deficiente, la duplicación de datos y metadatos, la baja calidad y coherencia de los datos/metadatos y la falta de imaginación de aplicaciones más allá de la inteligencia empresarial son otros inconvenientes que han llevado a un mayor TCO y un menor valor empresarial.

Para respaldar la creciente tendencia de las plataformas de datos inteligentes, la necesidad de un subsistema de almacenamiento común para todo tipo de datos, estructurados y no estructurados, se vuelve cada vez más crítica. La unificación de almacenes de datos y lagos de datos, también conocidos como lakehouse, comenzó en serio hace unos años, pero ahora ha cobrado un impulso constante.

La Figura 6 muestra la importancia de un almacenamiento unificado que permita que diferentes tipos de cargas de trabajo actúen sobre diferentes tipos de datos.

Históricamente, los almacenes de datos han proporcionado un mejor modelo de datos y las ventajas de gestión se caracterizan por una mejor experiencia de usuario para el análisis de inteligencia empresarial. Por otro lado, los lagos de datos brindan la flexibilidad necesaria para la ingeniería de datos y el análisis avanzado, pero requieren mayores habilidades de ingeniería en archivos de datos sin procesar de bajo costo en formatos como Parquet y CSV. Ahora, con el crecimiento de los formatos de tablas como Apache Iceberg, Delta y Apache Hudi, los lagos de datos empiezan a parecerse a los almacenes de datos. Los almacenes de datos pueden acceder a archivos en un lago de datos utilizando un formato común y abierto con semántica ACID. Además, iniciativas como OneTable de OneHouse y UniForm de Databricks están intentando hacer que todos los formatos de tablas abiertas sean interoperables.

Un almacenamiento unificado reduce la necesidad de mover datos entre diferentes plataformas, lo que también reduce la sobrecarga de seguridad y gobernanza adicionales. Entonces surge la pregunta: ¿incurre en una mayor latencia de consulta? No necesariamente, como demostró Snowflake en su Snowflake Summit de 2023, el rendimiento de sus tablas Iceberg tiene casi la misma latencia que sus tablas nativas.

Otra tendencia floreciente en la unificación ha sido la convergencia de datos por lotes y en streaming. Solía ​​ser que los almacenes analíticos estaban orientados por lotes, pero la mayoría de los proveedores ahora consumen datos de streaming casi en tiempo real y los ponen a disposición para el procesamiento de flujo de eventos (ESP). Los casos de uso de ESP van desde análisis hasta el enriquecimiento de datos de transmisión con datos históricos y la detección de anomalías.

Esta tendencia continuará, ya que permite una gama más diversa de casos de uso para ofrecer un mayor valor empresarial de forma más rápida y a menor coste.

Nube cruzada

La tendencia de nubes cruzadas, que theCUBE de SiliconAngle llama “supernube” y Gartner llama “internube”, difiere del concepto más antiguo de nube híbrida o múltiple que simplemente requería que un producto fuera respaldado por múltiples proveedores de nube. La “nube” ahora se considera un modelo operativo y no un destino. Este modelo operativo puede ejecutarse en cualquier lugar, desde el borde hasta centros de datos públicos o privados. Este cambio de paradigma es importante a medida que trasladamos la IA al lugar donde residen los datos, y no al revés.

Dado que la nube cruzada funciona sin problemas en varios entornos de nube, brinda a los usuarios la independencia para ejecutar cargas de trabajo en cualquier lugar, lo que puede ayudar en la negociación de precios y optimización. Además, algunos proveedores ofrecen la posibilidad de ejecutar las mismas cargas de trabajo en un clúster que tiene nodos en diferentes proveedores de nube.

¿Por qué se necesitaría esta capacidad? Por motivos como optimización de costos, mayor resiliencia, estrategia de nube de múltiples proveedores y satisfacción de las necesidades de residencia de datos. Los usuarios esperan que la nube cruzada les dé el control para mover sus cargas de trabajo a la ubicación más optimizada y lograr la neutralidad del proveedor. Una verdadera nube cruzada conducirá a la estandarización operativa en todas las aplicaciones, la seguridad, el acceso y la gestión.

En la era de la IA, la nube cruzada se vuelve aún más crucial, ya que las ubicaciones de inferencia y entrenamiento de modelos pueden ser muy diferentes por razones de optimización de precios y accesibilidad/disponibilidad. La capacitación del modelo debe tener lugar donde los beneficios de costos sean enormes, que pueden ser en las instalaciones o en la mejor opción de nube. La inferencia de modelos puede ocurrir en dispositivos perimetrales o en opciones de nube que brindan la mejor relación precio-rendimiento por consulta de usuario.

Plano de metadatos convergentes

La ausencia de un estándar común de metadatos presenta un desafío importante en la gestión de datos y la interoperabilidad. Sin un marco universalmente adoptado para organizar y describir datos, la interpretación y utilización de metadatos se vuelve fragmentada y compleja. Esta falta de estandarización también dificulta la automatización del análisis, la transferencia y la agregación de datos, ya que los usuarios deben descifrar y conciliar formatos de metadatos dispares. Además, la integración retroactiva de metadatos en los sistemas existentes suele ser costosa y requiere mucho tiempo, ya que inicialmente no se le da prioridad en el desarrollo del sistema. Por último, la ausencia de un estándar común de metadatos impide el intercambio y la comprensión fluidos de datos entre diferentes plataformas y disciplinas.

Iniciativas como Open Metadata y Open Lineage han intentado hacer converger los metadatos, pero aún se encuentran en las primeras etapas. El resultado de este escenario aislado es que cada producto de las categorías realiza su propio descubrimiento de datos, pero con una lente diferente. Sin embargo, este es un esfuerzo en vano, especialmente cuando una organización tiene múltiples productos implementados para diferentes personas.

La Figura 7 muestra la necesidad de intercambiar metadatos en varios casos de uso de gobernanza de datos para evitar encontrarse con silos de metadatos.

En ausencia de un plano de metadatos común, la observabilidad de los datos se ha convertido en el panel único para monitorear la calidad de los datos y la confiabilidad de la canalización. Los recientes vientos económicos en contra han dado lugar a dos nuevos casos de uso: DataFinOps y DataBizOps , que ayudan con la gobernanza financiera y la medición de la productividad de los productos de datos, que anticipamos será la próxima tendencia estable. Si 2023 se caracterizó por la optimización de costos, 2024 será el año del crecimiento, pero con barreras de seguridad y eficiencia.

También vemos que la unificación de metadatos mantiene su impulso e incluso los proveedores de seguridad están empezando a participar.

DataOps y productos de datos

La ingeniería de software ha logrado un ciclo de vida de desarrollo de software eficiente al integrar estrechamente los equipos de desarrollo de software y operaciones de TI a través de DevOps. Ahora, los mismos principios de DevOps se están aplicando a proyectos de datos e inteligencia artificial en un espacio conocido como DataOps.

DataOps consta de automatización, CI/CD, pruebas continuas, orquestación, gestión de versiones y observabilidad de datos durante todo el ciclo de vida de los resultados de los datos. Ayuda a entregar proyectos más rápido, con más responsabilidad y con mejor rentabilidad. Al igual que el concepto de “desplazamiento a la izquierda” de DevOps, DataOps ayuda a mover actividades como pruebas, seguridad y control de calidad en una etapa más temprana del proceso de desarrollo.

Las prácticas maduras de DataOps están ayudando a ofrecer productos de datos mejores y más rápidos , lo que a su vez hace que los datos sean más accesibles, comprensibles, confiables y reutilizables. También incorporan la filosofía de gestión de productos a los equipos de datos y proporcionan un punto único de responsabilidad. Al igual que los microservicios, los productos de datos resuelven problemas comerciales específicos y brindan una oportunidad sin precedentes para medir la productividad de los equipos de datos. Este ha sido un objetivo difícil de alcanzar hasta ahora para muchos CDO. Además, los productos de datos encapsulan políticas de gobernanza del acceso a los datos y ayudan a garantizar la seguridad y privacidad de los datos.

Desde una perspectiva técnica, un producto de datos puede ser un activo existente de cara al cliente, como un panel, una tabla/vista o un modelo de aprendizaje automático, pero con énfasis adicional en requisitos no funcionales, como confianza, confiabilidad, disponibilidad, observabilidad y trazabilidad. , seguridad y facilidad de servicio, etc.

Algunas organizaciones están monetizando productos de datos y poniéndolos a disposición a través de intercambios de datos y plataformas para compartir. Los atributos de los productos de datos se definen y comunican claramente a través de otro concepto nuevo llamado contrato de datos. El contrato de datos podría ser tan simple como una página en un catálogo de datos con una descripción o puede definirse mediante programación en JSON o YAML para que lo consuman los sistemas posteriores. Un contrato de datos es una capacidad y no un producto independiente.

En 2024, esperamos ver productos de datos de aprendizaje automático y análisis más avanzados, y los productos de datos RAG (incluidos los multimodales) ganan impulso.

La adopción de productos de datos aumentará a medida que las interfaces conversacionales comiencen a madurar. Debido a sus atributos de confianza y responsabilidad, los productos de datos proporcionan una excelente capa de abstracción para futuras iniciativas de “chat con datos”. Al aprovechar los productos de datos, se pueden minimizar los riesgos desconocidos asociados con nuevos vectores de ataque, como la inyección rápida/LLM en datos sin procesar.

El término productos de datos se hizo muy conocido gracias al concepto de malla de datos, que se analiza a continuación como la primera tendencia a la baja.

Declinante

Las tendencias declinan como parte natural del ciclo de vida. Rechazan cuando cambian las preferencias o necesidades de los clientes. En este documento enumeramos dos tendencias que creemos que están perdiendo impulso.

Malla de datos

Para las organizaciones que enfrentan el desafío de la inaccesibilidad a los datos, la malla de datos fue un soplo de aire fresco cuando apareció por primera vez en 2019. Permitió a los usuarios ver oportunidades para aliviar los equipos de TI centralizados sobrecargados y desbloquear conocimientos más rápido. Data Mesh, tal como lo concibió Zhamak Dehghani, era una colección de cuatro principios, ninguno de los cuales era nuevo, pero estaban cuidadosamente empaquetados en el concepto. De hecho, algunos de los principios, como el enfoque impulsado por el dominio, ya estaban dando resultados positivos en el espacio de la ingeniería de software.

Entonces, ¿por qué la malla de datos es una tendencia a la baja?

Desde el principio, la malla de datos se calificó de concepto sociotécnico y evitó deliberadamente cualquier orientación sobre los detalles de implementación. Como resultado, las organizaciones comenzaron a seleccionar cuidadosamente los componentes de la malla de datos y a declarar la victoria. Esto suele denominarse «lavado de malla de datos».

Por sí sola, la malla de datos tiene sus ventajas, pero el problema radica en la semántica. Ha habido un debate constante sobre qué es mejor: un equipo de datos centralizado o descentralizado. La realidad es que los equipos de negocios no están interesados ​​en debatir terminologías que a los equipos de TI les gusta discutir, sino que se centran en ofrecer resultados de datos reveladores. Las experiencias de muchas implementaciones recientes de malla de datos nos dicen que el mejor enfoque es un híbrido de centralizado y descentralizado. Ciertas funciones como la infraestructura, la gestión y la gobernanza deben centralizarse, mientras que el desarrollo y el análisis de aplicaciones deben descentralizarse. De hecho, es esta comprensión la que ha llevado al crecimiento continuo de las plataformas de datos unificados y de inteligencia artificial, que catalogamos como una tendencia estable.

Uno de los mayores éxitos surgidos del movimiento de la malla de datos son los productos de datos. Hemos seguido viendo su éxito lento y constante y, por lo tanto, se trató anteriormente en este informe como una tendencia estable.

Pila de datos moderna

Otro buen concepto que se convirtió en víctima de su propio éxito es la pila de datos moderna (MDS). La idea de tener algunos de los mejores sistemas para ofrecer una profunda especialización es sin duda importante. Pero, cuando la especialización se convierte en microespecialización y el número de productos en cada categoría aumenta incontrolablemente, la pila de datos moderna se convierte en nada más que una pila de datos fragmentada. Como resultado, se convirtió en una versión moderna del zoológico de Hadoop.

Al igual que el debate centralizado versus descentralizado, el debate sobre paquetes versus desagregados no satisface las necesidades comerciales. La realidad es que en algún momento el costo y los gastos generales de la integración de múltiples productos alcanzan un punto de inflexión y ya no generan un retorno de la inversión adecuado en las inversiones en infraestructura de datos.

Otra razón por la que consideramos que los MDS son una tendencia a la baja es la falta de interoperabilidad. Cada herramienta en MDS, por ejemplo, puede hacer su propio descubrimiento de datos y, debido a la falta de un plano de metadatos común, no puede comunicarse con otras herramientas. Esta es la razón por la que muchas herramientas MDS presumen de tener una gran cantidad de conectores. Si bien se ven bien en papel, estos conectores deben desarrollarse y mantenerse manualmente, lo que aumenta aún más la sobrecarga de ejecutar un MDS.

Una plataforma de datos inteligente (tendencia creciente) proporciona la próxima transición lógica a la arquitectura de plataforma de datos empresarial.

Conclusión

Si lo hacemos en términos generales, entonces las tendencias ascendentes son las que aceleran la adopción significativa de la IA, mientras que las tendencias estables garantizan que sigamos mejorando el sustrato de datos subyacente. Las tendencias en declive son las que no respaldan la urgencia que anhelan los equipos de negocios de obtener información más rápida de todos sus datos con la menor fricción y costo.

El propósito de esta investigación es centrarse en las soluciones tecnológicas más que en los impactos organizacionales. Esperamos que para lograr las tendencias sugeridas, se crearán nuevos roles y los roles existentes necesitarán desaprender enfoques antiguos y adoptar nuevos paradigmas. Esto no es algo que deba temer, ya que es una progresión natural. Fuimos testigos de los mismos cambios cuando la computación móvil y en la nube se generalizó. Es un viaje que emprenderemos todos juntos.

Por último, y no sin un giro, no hemos discutido la evolución de la «arquitectura del modelo LLM base» en sí. Cualquier avance en la arquitectura del modelo LLM, como una inyección de conocimiento adaptativo rentable o una mejora significativa en las capacidades de comprensión y razonamiento, tiene el potencial de convertirse en una tendencia de gran alcance en sí misma. Bien podría ser una entrada comodín de la que todos hablaremos a medida que avanzamos hacia 2024, pero solo el tiempo lo dirá.