¿Qué pasará con el rol del Científico de Datos?
Cassie Kozyrkov. 18 de julio 2024. MEDIUM
A menudo recibo esta pregunta de los ejecutivos y, más recientemente, me preguntaron sobre el papel cambiante de los equipos de datos en DataRobot .
¿Mi respuesta resumida? Las herramientas cambiarán, pero la base seguirá siendo la misma. La ciencia de datos es un universo de posibilidades en expansión, por lo que el papel del científico de datos es más crítico que nunca.
Mirando más allá de la IA-todo
Con la reciente explosión de la IA de consumo, no sorprende que los científicos de datos se pregunten qué significa todo esto para sus carreras. Si la proliferación de productos de IA de consumo les parece abrumadora, los científicos de datos pueden respirar profundamente: cada producto de IA de consumo se basa en datos y crea un enorme volumen de datos de desecho, lo que huele a oportunidad.
Pero, en muchos sentidos, la IA para el consumidor es una distracción. Las oportunidades que cambiarán las reglas del juego para las carreras en ciencia de datos residen en la automatización a escala empresarial.
La automatización a escala empresarial implica construir sistemas gigantescos de manera eficaz, segura y confiable. Cuando se trata de escala, incluso algo tan simple como una búsqueda de código de barras puede presentar desafíos de implementación. Los sistemas complejos de inteligencia artificial empresarial a escala (como las aplicaciones que involucran mantenimiento predictivo de toda la flota o servicio al cliente completamente automatizado) requieren superhéroes. ¡Entran en escena los científicos de datos!
Los científicos de datos adoptan un enfoque metódico para la inferencia y son expertos en la exploración de datos. Son los profesionales mejor posicionados para identificar oportunidades de automatización, diseñar enfoques para probar y monitorear sistemas a escala y trabajar con equipos multifuncionales para gestionar el proceso de principio a fin de llevar las soluciones de IA desde la ideación hasta la producción.
Esto es importante porque, una vez que se realiza una automatización a escala empresarial sin que haya un humano que controle el resultado antes de que salga del sistema, la mayor preocupación debe ser: ¿funciona? En otras palabras, ¿este sistema masivo que automatiza el proceso a escala lo hace de manera segura y eficaz? ¡Y ahí es donde brilla el científico de datos! Como superhéroes que esperan su momento, verá a los científicos de datos dar un paso adelante para ayudarlo a determinar qué tan eficientes son sus nuevas y brillantes herramientas generativas a escala empresarial.
A diferencia de los sistemas de software tradicionales, no es posible «leer el código» para determinar qué tan bien está funcionando una solución de automatización en su entorno de producción, por lo que necesitará científicos de datos expertos que manejen el proceso de comprender la eficacia y el valor de las soluciones de IA en las que confiará. Y a medida que las empresas adoptan herramientas de IA para automatizar cada vez más la generación de su software a escala (no pequeñas correcciones de errores sino bibliotecas enteras), la ausencia de ojos humanos en las tareas de codificación individuales significa que las habilidades de ciencia de datos serán obligatorias para una depuración efectiva. Cada conveniencia que ofrecen las herramientas y los productos de IA a los científicos de datos se verá compensada por una explosión de responsabilidad que requiere una mentalidad de ciencia de datos. Habrá más demanda de la profesión de ciencia de datos que nunca antes. De hecho, el alcance del trabajo se ampliará.
Nuevas habilidades para los científicos de datos: los guardianes de las aplicaciones de IA
Para gestionar esta automatización a gran escala, los científicos de datos tendrán que aprender a hacer cosas nuevas. Además de construir, los científicos de datos serán fundamentales para proteger lo que han creado.
La IA generativa conlleva nuevos riesgos.
Las empresas aún no han desarrollado la fuerza ni las mejores prácticas para proteger las aplicaciones de IA de cosas como inyecciones rápidas o intentos de fuga de información. También se dará más importancia a la gobernanza, para garantizar que las nuevas soluciones y flujos de trabajo impulsados por IA tengan un impacto positivo en el negocio.
Los sistemas Enterprise GenAI que prestan servicios a los usuarios a gran escala sin necesidad de que cada resultado se verifique individualmente suponen un cambio radical en nuestra forma de trabajar, y los líderes tendrán que pensar en sus desafíos de nuevas maneras. Todo esto requiere una gran ciencia de datos. Los flujos de trabajo pueden parecer diferentes, pero los científicos de datos pueden encontrar algo muy familiar en los desafíos que presenta este nuevo y valiente mundo. En muchos sentidos, este es el momento para el que han estado entrenándose toda su vida.
Cómo crear grandes equipos de datos en la era de la IA
Entonces, ¿los científicos de datos perderán sus puestos de trabajo por la automatización? No.
Pero hay una salvedad importante: deben identificarse con la función de su rol, más que con herramientas específicas. ¡Porque las herramientas evolucionan! Somos una especie que construye herramientas. Si te define la herramienta que aprendes a usar, sentirás estrés a medida que el ecosistema crezca.
Si te definieras por tarjetas perforadas, no te sentirías como un científico de datos moderno.
Pero si te defines por los fundamentos básicos y de tu disciplina, te darás cuenta de que las herramientas son tus amigas que pueden ayudarte a hacer un mejor trabajo.
De hecho, necesitaremos mucho más que grandes científicos de datos. Los roles evolucionarán desde el nivel de liderazgo hasta el nivel de entrada, por lo que los equipos deben formarse intencionalmente para incluir todas las habilidades y personalidades necesarias para que la automatización empresarial funcione a gran escala.
Así es como veo que esto evolucionará:
Líderes empresariales: las habilidades blandas y la regulación prevalecen
A medida que la IA se vuelve más omnipresente, los líderes empresariales se verán obligados a sobresalir en el esfuerzo muy humano de conocer el problema que quieren resolver y luego elegir las herramientas y los equipos para hacerlo posible.
Las habilidades para la toma de decisiones serán fundamentales: ¿cómo se ve el éxito? ¿Qué errores son tolerables? ¿Qué es inaceptable? ¿Es más importante que el rendimiento del sistema de IA sea excelente o que las redes de seguridad sean confiables? (Alerta de spoiler: son las redes de seguridad). ¿Qué datos se utilizan? ¿A qué escala se implementará este sistema… y quién se hace responsable de los resultados?
Los líderes empresariales también deben hacer frente a una normativa en constante cambio. Tengo una opinión firme sobre la normativa: para las aplicaciones que tienen un impacto sustancial en la sociedad, debe haber un sistema de registro auditable de las decisiones fundamentales que determinaron los parámetros del sistema durante el diseño, especialmente estas cuatro:
- ¿Cuál fue la procedencia y naturaleza de los datos utilizados?
- ¿Cómo se definió y puntuó el éxito/fracaso?
- ¿Cómo se especificó y realizó la prueba de lanzamiento?
- ¿Qué grupos de usuarios se tuvieron en cuenta? Por ejemplo, ¿el sistema se diseñó y probó solo para adultos o también se diseñó y probó para que fuera seguro para los niños?
Tengo la impresión de que los gobiernos no están dispuestos a permitir que se repita la última ola de las grandes tecnológicas: un salvaje oeste sin regulación en el que los problemas se abordan después de que ya han tenido consecuencias no deseadas. Para auditar las decisiones de la IA en el futuro, necesitaremos nuevas infraestructuras y herramientas para mantener esos registros. Empresas como DataRobot están bien posicionadas para permitir precisamente eso.
Científicos de datos: los mejores pensadores de precisión
Cuestiono firmemente cualquier comentario que sugiera que la IA niega la necesidad de que los humanos desarrollen habilidades de codificación.
Después de todo, ¿qué es la codificación sino proporcionar instrucciones muy precisas, mantener el control sobre lo que se solicita y comprender lo que se observa? La facilidad de programación, o incluso el posible rechazo de Python en favor de un lenguaje de programación personalizado creado con un modelo de lenguaje grande (LLM), no disminuye la necesidad de un pensamiento preciso y de instrucciones precisas.
Pero hay una razón aún más poderosa para dejar de lado el impulso de entrar en pánico por la invasión de los copilotos de código en el territorio de la ciencia de datos: si usted es un científico de datos que piensa que escribir código es lo que hace para ganarse la vida, se ha perdido por completo el objetivo de su profesión. Los científicos de datos deben ampliar su visión de sus habilidades y su papel más allá de la mera ejecución.
Todos esos puntos de referencia LLM al rojo vivo son una pista falsa, porque como científico de datos, tu mejor habilidad es la forma en que piensas, no cuántos comandos conoces en R.
La codificación en bruto no va a ser el mercado del rendimiento, ya que donde los científicos de datos brillan es en su capacidad de optimizar la comunicación técnica de extremo a extremo. En otras palabras, los mejores científicos de datos comienzan su trabajo mucho antes de que sus dedos toquen un teclado, trabajando con expertos en el dominio y partes interesadas comerciales para asegurarse de que están abordando el problema correcto. No hay señal más segura de incompetencia en ciencia de datos que apresurarse a usar todas las matemáticas y modelos más sofisticados para resolver todos los problemas equivocados. Un científico de datos verdaderamente excelente aporta una capacidad superlativa para traducir las necesidades comerciales en toma de decisiones basada en datos y aplicaciones de inteligencia artificial.
La ciencia de datos es un juego despiadado para el comunicador impreciso y la profesión elimina brutalmente a aquellos cuyo pensamiento no es nítido. Esa es la naturaleza del trabajo; la ciencia de datos requiere comunicarse tanto con máquinas como con colegas con la máxima precisión. Entonces, cuando llega el momento de preguntar si los sistemas complejos masivos funcionan bien a escala, ¿quién mejor para tener de su lado que un profesional cuyo pensamiento es tan agudo como el científico de datos? Cuando llega el momento de optimizar los flujos de trabajo de los agentes o diseñar redes de seguridad de IA (defensas de múltiples capas con intervención y moderación en tiempo real), ¿qué formación es tan adecuada para la tarea como la del científico de datos? El suyo es el tipo de pensamiento que eliminará la ambigüedad y ayudará a los líderes a llegar al fondo de la cuestión de si sus nuevas y brillantes soluciones satisfacen realmente sus requisitos técnicos. Pero el papel no se detiene en los requisitos técnicos, ya que los científicos de datos serán más responsables que nunca de proteger la marca y la reputación de su organización en un mundo impulsado por la IA.
Este papel del pensador con conocimientos de datos es tan crucial que existe un creciente interés en hacer que las herramientas de procesamiento de datos sean accesibles para cualquier pensador preciso, no solo para las personas que aprendieron las herramientas típicas. Es por eso que vemos movimientos como DataRobot que implementan intencionalmente un conjunto de herramientas tanto para expertos en la materia no técnicos que trabajan con datos por primera vez, mientras continúan desarrollando herramientas para que los científicos de datos más capacitados sean aún más precisos.
Mi bola de cristal no tiene nada que decir sobre la cuestión de si la ciencia de datos pasará por un cambio de imagen y cuál será el título del día, pero si hay algo por lo que estaría dispuesto a apostar es esto: las habilidades de pensamiento preciso que vienen con los programas de capacitación clásicos en ciencia de datos van a ser más demandadas con el auge de los sistemas de inteligencia artificial empresarial, no menos. Alguien tiene que probar si estas soluciones funcionan y es probable que ese alguien sea un científico de datos o un científico de datos disfrazado. (¡Los estadísticos también cuentan en esa categoría!)La necesidad de quienes piensan profundamente y profundizan en los datos no va a desaparecer, sin importar cómo se llamen.
Escrito por Cassie Kozyrkov
Científico jefe de decisiones de Google. ❤️ Estadísticas, ML/IA, datos, juegos de palabras, arte, teatro, ciencia de las decisiones. Todas las opiniones son mías. twitter.com/quaesita
