Nathan Rosidi, mayo 2024. Medium. Publicado originalmente en https://www.stratascratch.com
¿Los científicos de datos deberían tener miedo de que la IA se haga cargo de sus trabajos? Vamos a probar esto pidiéndole a ChatGPT que resuelva un problema de ciencia de datos y veamos qué sucede.
Nos dijeron que la IA se haría cargo de los puestos de trabajo y reemplazaría a la ciencia de datos por máquinas. No sé qué piensan ustedes, pero yo no quiero que me despidan. Pero antes de entrar en pánico, veamos si la máquina más popular en la actualidad es capaz de reemplazarme como científico de datos.
Sí, estoy hablando del único ChatGPT. Veamos qué tan bueno es y si algún día puede reemplazarme.
Digamos, ¿puede manejar un proyecto de ciencia de datos de principio a fin?
https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FVTg6Qw5vYTk%3Ffeature%3Doembed&display_name=YouTube&url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DVTg6Qw5vYTk&image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FVTg6Qw5vYTk%2Fhqdefault.jpg&key=a19fcc184b9711e1b4764040d3dc5c07&type=text%2Fhtml&schema=youtube
Proyecto para probar ChatGPT
Utilizaré el proyecto de análisis del rendimiento de los estudiantes de Pearson para probar ChatGPT. Pearson es una editorial educativa que publica y distribuye libros académicos.
El proyecto es una tarea para realizar en casa y, como ya sabes, estas tareas son pruebas exhaustivas de las habilidades en ciencia de datos . Los científicos de datos a menudo tienen que resolverlas para conseguir un trabajo. Por lo tanto, los mismos criterios deberían aplicarse a ChatGPT. Clasificamos el proyecto como un proyecto de analista de negocios fácil. ChatGPT no debería tener problemas para resolverlo, ¿verdad? ¡Veamos!
Conjunto de datos del proyecto
El conjunto de datos consta de datos recopilados en dos escuelas portuguesas que se centran en el rendimiento de los estudiantes en matemáticas y en la lengua portuguesa. El objetivo de este proyecto es descubrir información que pueda ayudar a comprender las variables que contribuyen al éxito académico de los estudiantes y lo predicen.
Proyecto de ciencia de datos fracasa según ChatGPT
Ahora, hablemos de los fallos de ChatGPT que encontré.
Error n.° 1: cuestiones legales
Aquí estoy hablando de la legalidad de ChatGPT , no de su capacidad.
Si le pide a ChatGPT que escriba código y usted aprueba que ese código se envíe a las plataformas de producción de su empresa, podría exponerse a una demanda judicial desagradable. Esto se debe a que ChatGPT extrae libremente fragmentos de código de los datos con los que fue entrenado.
¿Y los datos con los que se entrenó? Bueno, todas eran fuentes de datos externas, por lo que no se puede saber de dónde proviene este código. Eso significa que no se tiene idea de si ese código tiene licencia o derechos de autor.
También existe el problema legal opuesto. Si copias y pegas código propiedad de tu empresa para que, por ejemplo, ChatGPT pueda ayudarte a depurarlo, en esencia estás incumpliendo la política de tu empresa. ¡Una vez más!
¿Por qué? Porque a todas las empresas les molesta que su IP salga de la seguridad de los firewalls de la empresa.
¿Sabes qué es lo que también detestan las empresas? Que tú o cualquier persona cargue un conjunto de datos para ChatGPT para ayudarte con un proyecto. Nuevamente, no cumples con las normas si ese conjunto de datos pertenece en realidad a la empresa para la que trabajas. Y, nuevamente, estás distribuyendo la IP de la empresa más allá de sus firewalls para que OpenAi la almacene.
Entonces, desde el principio, si estás trabajando en una empresa, ya hay una cantidad limitada de cosas que puedes hacer con ChatGPT debido a las regulaciones de derechos de autor y cumplimiento.
Error n.° 2: errores en las pruebas estadísticas
ChatGPT no es muy bueno en nada que involucre pruebas estadísticas. Este proyecto de datos es un análisis empresarial, por lo que se ejecutarán muchas pruebas estadísticas sobre los datos.
Le pido a ChatGPT que escriba algún código Python para ejecutar estas pruebas.
ChatGPT dibuja un histograma que muestra una distribución de las calificaciones finales del idioma portugués.
También elige correctamente realizar una prueba de Chi-cuadrado, que también se utiliza en la solución oficial del proyecto. ¡Hasta aquí, todo bien!
Calcula un Chi-Cuadrado de 11,439 y un valor p de 0,00072, lo que demuestra que existe una asociación estadísticamente significativa entre género y calificaciones.
¡Pero esto está completamente fuera de los valores de la solución oficial que se muestran a continuación!
Obtenemos un estadístico de Chi-cuadrado de 21,91 y un valor p de 0,15. Por lo tanto, la conclusión es completamente opuesta a la obtenida por ChatGPT: el género no es una variable estadísticamente significativa.
Sin embargo, ChatGPT cree que la variable de género impacta significativamente en las calificaciones.
La pregunta es: ¿por qué? ¿Por qué se estropeó este cálculo relativamente simple?
Parece que la respuesta la da el propio ChatGPT.
Puede encontrar más información sobre esa respuesta en el artículo Por qué ChatGPT no puede realizar operaciones matemáticas básicas de Rafael Moscatel en Medium.
Básicamente, ChatGPT admite que no utiliza una calculadora para realizar cálculos matemáticos, sino que genera respuestas basadas en patrones del lenguaje natural y de los documentos con los que se entrenó. Estas respuestas pueden estar llenas de errores, y por supuesto lo están. Como resultado, los cálculos de ChatGPT también pueden ser erróneos.
¿Puedes confiar en los resultados si no crees que ChatGPT puede realizar estos cálculos correctamente? ¡No lo creo!
El beneficio adicional de un componente humano en este trabajo es una capa adicional de verificación de la cordura. Los científicos de datos pueden determinar qué prueba estadística correcta utilizar y luego validar las suposiciones para garantizar que se esté utilizando la prueba correcta según el conjunto de datos. Esto es algo que ChatGPT no hace ni menciona explícitamente que lo hace.
Como científico de datos, no puedes obviar eso. Es uno de los pasos de preprocesamiento más importantes que debe realizar un científico de datos para garantizar que sus resultados sean precisos, el toque humano fundamental que la IA se olvida de realizar.
Error n.° 3: comprender las prioridades de las partes interesadas
Digamos que este proyecto tiene como objetivo construir una herramienta que califique a los estudiantes de manera justa ajustando los puntajes de las pruebas en función de las variables que analiza en el conjunto de datos, por ejemplo, ajustando los puntajes en función del nivel educativo del estudiante, el tiempo de estudio, el género, etc.
¿ChatGPT sabe cómo incorporar estas variables y estas prioridades correctamente? En teoría, sí.
Incluye correctamente la etapa de evaluación de imparcialidad y sesgo en el proceso de construcción del modelo, como se puede ver en su respuesta anterior.
Pero cuando ejecutamos el análisis utilizando ChatGPT, evitamos respuestas directas sobre la toma de decisiones real y la incorporación de las prioridades de las partes interesadas.
Le pedí que explicara por qué las alumnas obtienen mejores notas que los alumnos y que incluyera el conjunto de datos real al explicarlo. También quiero saber cómo esto afecta la imparcialidad de una herramienta de calificación que quiero crear.
Pero ChatGPT me da una respuesta genérica que parece como si no estuviera mirando el conjunto de datos al proporcionar esa respuesta.
También incluye algún código de ejemplo que es completamente inutilizable.
Vale, tengo que ser más específico. No hay problema con eso. Le pedí a ChatGPT que analizara los factores contribuyentes mencionados anteriormente en los datos reales que proporcioné.
Realiza un análisis, adjunta el código Python para dicho análisis y me proporciona implicaciones de equidad que puedo utilizar en la herramienta.
Pero espera que escriba código que incorpore todas estas variables juntas. Sí, después de que le pedí a ChatGPT que incluyera las prioridades de las partes interesadas, ChatGPT me obligó a incluirlas. Nos estamos volviendo un poco mandones, ¿no?
Para ser honesto, ChatGPT hace un gran trabajo comunicando estos factores y cómo podemos crear una herramienta que incorpore estos problemas de manera justa. Pero no me quitará el trabajo porque no escribe código para finalizar el proyecto. En cambio, solo actúa como mentor o compañero de equipo para mi proyecto.
Ahora voy a obligar a ChatGPT a escribir el código por mí. Con este mensaje, parece que he llegado al punto de ruptura de ChatGPT.
Hace un buen trabajo al escribir código para procesar los datos y prepararlos para el paso de construcción del modelo.
Pero cuando se trata de escribir código por razones de equidad, no me genera nada más que comentarios.
En conclusión, no se puede usar ChatGPT para escribir código que incorpore prioridades, ya que eso implica una toma de decisiones real. Como has visto, ChatGPT obviamente quiere evitar tomar estas decisiones.
Yo diría que eso no es un error, sino una característica de OpenAI para evitar ser demandado por confiar en la decisión de ChatGPT.
Error n.° 4: manejo de problemas nuevos
ChatGPT no es creativo. Simplemente reorganiza lo que ha aprendido de los datos de entrenamiento que ha encontrado en Internet. Intente preguntarle algo que no haya encontrado antes.
Por ejemplo, pensemos más allá de lo establecido e incluyamos datos socioeconómicos para entender cómo variables como el acceso a Internet, la educación de los padres y el tamaño de la familia afectan las calificaciones y el desempeño de los estudiantes.
Cuando introduje esta variable, la respuesta de ChatGPT se limitó a los datos que tenía. En cambio, utilizó variables proxy para indicar vagamente el estatus económico de un estudiante.
Estaba escrito a un alto nivel y ni siquiera sugería algunos de los mejores indicadores, como los salarios. Así que tuve que hacerlo yo mismo, como puedes ver a continuación.
Una vez que lo hice, se dio cuenta correctamente de que el conjunto de datos existente no tenía datos salariales y solicitó esos datos adicionales.
Luego, cargué el conjunto de datos que contenía los salarios por códigos postales y quería que ChatGPT comparara los puntajes de las pruebas en función de los salarios. Sin embargo, en realidad, espero que ChatGPT pueda encontrar los datos por sí mismo porque están disponibles públicamente, no están ocultos detrás de un muro de pago ni nada por el estilo.
Entonces, ¿qué sucedió? Parece que ChatGPT entró en un bucle del que no puede salir. Se dio cuenta de que este conjunto de datos de estudiantes no tiene información de código postal, por lo que no se puede combinar con el nuevo conjunto de datos que le proporcioné.
Al mismo tiempo, la solución que propone es fusionar los dos conjuntos de datos. ¡¿La solución al problema es el problema en sí?!
¿ChatGPT puede probar un método diferente? ¿Puede utilizar datos diferentes? ¿Puede encontrar un conjunto de datos diferente en línea con el que pueda trabajar? No. Debes decirle a ChatGPT exactamente qué hacer.
En ese caso, ¿qué sentido tiene? ¡Puedo hacer este trabajo yo mismo!
Conclusión
En conclusión, el éxito del proyecto depende enteramente de usted.
ChatGPT puede ayudar con los aspectos fundamentales que a menudo se requieren al inicio de los proyectos, como la realización de análisis exploratorios de datos (EDA).
Pero para cualquier cosa que vaya más allá de eso, debes decirle exactamente qué hacer y proporcionarle toda la información que necesita.
En ese sentido, ¡el éxito de ChatGPT depende de tu experiencia !
Nunca te reemplazará y por eso tu trabajo está seguro.
Publicado originalmente en https://www.stratascratch.com .
Stackademic 🎓
Gracias por leer hasta el final. Antes de irte:
- ¡Por favor, considere aplaudir y seguir al escritor! 👏
- Síguenos X | LinkedIn | YouTube | Discord
- Visite nuestras otras plataformas: En lenguaje sencillo | CoFeed | Venture | Cubed
- Más contenido en Stackademic.com
Escrito por Nathan Rosidi
·Escritor para
Me gusta crear contenido y desarrollar herramientas para científicos de datos. www.stratascratch.com
