Desarrollar la previsión a partir de cientos de escenarios escritos

Nick Diakopoulos. 8 de octubre de 2024. MEDIUM DAILY DIGEST

La proliferación de la tecnología de inteligencia artificial generativa ha creado un nuevo impulso en la industria de los medios para comprender cómo puede adaptarse estratégicamente. ¿Cuáles son las mejores formas de aprovechar la tecnología para lograr eficiencia en la producción de noticias o para generar nuevas experiencias para las audiencias? Pero también: ¿cuáles son las amenazas de los actores tecnológicos? ¿Los medios tradicionales sufrirán otra ola de desintermediación por parte de las audiencias? ¿Qué sucede con la ética del periodismo en toda esta adaptación tecnológica?

Por eso me alegró mucho ver que la Open Society Foundations (OSF) estaba llevando a cabo el proyecto AI in Journalism Futures a principios de este año. En la ambiciosa primera fase del proyecto, los organizadores hicieron una convocatoria abierta para que los participantes escribieran escenarios prospectivos para explorar las posibles fuerzas impulsoras y las implicaciones de la IA para el ecosistema mediático más amplio. ¿Qué podría pasar con las distintas partes interesadas dentro de 5, 10 o 15 años? Como muestran algunas de nuestras propias investigaciones sobre la redacción de escenarios , los escenarios son una excelente manera de captar un conjunto amplio y diverso de perspectivas sobre un tema. Nadie está tratando de predecir el futuro aquí, pero comprender una variedad de alternativas plausibles puede informar el pensamiento estratégico ahora. En total, más de 800 personas de unos 70 países de todo el mundo escribieron y presentaron escenarios breves. El proyecto AIJF continuó utilizando estos como premisa para un taller y para refinar ideas, que detallan en su informe , pero en este post quiero volver a ese conjunto muy amplio de escenarios iniciales, que OSF tuvo la gentileza de compartir conmigo en forma anónima.

En particular, aquí exploro (1) la variedad de tipos de impactos que se identificaron en los escenarios, (2) el marco temporal de los impactos en términos de si ciertos impactos están asociados con un marco temporal de corto, mediano o largo plazo, y (3) las diferencias globales , como por ejemplo si las diferentes partes del mundo se enfocaron en diferentes tipos de impacto. Obviamente, hay muchas más preguntas que se podrían hacer sobre estos datos, como los tipos de impulsores de los impactos, los resultados finales y su gravedad, las partes interesadas mencionadas o las capacidades técnicas en las que se enfocaron los autores de los escenarios. Pero en este análisis me voy a centrar en los impactos.

Refinando los datos

A partir de los 872 escenarios, tuve que hacer un poco de limpieza, filtrado, transformación y verificación antes de realizar el análisis. Para empezar, algunos de los escenarios eran demasiado cortos (menos de 50 palabras) para analizarlos de manera significativa (20 de ellos). Al filtrarlos, me quedaron 852 escenarios para analizar. 14 de los escenarios no estaban escritos en inglés, por lo que utilicé la función Google Translate en Google Sheets para traducirlos al inglés. Para poder analizar la distribución geográfica y el marco temporal, también tuve que hacer algunas transformaciones, asignando el país del autor del escenario en los datos originales a los continentes y convirtiendo manualmente el campo de texto libre «marco temporal», que los encuestados usaban para indicar hasta qué punto en el futuro exploraba su escenario, en un número que representara años en el futuro.

A continuación, tuve que extraer los impactos de cada escenario. Para ello, utilicé un LLM (GPT-4 en este caso) al que le pedí que analizara el texto y generara un conjunto de impactos discretos que se habían mencionado (consulte el Apéndice para obtener las indicaciones del sistema y del usuario). Obtener la indicación correcta requirió un poco de iteración. Probablemente, lo más importante fue una conceptualización cuidadosa de lo que realmente es un “impacto”. La definición a la que llegué fue “Un impacto es un efecto, consecuencia o resultado significativo que una acción, evento u otro factor tiene en el escenario”, que basé en la síntesis de algunas definiciones de diccionario. Los impactos, entonces, no son necesariamente un “estado final” de un escenario, sino que también podrían ser resultados intermedios. También le pedí a GPT-4 que extrajera impactos que fueran distintos entre sí, y podría haber un número arbitrario (o ninguno en absoluto) extraído de cualquier escenario dado. Cada impacto extraído estuvo representado por una descripción de una oración, por ejemplo, “La proliferación de sistemas de IA defectuosos conduce a un ecosistema de información comprometido, lo que provoca una duda general sobre la confiabilidad de toda la información”, y una etiqueta corta, por ejemplo, “Ecosistema de información comprometido”.

Para comprobar que la extracción de impactos funcionaba como se esperaba, tomé una muestra aleatoria de 5 escenarios y verifiqué manualmente las 18 descripciones de impacto extraídas de ellos en términos de (1) si eran válidas según la definición y (2) si cada impacto extraído estaba realmente presente en el escenario y era preciso en términos de cómo se transmitía el impacto en el escenario. El 100% de los impactos extraídos pasaron estas verificaciones y, en ese momento, me sentí más seguro y amplié el análisis a todo el conjunto de datos. Esto dio como resultado la extracción de 3445 impactos de los 852 escenarios.

Para construir una tipología de tipos de impacto basada en las 3.445 descripciones de impacto, recurrí a un nuevo método para utilizar los LLM para realizar un análisis temático cualitativo presentado en un artículo reciente y plasmado en una herramienta llamada LLooM de la Universidad de Stanford . Funciona destilando los textos de entrada, agrupando esas representaciones y luego sintetizando conceptos que capturan conexiones abstractas en los grupos. Cada concepto extraído también incluye una definición que se puede utilizar en una solicitud para que un LLM califique cada texto de entrada original según si refleja el concepto. Entonces, por ejemplo, para un concepto detectado como «Personalización de IA», el proceso también genera la definición de puntuación: «¿El texto analiza cómo la IA personaliza el contenido o mejora la participación del usuario?» Usando estas definiciones de puntuación, cada descripción de impacto se puede puntuar en relación con cada concepto para tabular la frecuencia de ocurrencia.

Impactos de la IA en los ecosistemas mediáticos

Usando LLooM como se describe arriba, llegué a un conjunto de 19 temas de impacto y sus definiciones de puntuación asociadas:

• Personalización de IA : ¿El texto analiza cómo la IA personaliza el contenido o mejora la participación del usuario?
• Verificación de datos mediante inteligencia artificial : ¿El texto menciona el uso de inteligencia artificial para verificar datos o combatir la desinformación?
• Erosión de la confianza : ¿El texto describe cómo la IA o la tecnología impactan la confianza en los medios, las instituciones o la información?
• Manipulación política : ¿El texto explora la influencia de la IA en las campañas políticas, las elecciones o la opinión pública?
• Dificultades de verificación : ¿El texto analiza los desafíos en la verificación de la autenticidad de la información debido a las tecnologías de IA?
• IA en periodismo de datos : ¿El texto resalta el uso de IA para el análisis de datos, la obtención de información o la mejora del periodismo de datos?
• La IA mejora la entrega de noticias : ¿El texto describe cómo las tecnologías de IA mejoran la entrega, distribución o accesibilidad de las noticias?
• Herramientas de IA para la eficiencia : ¿El texto explora cómo se utilizan las herramientas de IA para aumentar la eficiencia o la productividad en el periodismo?
• Adaptación de los medios : ¿El texto analiza cómo los medios tradicionales se adaptan a los cambios digitales o tecnológicos?
• Modelos de negocio del periodismo : ¿El texto describe cambios en los modelos de negocio del periodismo debido a la tecnología?
• Participación de la audiencia : ¿El texto explora cómo la tecnología impacta la participación de la audiencia o los patrones de consumo en los medios?
• Cambios en la producción de noticias : ¿El texto detalla los cambios en la producción de noticias o en los métodos de presentación de informes debido a los avances tecnológicos?
• Dinámica de las plataformas mediáticas : ¿El texto analiza el impacto de la tecnología en la dinámica entre diferentes plataformas mediáticas?
• Accesibilidad al contenido : ¿El texto aborda cómo la tecnología afecta la accesibilidad y distribución del contenido?
• Producción de contenido con IA : ¿El texto analiza cómo se utiliza la IA para automatizar o mejorar los procesos de creación de contenido en los medios o el periodismo?
• Ética de la IA : ¿El texto aborda cuestiones éticas, sesgos o dilemas introducidos por la IA en la tecnología o la difusión de contenidos?
• Carreras en IA y periodismo : ¿El texto explora cómo la tecnología de IA influye en los roles laborales, las habilidades y el empleo en el periodismo o los medios de comunicación?
• IA en la producción de noticias : ¿El texto describe el impacto y la integración de la IA en las prácticas periodísticas, las operaciones de la sala de redacción o la producción de noticias?
• IA y desinformación : ¿El texto analiza el papel de la IA, incluida la tecnología deepfake, en la difusión de información errónea o el impacto en la autenticidad de la información?

No resulta sorprendente que los escenarios articulen temas de impacto relacionados con la forma en que la IA se relaciona con la verificación de datos, la confianza y la desinformación, así como con cuestiones éticas y laborales, modelos de negocio y otras cuestiones. Los conceptos no siempre son tan distintos como me gustaría. Por ejemplo, si estuviera haciendo un análisis temático manual, tal vez no habría separado “IA en la producción de noticias” y “Producción de contenido con IA”. Tampoco estoy seguro de si vale la pena separar “IA en la producción de noticias” y “Cambios en la producción de noticias”. “IA que mejora la entrega de noticias” y “Accesibilidad al contenido” están claramente relacionados si se observan las definiciones de puntuación. No publicaría esta tipología en un foro académico, porque todavía hay cierta vaguedad en torno a la distinción de algunos de estos conceptos. Al mismo tiempo, no necesité dedicar docenas o cientos de horas para obtener una descripción general rápida de los conceptos en el conjunto de datos, y las categorías parecen significativas, incluso si no están completamente desenredadas.

La siguiente figura muestra la prevalencia de los temas de impacto basados ​​en el conjunto completo de 3.445 descripciones de impacto extraídas y el uso de GPT-4 para calificar cada escenario. “Manipulación política” está en el último lugar, lo que indica que no muchos escritores de escenarios se enfocaron en ella. “Verificación de hechos con IA” fue solo la mitad de frecuente que “IA y desinformación”, lo que sugiere que más escritores de escenarios se inclinan por un futuro en el que la IA se use para proliferar la desinformación en lugar de combatirla. Por otro lado, temas como “Ética de la IA”, “IA en la producción de noticias” y “Accesibilidad de contenido”, así como “Producción de contenido con IA” y “Cambios en la producción de noticias” fueron bastante frecuentes en los escenarios. Los temas más frecuentes se conectan con cómo la IA impactará los principios básicos de la actividad periodística: producción, distribución y ética.

También es interesante comparar los temas de impacto que se mencionaron en el informe de OSF . Por ejemplo, el informe de OSF destaca la personalización y la desinformación, pero estos fueron, de hecho, mucho menos frecuentes que otros temas de impacto en este análisis. El informe también destaca temas como el aumento de los agentes de IA y la fragmentación de la audiencia que ocurrieron en las descripciones de impacto subyacentes, pero no fueron lo suficientemente frecuentes como para formar grandes grupos. En este caso, los «agentes» de IA se mencionaron en solo el 0,7% de los impactos, y la «fragmentación» también se mencionó solo en el 0,7% de los impactos. (Siéntase libre de examinar los impactos extraídos subyacentes ).

Como podría haber impactos interesantes pero menos frecuentes que no se hayan reflejado en los 19 temas, volví a realizar la agrupación con un tamaño de grupo mínimo más pequeño. Esto dio como resultado cientos de temas conceptuales más, algunos de los cuales brindan más información sobre cuestiones de cola larga (más larga). Por ejemplo, la reducción de la barrera del lenguaje y la comprensión global son visiones positivas de cómo la IA generativa podría facilitar un mayor flujo de información entre idiomas, mientras que el apoyo a la comunidad de sordos y la ayuda para personas con discapacidad visual apuntan a cómo la IA podría ayudar a que el contenido sea accesible para audiencias marginadas. El consumo de energía captura la idea de que existe un impacto ambiental como resultado del uso de la IA generativa. La IA no solo podría generar fragmentación social, erosión de una realidad compartida y preocupaciones sobre la privacidad debido a la personalización basada en IA, sino que también existe el potencial de tender puentes entre la polarización y permitir contenido hiperlocal. Aquí vemos impactos tanto positivos como negativos de la personalización con IA, a veces en direcciones opuestas. Otra idea que me surgió de la larga cola fue la de Personajes históricos: “¿El ejemplo de texto menciona avatares de IA de figuras públicas fallecidas?” —si bien no está claro que una organización de noticias convencional persiga esta idea, no deja de ser intrigante.

Si bien observar la prevalencia de los impactos en grupos más grandes dice algo sobre dónde está el consenso actual sobre cómo la IA impactará en los medios, estos tipos de impactos más específicos son útiles para identificar un conjunto más amplio de posibilidades de cola larga que podrían actuar como indicadores tempranos, sugerir áreas donde puede justificarse una investigación empírica adicional o inspirar innovación.

Impactos a lo largo del tiempo y en todo el mundo

¿Cómo varían los impactos mencionados en los escenarios según el marco temporal en el que el autor decidió centrarse o la ubicación geográfica del autor? Responder a estas preguntas indica si algunos impactos se perciben en el horizonte de corto, mediano o largo plazo, y si algunas partes del mundo están más (o menos) interesadas en impactos particulares. Esto puede tener influencia en cómo pensamos estratégicamente sobre qué impactos abordar a través de la innovación o la inversión, y quién en todo el mundo puede percibir el mayor beneficio.

Para analizar la dimensión del marco temporal, utilicé una prueba de Chi-cuadrado para comparar la distribución de todos los impactos en marcos temporales cortos, medianos y largos con la distribución de cada impacto individual en marcos temporales. Esto indica si hay un impacto que está sesgado hacia cualquiera de los tres marcos temporales en comparación con la distribución general. Descubrí que la “Personalización con IA” tiende ligeramente a ser un problema de largo plazo (más de 10 años en el futuro), y que los “Modelos de negocio del periodismo” tiende ligeramente a ser un problema de mediano y largo plazo (más de 5 y más de 10 años en el futuro). Tanto la “Verificación de datos con IA” como la “IA y la desinformación” tienden a ser problemas de corto plazo: más escritores de escenarios mencionaron estos impactos en escenarios que estaban a menos de 5 años en el futuro. Por ejemplo, en general, el 34,4% de los impactos fueron de escenarios situados a menos de 5 años en el futuro, pero el 45,3% de los impactos de la “Verificación de datos con IA” fueron de ese marco temporal. Los autores de escenarios reconocieron que este tipo de impactos de hechos y desinformación son problemas a corto plazo relacionados con la IA, probablemente porque ven que estos impactos ya se están desarrollando y, por lo tanto, no es difícil extrapolar que seguirán siendo problemas en el corto plazo.

Hice un análisis similar para observar la distribución de los impactos en todo el mundo clasificando los escenarios según el continente del que provenía el escritor. Descubrí que, en comparación con la distribución general, la “comprobación de datos con IA” estaba sobreindexada en los escenarios con escritores de África y Asia, pero era menos común en los escenarios con escritores de Europa o América del Norte y del Sur. Al mismo tiempo, “IA y desinformación” se mencionaba menos en los escenarios de escritores africanos y más en los de escritores asiáticos. Por lo tanto, tanto los escritores de escenarios africanos como asiáticos parecen ser optimistas sobre la posibilidad de que la IA amplíe el proceso de verificación de datos, pero solo los escritores asiáticos están más inclinados a describir los impactos de la desinformación de la IA en el ecosistema de los medios. La “manipulación política” era menos común en los escenarios de África y América del Sur, pero un poco más común en Asia. Y los “modelos de negocio del periodismo” se mencionaban menos en los escenarios de África y Asia, pero más en los de Europa.

Para llevar

Tras analizar 852 escenarios de todo el mundo, hay un buen consenso sobre cómo la IA afectará al ecosistema de los medios en los próximos 5 a 10 o incluso 15 años: se espera que muchas de las actividades centrales de la producción y distribución de noticias cambien, y la ética del sector deberá tener en cuenta esos cambios. Los autores de los escenarios pensaron que la IA podría impulsar la eficiencia y potenciar el periodismo de datos, al tiempo que amenazaba las carreras de periodismo. Por supuesto, ya sabemos estas cosas porque están sucediendo en al menos algunos ecosistemas de medios ahora . Como dijo William Gibson: «El futuro ha llegado, solo que aún no está distribuido de manera uniforme».

En la cola más larga, vemos que la gente escribe sobre el potencial de personalización de la IA, sobre el impacto en los modelos de negocios, sobre la mejora de actividades como la verificación de hechos que son fundamentales para el mandato de precisión del periodismo, y sobre el riesgo de manipulación política. Y vemos indicios de potenciales positivos como la reducción de las barreras lingüísticas o la habilitación de la producción de contenido hiperlocal. En futuros análisis, probablemente sería productivo examinar aún más los grupos más pequeños de impactos, realizando agrupaciones separadas para generar subgrupos más pequeños para cada uno de los 19 temas de impacto de alto nivel, o incluso repasar manualmente uno por uno los impactos para desarrollar grupos arbitrariamente pequeños.

También descubrí que hay variación en términos de qué impactos se perciben como de corto y largo plazo. Por ejemplo, los impactos relacionados con la desinformación se consideran amenazas más inminentes, mientras que la personalización parece un poco más lejana. La personalización es interesante porque no es el tema más frecuente, pero tampoco es exactamente raro, ya que aparece en más de 400 descripciones de impacto. Combinado con el horizonte de impacto a más largo plazo, esto sugiere que podría ser algo a tener en cuenta e invertir en él ahora, ya que una minoría considerable lo ve como un camino plausible para que la IA tome el impacto en los medios. De manera similar, existen algunas diferencias en todo el mundo, que tienen sentido dados los contextos específicos del ecosistema de los medios y cómo los diferentes escritores de escenarios ven la evolución de las cosas. Por ejemplo, los modelos de negocios parecen ser un tema que está particularmente en la mente de todos en Europa, pero menos en otros lugares.

Estos hallazgos muestran que las visiones de los impactos futuros de la IA no son completamente homogéneas, sino que están relacionadas con las perspectivas individuales y los ecosistemas de habitación específicos que los escritores de escenarios aportan a la tarea. Y ese es un hallazgo importante, ya que uno de los objetivos de una participación tan amplia es tratar de capturar perspectivas diversas, aumentando nuestra capacidad de ver cómo el impacto de la IA puede desarrollarse en diferentes contextos mediáticos en todo el mundo.

Apéndice

Aviso del sistema:

“Usted es un analista de datos experto especializado en el análisis de escenarios escritos. Sus respuestas siempre se basan en el escenario escrito específico que se le proporciona”.

Aviso al usuario:

“Un impacto es un efecto, consecuencia o resultado significativo que una acción, evento u otro factor tiene en el escenario.

Una fuerza impulsora es algo en el entorno macro, como un factor social, económico, político, ambiental, tecnológico u otro factor social, que crea influencia o impacto en un escenario. En este escenario, una fuerza impulsora DEBE estar relacionada explícitamente con la funcionalidad disponible de la IA, ya sea actual o potencial.

Analice el siguiente escenario y extraiga uno o más impactos que estén presentes y sean fácilmente evidentes en el escenario. Un impacto puede ser causado por una fuerza impulsora u otro impacto previo descrito en el texto del escenario.

Para cada impacto, proporcione una descripción detallada de una oración y una etiqueta de 2 a 4 palabras que capture la esencia de la descripción. Asegúrese de que los impactos que identifique sean distintos entre sí y no estén estrechamente relacionados. Si no hay impactos presentes, genere una lista vacía. Responda SOLO con un JSON válido en el siguiente formato: {“impacts”: [{“description”: “<IMPACT_1_DESCRIPTION>”, “label”: “<IMPACT_1_LABEL>”}, {“description”: “<IMPACT_2_DESCRIPTION>”, “label”: “<IMPACT_2_LABEL>”}, … ]}.

·