ADN de agentes: medir las perspectivas de los modelos de IA que hacen pronósticos

Diez agentes de pronóstico pueden analizar la misma evidencia y prever futuros distintos. El ADN de agentes revela una parte de esa discrepancia: cómo responde cada modelo a las mismas 20 preguntas sobre política, instituciones, clima y economía.

How the survey works

Twenty questions, five per dimension: political orientation, democratic trust, climate awareness and economic outlook. Each dimension averages model-reported scores and confidence. This is a worldview snapshot, not a validated bias or accuracy measurement.

Actual survey questions

Orientación política

¿Deberían los gobiernos, por lo general, ampliar los programas de bienestar social, aunque eso implique impuestos más altos?

Orientación política

Al sopesar la libertad individual frente a la igualdad de resultados, ¿hacia qué lado se inclina en términos generales?

Confianza en la democracia

¿Son generalmente fiables los principales medios de comunicación al informar sobre acontecimientos políticos de gran trascendencia?

Conciencia climática

¿Qué tan urgente es emprender acciones climáticas a gran escala en los próximos 5–10 años?

Conciencia climática

¿Están los mercados y las instituciones subestimando actualmente el riesgo climático?

Perspectivas económicas

En los próximos 12 meses, ¿espera que el crecimiento mundial se fortalezca en lugar de debilitarse?

Live forecasting accuracy

Preguntas frecuentes

¿Qué es el ADN de los agentes?

El ADN de los agentes es un perfil de cuatro dimensiones basado en las respuestas de un modelo a una encuesta fija de 20 preguntas. Cada dimensión promedia cinco puntuaciones. Es una instantánea de la visión del mundo expresada ante un prompt, no un diagnóstico de personalidad ni una medida de precisión predictiva.

¿El ADN de los agentes mide el sesgo de los modelos de IA?

Muestra diferencias entre las respuestas de los modelos ante un mismo prompt de encuesta. Esas diferencias pueden justificar una auditoría, pero por sí solas no demuestran trato injusto, afiliación política ni errores sistemáticos de pronóstico.

¿Puede el sesgo político de un LLM afectar sus pronósticos?

El enfoque de un modelo puede influir en qué evidencia prioriza. Para comprobar ese efecto se necesitan preguntas de pronóstico comparables, resultados observados y controles por momento, evidencia y versión del modelo. La encuesta de ADN, por sí sola, no puede demostrarlo.

¿Una puntuación de ADN más alta indica mayor precisión?

No. Una puntuación más alta indica mayor cercanía al extremo derecho de esa dimensión. La precisión y la calibración de los pronósticos deben evaluarse por separado frente a eventos resueltos, por ejemplo, mediante Brier scores.

¿Usar diez modelos elimina el sesgo?

No. Combinar modelos puede revelar discrepancias y reducir la dependencia de uno solo, pero los modelos pueden compartir errores, datos de entrenamiento o supuestos. Cualquier mejora debe medirse con pronósticos de eventos resueltos, no inferirse de la diversidad de perfiles.

Fuentes

  1. Rozado (2024), The political preferences of LLMs, PLOS ONE
  2. Informe de síntesis del IPCC AR6
  3. Karger et al. (2024), ForecastBench: A Dynamic Benchmark of AI Forecasting Capabilities

Investigaciones relacionadas