Los modelos de lenguaje ya pueden anticipar resultados de experimentos sociales

Los modelos de lenguaje ya escriben, resumen y responden preguntas, pero un nuevo estudio sugiere otra capacidad llamativa: también pueden anticipar cómo saldrán muchos experimentos de ciencias sociales. Un trabajo publicado en Nature encontró que sistemas como GPT-4 lograron predecir con bastante precisión la dirección y la magnitud relativa de cientos de efectos medidos en estudios con personas reales.

El equipo reunió un archivo de 70 experimentos preregistrados y con muestras representativas de Estados Unidos. En total, el conjunto incluía 469 efectos experimentales y 119.330 participantes. Luego pidió a un modelo de lenguaje que simulara cómo responderían personas expuestas a distintos estímulos, y comparó esas respuestas simuladas entre condiciones para inferir qué efecto tendría cada intervención.

El resultado principal fue que las predicciones del modelo se parecieron mucho a los resultados observados en los estudios reales, con un nivel de acierto comparable al de grupos de pronosticadores humanos. Esa relación siguió siendo alta incluso cuando los autores analizaron trabajos que no estaban publicados ni disponibles públicamente antes de la fecha de corte del entrenamiento del modelo, una forma de reducir la posibilidad de que simplemente estuviera repitiendo información ya conocida.

Eso no significa que la inteligencia artificial “entienda” el comportamiento humano de la misma manera que lo hace un investigador social. De hecho, el estudio encontró una limitación importante: los modelos tendieron a sobreestimar el tamaño de los efectos. En otras palabras, a menudo acertaban hacia dónde iba a moverse el resultado, pero exageraban cuánto iba a cambiar.

La importancia del hallazgo está en el posible uso práctico. Si estas predicciones se confirman y mejoran, podrían servir para probar ideas de forma preliminar, comparar intervenciones antes de lanzar estudios costosos o detectar qué resultados merecen replicación adicional. En campos donde los experimentos insumen tiempo, dinero y reclutamiento de miles de personas, una herramienta así podría ayudar a ordenar prioridades, no a reemplazar la evidencia.

Los propios autores también examinaron los riesgos. Consultaron a 460 científicos sociales sobre posibles usos y problemas de esta clase de sistemas, y el trabajo discute cuestiones como sesgos, mal uso e ilusión de comprensión. Que un modelo acierte patrones estadísticos no implica que sus respuestas sean neutrales ni que pueda sustituir el diseño experimental, la teoría o la interpretación humana.

Ese punto importa especialmente porque el estudio se mueve en una frontera delicada. No muestra que un modelo pueda reemplazar participantes humanos ni que pueda resolver por sí solo preguntas complejas sobre sociedad, política o psicología. Lo que sí muestra es que estos sistemas parecen haber absorbido regularidades suficientes de grandes volúmenes de texto como para anticipar, al menos en parte, cómo responden las personas en situaciones experimentales.

Visto con cautela, el trabajo no cierra el debate sobre inteligencia artificial y ciencias sociales: lo vuelve más concreto. En vez de preguntar solo si los modelos hablan como humanos, empieza a medir si también pueden funcionar como una herramienta auxiliar para pensar experimentos. La respuesta, por ahora, es prometedora, pero todavía bastante imperfecta.