Los modelos de lenguaje más grandes anticipan mejor señales cerebrales al escuchar una historia

Cuando una persona escucha una historia, el cerebro no procesa cada palabra como una pieza aislada: usa el contexto para anticipar lo que puede venir. Un estudio reciente comparó esa actividad con las representaciones internas de varios modelos de lenguaje y encontró que, en general, los modelos más grandes lograban predecir mejor una parte de las señales registradas en el cerebro.

La comparación no indica que esos sistemas comprendan un relato, tengan conciencia ni piensen como una persona. Sirve, en cambio, como una herramienta para preguntar qué clases de representaciones matemáticas se parecen más a los patrones que aparecen mientras el cerebro procesa lenguaje natural.

El equipo trabajó con registros de electrocorticografía, una técnica que mide la actividad eléctrica mediante electrodos colocados sobre la superficie cerebral por razones clínicas. Diez personas con epilepsia escucharon un relato de unos 30 minutos mientras los investigadores registraban las señales asociadas a cada palabra. Luego alimentaron modelos estadísticos con representaciones extraídas de distintas capas de familias de modelos de lenguaje, entre ellas GPT-2, GPT-Neo, OPT y Llama 2, para estimar qué tan bien podían anticipar las señales de cada electrodo.

Los modelos abarcaban desde 82 millones hasta 70 mil millones de parámetros, los valores ajustables que usan durante el entrenamiento para captar regularidades del texto. La relación no fue solo una comparación entre programas entrenados de maneras muy diferentes: dentro de la familia GPT-Neo, los autores contrastaron modelos de distintos tamaños que habían recibido el mismo conjunto de textos. Eso les permitió separar, al menos en parte, el efecto del tamaño del modelo del efecto de haber visto más material durante el aprendizaje.

En las distintas familias, los modelos de mayor tamaño ofrecieron predicciones mejores de la actividad cerebral relacionada con las palabras. El rendimiento aumentó sobre todo hasta los modelos de unos pocos miles de millones de parámetros y después tendió a estabilizarse. También cambiaba la capa del modelo que mejor coincidía con las señales según la región cerebral analizada, un resultado compatible con que el lenguaje se procesa en etapas y zonas con funciones diferentes.

La coincidencia es de carácter predictivo: si las representaciones de un modelo permiten anticipar una señal medida, no se sigue que el cerebro emplee el mismo mecanismo ni que el modelo haya adquirido significado del mismo modo que una persona. Los investigadores tampoco midieron comprensión directamente. Su resultado aporta evidencia para usar estos modelos como puntos de comparación en neurociencia del lenguaje, no como réplicas digitales de una mente humana.

También hay límites importantes. La muestra fue pequeña y estuvo formada por personas que necesitaban implantes de electrodos para tratar epilepsia; los registros solo cubren las zonas que resultaban relevantes en cada caso clínico. Además, todas las mediciones provinieron de la escucha de un único relato, por lo que falta saber si el patrón se mantiene con otros idiomas, tareas, voces y grupos de participantes. El trabajo es un preprint revisado por eLife, por lo que sus conclusiones deben leerse como evidencia en evaluación y no como una explicación definitiva de cómo el cerebro entiende el lenguaje.