Manuel Gil Antón

Hay que tener cuidado con los datos. Pueden ser muy útiles si se emplean bien, pero queman las manos de quienes no los saben usar o los que buscan acomodarlos para que luzcan mejor, torciendo la lógica en que fueron construidos. Se presentaron ayer los resultados de la Prueba PISA 2009, en las instalaciones de la SEP, y la información no se manejó de manera adecuada por parte de las autoridades.

Para muestra, dos botones: el examen de PISA se aplica cada tres años. Intenta “medir” lo que saben los muchachos de 15 años para estar en condiciones de entender el mundo en que vivimos.

Siempre atiende a tres aspectos: lectura, matemáticas y ciencias. En cada aplicación pone énfasis en una de ellas, esto es, el aspecto a profundizar ocupa el espacio más importante, sin dejar de lado a los otros. En 2000 se puso énfasis en la capacidad de comprensión lectora.

En 2003 fue matemática, 2006 fue el turno de las ciencias y ahora, en 2009, vuelve el énfasis a lectura. De este modo, podemos comparar la situación del país en ese rubro en casi una década. En términos futbolísticos, se puede saber si en ese lapso ganamos, empatamos o perdimos.

Ayer se puso en duda la validez de la muestra del año 2000, pues es pequeña en comparación con las sucesivas, de tal modo que se sugirió analizar los resultados de lectura a partir del 2003. Una muestra no es buena ni mala por su tamaño, sino por la convergencia de sus valores estimados con los conocidos del universo del cual se ha tomado. La del 2000 fue buena, mas su tamaño (4,600 estudiantes) no permite analizar las diferencias entre las entidades de la república, pero sí es confiable para conocer los valores del país. Las siguientes fueron mucho más grandes, (38,000 en 2009) para poder hacer análisis entre los estados, pero no por grandes las muestras son más buenas: tienen una capacidad de desagregar la información mayor que las pequeñas, pero su bondad no depende del tamaño.

¿Esto lo afirma el escribidor de este texto? No. Lo informa y argumenta el Instituto Nacional para la Evaluación de la Educación (INEE) y cita a la propia OCDE: “…las comparaciones de los resultados de 2000 con 2003 y 2006, así como las de 2003 con las de 2006, tienen márgenes de error mayores, mientras que la comparación de los resultados de 2000 con los de 2009, en lo relativo a Lectura, son más confiables, dado que en ambos casos se trata de mediciones más precisas, basadas en los dos casos en los resultados del área principal de la aplicación correspondiente.

De manera similar, se podrán tener tendencias más confiables de los niveles de competencia matemática cuando se comparen los resultados de PISA 2012 con 2003, y de competencia científica al contrastar PISA 2015 con 2006 (OCDE, 2010a).” (México en Pisa 2009, INEE, P. 115, Cap. 6: en www.inee.edu.mx)

Entonces es válido lo que PISA 2009 informa: hemos pasado, entre 2000 y 2009, de una calificación promedio en lectura de 422 puntos a 425: 3 puntos más. Y el dato es confiable, a diferencia del riesgo que implica trabajar – como se hizo ayer – con los datos para lectura de 2003, 2006 y 2009: claro, presentan un panorama creciente: 400, 410 y 425 puntos respectivamente, y la razón para preferir este modo de ver las cosas fue el argumento, insostenible, del tamaño de la muestra del 2000. Falso. De nuevo, el reporte del INNE dice: “Como se indica en el Capítulo 6, el informe internacional afirma que, por razones técnicas, sólo son confiables las comparaciones basadas en las escalas de las competencias que constituyen el área principal de la evaluación en un ciclo determinado. Lo anterior significa que puede confiarse en la comparación de Lectura, 2000-2009, pero deben tomarse con cautela las comparaciones de Ciencias y Matemáticas…”

De este modo, queda claro, técnicamente y con base en INEE y OCDE, que “empatamos”, pero curiosamente, es un empate relativo y con sabor a victoria.

Es relativo pues en lo que toca los componentes de la competencia lectora, en la más elemental: acceder y recuperar información, México mejoró al pasar de 402 a 433 puntos entre 200 y 2009; pero en integrar e interpretar lo que se lee, el pasaje fue de 419 a 418 puntos y, en la más avanzada de las actividades evaluadas, reflexionar y evaluar el contenido del texto, caímos de 446 a 432. La fuente de estos datos es el mismo documento oficial. Avanzamos gracias al empuje del componente más elemental, dejando a los otros sin avance o disminuyendo.

¿Qué significa, por otro lado, que hay un sabor a victoria en el empate? Lograr sostener los valores promedio a nivel nacional es valioso, pues entre esos años pasamos de tener al 52% de los jóvenes de 15 años en la escuela, al 66%. Si los nuevos incluidos son los antes excluidos, y en consecuencia hipotéticamente con menores condiciones para avanzar, lo esperable con tan grande expansión era que “jalara” a la baja el indicador nacional.

No fue así y en ello hay mérito de todos: maestros, autoridades, padres de familia y organizaciones ciudadanas. No es menor. Lo curioso es que este, que es un logro importante, no sea el destacado por la SEP. El señor secretario dijo que viésemos, en la gráfica del INEE, cómo habíamos subido del 2003 al 2009: 25 puntos. Lo único malo es que esa medición no es confiable.

Y el segundo botón de muestra es que, a pesar que la OCDE dice que no son seguras las cifras en matemáticas, que se recomienda cautela, se presumió que pasamos de 385 puntos en 2003 – fecha del primer acercamiento a profundidad en el tema - a 406 tres años después, y ahora estamos en 419: 34 puntos adicionales.

El país con mayor crecimiento, se afirmó. Cuidado. Ojalá esta tendencia sea correcta, pero habrá que esperar a 2012 para confirmarla. Antes, es un dato endeble.

De nuevo, se ha preferido mostrar los datos que lucen a los que implican pensar y tener prudencia. Es más complicado explicar el avance donde parece empate, que mostrar números crecientes como victoria segura. El primero, con todos sus matices, es adecuado y técnicamente sostenido, avalado, por la OCDE e INEE; el segundo es triunfalista sin amarre estadístico sólido. Como diría el filósofo: ¿Pero qué necesidad…?