1. SECRETARÍA DE ESTADO DE EDUCACIÓN, FORMACIÓN PROFESIONAL Y UNIVERSIDADES DIRECCIÓN GENERAL DE EVALUACIÓN Y COOPERACIÓN TERRITORIAL http://www.mecd.gob.es/inee David Cervera Consejero Técnico del Área Internacional del INEE @dcerverao Evaluaciones internacionales (PIRLS, TIMSS, TALIS,..). JORNADA DE DIFUSIÓN Y PRESENTACIÓN DE EVALUACIONES INTERNACIONALES Zaragoza 3 nov.

2. EVALUACIONES EXTERNAS INTERNACIONALES

3. MAPA DE EVALUACIONES INTERNACIONALES Evaluación Externa InternacionalCompetenciasDestinatariosPeriodicidad Última realizada OCDE PISA Programa para la Evaluación Internacional de Estudiantes Programme for International Student Assessment Lectora Matemática Científica Alumnos que cumplen 16 años en el año de realización 3 años 2012 Siguiente 2015 T ALIS Estudio Internacional de Enseñanza y Aprendizaje Teaching and Learning International Survey Encuesta al profesorado Profesores y directores de Educación Secundaria 5 años2013 IEA PIRLS Estudio Internacional de Progreso en Comprensión Lectora Progress in International Reading Literacy Study Lectora4º EP5 años 2011 Siguiente 2016 TIMSS Estudio International de Matemáticas y Ciencias Trends in International Mathematics and Science Study Matemática Científica 4º EP4 años 2011 Siguiente 2015

4. LO DESEABLE DE UN SISTEMA EDUCATIVO Currículum Competencias y habilidades para la vida Evaluación

5. LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN EXTERNA Currículum Competencias y habilidades para la vida Evaluación

6. ¿Has visto que prueba han hecho? ¿A quién se le habrá ocurrido? Mira este ítem. ¡Qué barbaridad!

7. http://pisa-sq.acer.edu.au/showQuestion.php?testId=2295&questionId=5http://www.youtube.com/watch?v=QHzpPflDiMY PONGÁMONOS A PRUEBA

10. Ítems liberados de TIMSS y PIRLS

11. CRITERIOS DE CORRECCIÓN PREGUNTA A Ítems liberados de TIMSS y PIRLS

13. CRITERIOS DE CORRECCIÓN PREGUNTA B Ítems liberados de TIMSS y PIRLS

14. CRITERIOS DE CORRECCIÓN PREGUNTA C Ítems liberados de TIMSS y PIRLS

15. CRITERIOS DE CORRECCIÓN PREGUNTA D Ítems liberados de TIMSS y PIRLS

16.  Evaluaciones muestrales, cíclicas, a gran escala  Cuadernillo de prueba + cuestionarios de contexto  Rigor metodológico: Marco teórico: Qué evaluar, elaboración de ítems, distribución de ítems y cuadernillos… Selección de la muestra Traducción de materiales, aplicación, corrección, limpieza de datos… Análisis TRI de las respuestas  Dificultad de los ítems y puntuación lograda por los alumnos  Informes internacionales comparativos RASGOS COMUNES DE LOS ESTUDIOS DE EVALUACIÓN

17. EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS

18. DESCRIPTOR BLOQUES DE CONTENIDOS Números Álgebra Geometría Funciones y Gráficas Estadística y Probabilidad Contenidos comunes Ejemplo: Contenidos y Procesos para Matemáticas 2º ESO EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS

19. ítems Prepilotaje Pilotaje Estudio principal Análisis de resultados Elaboración de una prueba Respuesta de elección múltiple Respuesta cerrada Respuesta abierta construida Respuestas abiertas Matriz de especificaciones ¿ ¿ ¿ ¿ Pruebas por ordenador ? ? ? ? ¿ ¿ ¿ ¿ Azar ? ? ? ? EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS estímulo UNIDAD

20. NIVEL 1 NIVEL 2 NIVEL 3 NIVEL 4 NIVEL 5 NIVEL 6 Mayor dificultad dentro del proceso CONSTRUCCIÓN DE PRUEBAS

21. Marcos Teóricos Evaluaciones internacionales ¿Qué es un marco teórico? Explica lo que trata de medir la evaluación Objetivos del marco teórico: Servir de guía para la elaboración de unidades y preguntas Compartir un lenguaje sobre el que los implicados puedan discutir el tema Asegurar una continuidad en un estudio a largo plazo Establecer y hacer públicas las características del programa de evaluación

22. OBJETIVO DE LOS ESTUDIOS PIRLS Y TIMSS 2011  Evaluar la comprensión lectora (PIRLS) y el rendimiento en matemáticas y ciencias (TIMSS) tras cuatro años de escolarización obligatoria (4º de Educación Primaria en España) ¿Qué evaluar? Contenidos curriculares comunes en todos los países participantes en la evaluación  Obtener información comparada entre los distintos países participantes y medir las tendencias entre ciclos.  Proporcionar información sobre: El contexto de aprendizaje: alumno, familia y centro escolar. Las actitudes de los alumnos hacia la lectura, las matemáticas y las ciencias. El uso que hacen los alumnos del tiempo libre. Factores que favorecen el entorno de aprendizaje y la eficacia de la escuela (recursos, métodos, clima, etc.)

23. CARACTERÍSTICAS DE LOS ESTUDIOS TIMSS Y PIRLS 2011  Evaluación de la comprensión lectora  Alumnos de 4º grado internacional (en España 4º de Educación Primaria)  Participantes: 45 países y sistemas educativos 3 participantes en pre-PIRLS PIRLS 2011 TIMSS 2011  Evaluación de matemáticas y ciencias  Alumnos de 4º grado internacional (en España 4º de Educación Primaria)  Participantes: 50 países y sistemas educativos

24. MARCO TEÓRICO DEL ESTUDIO PIRLS La noción de lectura en PIRLS Habilidad para comprender y utilizar las formas lingüísticas Habilidad para construir significados a partir de distintos textos Con el fin de aprender, participar y disfrutar LECTURA: Habilidad para comprender y utilizar las formas lingüísticas requeridas por la sociedad y/o valoradas por el individuo. Leer para aprender, para participar en la comunidad de lectores del ámbito escolar y de la vida cotidiana, y para disfrute personal

25. Evalúa tres aspectos en la comprensión lectora PROPÓSITOS DE LECTURA Leer para informarse y aprender (50%) Leer para disfrutar (50%) PROCESOS COGNITIVOS Obtener información (10%+10%) Hacer inferencias (15%+15%) Interpretar e integrar (15%+15%) Analizar y evaluar(10%+10%) ACTITUD Y HÁBITOS DE LECTURA CUESTIONARIOS DE CONTEXTO Alumnos Padres o tutores legales Profesores Directores de centro CUADERNILLOS DE LA PRUEBA Textos literarios (50%) Textos informativos (50%) Preguntas o ítems para evaluar los procesos cognitivos MARCO TEÓRICO DEL ESTUDIO PIRLS

26. DOMINIOS DE CIENCIAS DOMINIOS DE MATEMÁTICAS DOMINIOS COGNITIVOS COMUNES Conocer (40%) Aplicar (40%) Razonar (20%) DOMINIOS DE CONTENIDO Números (50%) Formas y mediciones geométricas (35%) Representación de datos (15%) ÁREAS TEMÁTICAS CAPACIDADES EVALUABLES HABILIDADES Y DESTREZAS DOMINIOS DE CONTENIDO Ciencias de la vida (40%) Ciencias físicas (40%) Ciencias de la Tierra (20%) ÁREAS TEMÁTICAS CAPACIDADES EVALUABLES MARCO TEÓRICO DEL ESTUDIO TIMSS

27. Dominios de contenido Áreas temáticas Se desglosan en capacidades evaluables Dominios cognitivos NÚMEROS 50% Números naturales Fracciones y decimales Expresiones numéricas con números naturales Modelos y relaciones CONOCER 40% Hechos, procedimientos, conceptos APLICAR 40% Resolución de problemas habituales y rutinarios RAZONAR 20% Resolución de problemas desconocidos, en contextos complejos, con varios pasos FORMAS Y MEDICIONES GEOMÉTRICAS 35% Puntos, líneas y ángulos Formas bidimensionales y tridimensionales REPRESENTACIÓN DE DATOS 15% Números naturales Organización y representación MATEMÁTICAS MARCO TEÓRICO DEL ESTUDIO PIRLS

28. Dominios de contenido Áreas temáticas Se desglosan en capacidades evaluables Dominios cognitivos CIENCIAS DE LA VIDA 45% Características y procesos de la vida en los seres vivos Ciclos de la vida, reproducción y herencia Interacción con el medio ambiente Ecosistemas Salud humana CONOCER 40% Hechos, procedimientos, conceptos APLICAR 40% Resolución de problemas habituales y rutinarios RAZONAR 20% Resolución de problemas desconocidos, en contextos complejos, con varios pasos CIENCIAS FÍSICAS 35% Clasificación y propiedades de la materia Fuentes y efectos de la energía Fuerzas y movimiento CIENCIAS DE LA TIERRA 15% La estructura de la Tierra, sus características físicas y sus recursos. Los procesos, los ciclos y la historia de la Tierra, La Tierra en el Sistema Solar CIENCIAS MARCO TEÓRICO DEL ESTUDIO PIRLS

29. DISEÑO Y APLICACIÓN DE LAS PRUEBAS La obtención de resultados representativos y fiables, y la distribución por niveles requiere gran número de ítems Distribución de cuadernillos por bloques (Balanced Incomplete Block - BIB) PIRLS Textos literarios: L1 a L5 Textos informativos: I1 a I5 Cuadernillo “Lecturas”: triple frecuencia Seis textos (3+3) de anclaje para medir tendencias TIMSS Cada bloque tiene entre 10 y 14 preguntas de dominios de contenido y cognitivos en proporción del marco teórico 175 ítems de matemáticas 172 ítems de ciencias 8 bloques de cada materia son de anclaje

30. DISEÑO Y APLICACIÓN DE LAS PRUEBAS Preparación de los alumnos (10 minutos) Primera parte PIRLS/TIMSS 40/36 minutos Descanso 15 minutos Preparación (5 minutos) Segunda parte PIRLS/TIMSS 40/36 minutos Cuestionario del alumno (10-30 minutos) Preparación de los alumnos (5 minutos) Primera parte TIMSS/PIRLS 36/40 minutos Descanso 15 minutos Preparación (5 minutos) Segunda parte TIMSS/PIRLS 36/40 minutos INSTRUMENTOS PARA CONOCER LOS FACTORES DE CONTEXTO CUESTIONARIOS DE CONTEXTO Alumnos Padres o tutores legales Directores de los centros Profesores ENCYCLOPEDIA Información de cada país sobre su sistema educativo y el currículo de Lectura, Matemáticas y Ciencias PRIMER DÍA SEGUNDO DÍA Recogida Cuestionario de padres

31. MÉTODO DE CORRECCIÓN EECL  Comparación de las producciones de los alumnos con pruebas de referencia (exemplars, copies-étalon).  Comparación en relación a dos criterios: comunicación y lenguaje. Ventaja de este método: Neutraliza en gran medida la subjetividad del corrector (severidad-benevolencia) ya que los juicios son comparativos y no absolutos. Corrección de las tareas de nivel B1-B2 Corrección de las tareas de nivel A1-A2 Producción escrita

32.  Contexto personal, social, escolar Sexo, fecha de nacimiento, lengua hablada en casa, número de libros en casa, recursos en casa y frecuencia de uso, interés de los padres en las tareas escolares, opinión sobre el colegio y bienestar en el mismo.  Hábitos de lectura (PIRLS) Lectura fuera del colegio: tiempo de lectura, motivación para leer, tipos de lectura y frecuencia de lectura de cada una, frecuencia de asistencia a bibliotecas, frecuencia de préstamos de bibliotecas, etc. Lectura en clase: frecuencia, hábitos en clase, métodos del profesorado, gusto por la lectura, interés por los temas leídos, autoconcepto en lectura, autoevaluación de su propia lectura, interés de sus padres, etc.  Aprendizaje de las matemáticas y de las ciencias (TIMSS) Gusto por las matemáticas y las ciencias, autoconcepto, percepción de su utilidad, percepción de la clase de matemáticas y ciencias y de la metodología del profesorado, etc. CUESTIONARIOS DE CONTEXTO

33.  Contexto personal, antecedentes, satisfacción general Edad, años de experiencia como docente, sexo, nivel de estudios, especialidad en educación, matemáticas, ciencias o lengua, entorno del centro, satisfacción general, recursos, uso de ordenadores, participación y colaboración con el profesorado, formación continua, trabajo en equipo, etc.  Trabajo general con la clase PIRLS/TIMSS Número de alumnos (y en 4º primaria), alumnos con dificultades en lengua evaluada, materia que enseña, hábitos de trabajo, distribución del tiempo de clase, dificultades que entorpecen su tarea docente (alumnos con sueño, ACNEE, problemáticos, sin interés, etc.), frecuencia en la relación con los padres.  Trabajo con la clase PIRLS/TIMSS en lectura, matemáticas y ciencias Materiales, hábitos, distribución de los tiempos, alumnos que necesitan refuerzo de la materia, tipos de lectura, tiempo dedicado a corrección, felicitación, tipo de deberes para casa, importancia concedida a los distintos aspectos del currículo, modo de evaluación, recursos (biblioteca, ordenadores, calculadoras, etc.) CUESTIONARIOS DE CONTEXTO

34.  Características generales del centro Número total de alumnos y en cuarto de primaria, entorno socioeconómico, tipo de población, lengua materna de los alumnos, horario lectivo y de apertura del centro, número de ordenadores disponibles para los alumnos, existencia de biblioteca y su dotación, laboratorio de ciencias, recursos generales del centro y en particular para la enseñanza de la lectura las matemáticas y las ciencias, etc.  Funcionamiento del centro Tipo y frecuencia de la relación con los padres, ambiente general del centro (disciplina, puntualidad, respeto, interés del alumnado, expectativas del profesorado, instrumentos de evaluación del profesorado, distribución del tiempo de actividades de la dirección etc.  ¿Qué saben los alumnos antes de entrar al colegio? Actividades relacionadas con lectura, matemáticas y ciencias Preparación de los alumnos al entrar en el colegio, curso en que se incide en diferentes hábitos y estrategias lectoras, atención dedicada a la lectura y escritura, medidas para alumnos con otra lengua materna, etc. CUESTIONARIOS DE CONTEXTO

35. El Estudio PISA: Marco Teórico Definición de Comprensión Lectora en PIRLS Es el momento en el que el alumno deja de aprender a leer para aprender a través de la lectura. Definición de Comprensión Lectora en PISA Lectura (competencia lectora) es la comprensión, el uso, la reflexión y el interés por los textos escritos, para conseguir los propios objetivos, desarrollar el conocimiento y el potencial individuales, y participar en la sociedad.

36. El Estudio PISA: Marco Teórico Tipos de texto Continuo Discontinuo Mixto Múltiple Aspecto Acceder y recabar información Integrar e interpretar Reflexionar y valorar

37. El Estudio PISA: Marco Teórico Tipos de texto Continuo La información se presenta en frases y párrafos – Argumentativo – Descriptivo – Expositivo – Narrativo Mixto Discontinuo La información se presenta en otros formatos -Tablas -Gráficos -Diagramas -Mapas

38. Elaboración de preguntas para un estudio a gran escala Redacción preliminar de preguntas Revisión de preguntas Laboratorios cognitivos (Cog Labs) Revisiones de preguntas Revisión externa (países) Pregunta aceptada o rechazada (después de Cog Labs)) Estudio Piloto Análisis psicométrico y revisión Elaboración del marco teórico Pregunta para el Estudio Principal

39. MARCO TEÓRICO DEL ESTUDIO PISA Cambio y relaciones Expresiones algebraicas, ecuaciones e inecuaciones, representaciones tabulares y gráficas. Representar datos y relaciones utilizando estadísticas. Medidas geométricas. Relaciones entre longitudes de los lados de triángulos. Espacio y forma Reconocer las formas en diferentes representaciones y diferentes dimensiones. Comprender las propiedades de los objetos y sus posiciones relativas. Orientarnos por el espacio y a través de las construcciones y formas. Relación entre formas e imágenes. Representación en dos dimensiones de objetos tridimensionales. La formación de las sombras y cómo interpretarlas. Qué es la perspectiva y cómo funciona. Cantidad Comprensión del tamaño relativo. Reconocimiento de las regularidades numéricas. Utilización de los números para representar cantidades y atributos cuantificables de los objetos del mundo real. Procesamiento y comprensión de los números. Representación de los números de diferentes maneras. Comprensión del significado de las operaciones. Percepción de la magnitud de los números. Cálculos matemáticamente elegantes. La estimación y el cálculo mental Incertidumbre y datos Estadística y probabilidad. Recogida de datos y error en la medida. Análisis y presentación de datos. Deducción. Crear, interpretar y evaluar conclusiones extraídas de situaciones donde se presenta incertidumbre.

40. MATEMÁTICAS MARCO TEÓRICO DEL ESTUDIO PISA Cambio y relaciones 25 % Espacio y forma 25% Cantidad 25% Incertidumbre y datos 25% Formulación 25% 6,25% Empleo 50% 12,5% Interpretación 25% 6,25%

41. CIENCIAS MARCO TEÓRICO DEL ESTUDIO PISA

42. PIAAC on line Personas activas Hombres / mujeres Personas desempleadas Hombres / mujeres Total Edad16-3031-4546-6516-3031-4546-65 Secundaria o estudios inferiores 67 33 300 Con estudios superiores a Secundaria 67 33 300 Estudios universitarios finalizados 67 33 300 TOTAL200 100 900 Diseño general para PIAAC on line en España, E&S on line (Education and Skills on line) E&S on line

43. Numeracy item Level = 3 Ejemplos de ítems - Matemáticas Ítem de Matemáticas Nivel 3 Versión on line de PIAAC, Education and Skills on line, modelo de prueba por medios informáticos. http://www.starttest.com/templates/StartTest/esol/demo-launch.htm Versión on line de PIAAC, Education and Skills on line, modelo de prueba por medios informáticos. http://www.starttest.com/templates/StartTest/esol/demo-launch.htm

44. Ejemplos de ítems - Lectura Ítem de lectura Nivel 4 bajo

45. Un estudio internacional que examina diversos aspectos de la enseñanza y el aprendizaje a través de encuestas a los profesores y a los directores de centros educativos. Principales características del estudio TALIS Etapa educativo: Participación: Núcleo principal: Educación Secundaria Obligatoria (opción de España) En algunos países también han participado profesores y directores de Educación Primaria (6 países) y de Educación Secundaria Superior (10 países) Instrumentos: Cuestionarios de profesores y directores de 45-60 minutos de duración, en formato lápiz y papel o formato electrónico. 33 países en total, 24 de ellos miembros de la OCDE 106.000 profesores representando a más de 4 millones de docentes En España 3 339 profesores y 192 directores de centros educativos ¿Qué es TALIS? Temporalización: TALIS es un estudio cíclico que se aplicó por primera vez en 2007-2008. En 2013 ha tenido lugar la segunda edición del estudio. TALIS es un cuestionario de opinión y por lo tanto sus resultados reflejan la percepción de profesores y directores sobre las cuestiones planteadas. TALIS

46. Un estudio internacional que examina diversos aspectos de la enseñanza y el aprendizaje a través de encuestas a los profesores y a los directores de centros educativos. Principales características del estudio TALIS Etapa educativo: Participación: Núcleo principal: Educación Secundaria Obligatoria (opción de España) En algunos países también han participado profesores y directores de Educación Primaria (6 países) y de Educación Secundaria Superior (10 países) Instrumentos: Cuestionarios de profesores y directores de 45-60 minutos de duración, en formato lápiz y papel o formato electrónico. 33 países en total, 24 de ellos miembros de la OCDE 106.000 profesores representando a más de 4 millones de docentes En España 3 339 profesores y 192 directores de centros educativos ¿Qué es TALIS? Temporalización: TALIS es un estudio cíclico que se aplicó por primera vez en 2007-2008. En 2013 ha tenido lugar la segunda edición del estudio. TALIS

47. Un estudio internacional que examina diversos aspectos de la enseñanza y el aprendizaje a través de encuestas a los profesores y a los directores de centros educativos. Principales características del estudio TALIS Etapa educativo: Participación: Núcleo principal: Educación Secundaria Obligatoria (opción de España) En algunos países también han participado profesores y directores de Educación Primaria (6 países) y de Educación Secundaria Superior (10 países) Instrumentos: Cuestionarios de profesores y directores de 45-60 minutos de duración, en formato lápiz y papel o formato electrónico. 33 países en total, 24 de ellos miembros de la OCDE 106.000 profesores representando a más de 4 millones de docentes En España 3 339 profesores y 192 directores de centros educativos ¿Qué es TALIS? Temporalización: TALIS es un estudio cíclico que se aplicó por primera vez en 2007-2008. En 2013 ha tenido lugar la segunda edición del estudio. TALIS

48. Perfil de los profesores EspañaOCDE Sexo 59% mujeres 41% hombres 67% mujeres 33% hombres Edad46 años43 años Nivel educativo 94% estudios universitarios 91% estudios universitarios TALIS

49. Formación específica Menos de la mitad de los profesores españoles han recibido formación pedagógica y prácticas de clase en todas las asignaturas que imparten. Percepción del grado de preparación del profesorado En España, 9 de cada 10 profesores se sienten bien preparados para el trabajo docente. Perfil de los profesores: formación y preparación Fuente: Cuestionario de profesores TALIS TALIS

50. En España los profesores tienen una experiencia laboral media de 18,3 años, Perfil de los profesores: experiencia laboral Fuente: Cuestionario de profesores TALIS TALIS

51. Perfil de los directores Perfil de los directores EspañaOCDE Sexo 45% mujeres 55% hombres 44% mujeres 56% hombres Edad 4952 Nivel educativo 98% estudios universitarios 96% estudios universitarios Las mujeres son mayoría en la profesión, pero minoría en el cargo de director TALIS

52. Los directores de los centros de educación secundaria obligatoria han adquirido la mayor parte de su experiencia trabajando como profesores. Perfil de los directores: experiencia laboral Fuente: Cuestionario de directores TALIS TALIS

53. En España 7 de cada 10 directores también tienen responsabilidades docentes. Perfil de los directores: tareas docentes Fuente: Cuestionario de directores TALIS TALIS

54. Del 3 de noviembre al 15 de diciembre de 2014 https://mooc.educalab.es Unidad 1: Finalidad de las pruebas externas. Unidad 5: De la pregunta al informe: Datos. Unidad 4: Corrección de pruebas externas. Unidad 3: Recursos para todos. Los ítems liberados. Unidad 2: Las pruebas externas en los medios. Unidad 3: Recursos para todos. Los ítems liberados. Unidad 4: Corrección de pruebas externas. Unidad 5: De la pregunta al informe: Datos.

55. Conocer las evaluaciones externas. Crear comunidad educativa. + de 4700 participantes https://www.google.com/maps/d/edit?mid=zqS1qvD6h5Eo.kL8981Eu7tSc

56. http://www.mecd.gob.es/ineewww.mecd.gob.es/inee WEB INEE

57. BOLETINES DE EDUCACIÓN

58. Síguenos en Twitter: @educaINEE @dcerverao En nuestro blog: http://blog.educalab.es/inee/ Y en slideshare: http://www.slideshare.net/INEE_MECD http://www.mecd.gob.es/inee/ GRACIAS