Programa Evaluación de la Calidad de la Educación Documentos - 4


Propuesta para un análisis comparativo de instrumentos de evaluación de logros académicos


Lic. Ana Estela Diamant
Ministerio de Cultura y Educación
República Argentina



El proceso de evaluación de la calidad de la educación se ha desarrollado en algunos países iberoamericanos a través de diversas experiencias alcanzando distintos grados de complejidad. Esta situación ha generado una dinámica: la sistematización de dichas experiencias, el análisis de las acciones realizadas y la determinación de estrategias para su profundización.

De allí surgió la realización de reuniones técnicas en las que los representantes de los países asistentes expresaron la necesidad de generar proyectos de evaluación de la calidad educativa que respondan a la realidad de los Sistemas educativos iberoamericanos.

Entre los problemas que se plantearon como prioritarios se presentó el de los instrumentos de evaluación, dada la variedad de criterios que se utiliza para su diseño y la diversidad de propuestas para el análisis de los resultados que se obtienen.

Se propuso la confección de un marco instrumental que permita un primer relevamiento sobre el estado de situación de los materiales existentes y que se han aplicado para la recolección de información acerca de logros académicos.

Con ese objetivo se confeccionaron y se pusieron a discusión dos grillas que además de sistematizar los insumos ya probados permitieran la comparación, la identificación de recurrencias y las diferencias entre las propuestas.



Consideraciones generales para el análisis de instrumentos de evaluación

La implantación progresiva y reciente de Sistemas Nacionales de Evaluación y la generación sistemática de controles de calidad de logros de aprendizaje de los alumnos del sistema educativo, hace necesario un análisis sobre los avances experimentados en los países iberoamericanos.

El objetivo de producir un estado del arte, es conocer los diferentes enfoques que caracterizan a distintos modelos de evaluación y que se traducen en procedimientos e instrumentos específicos en cada uno de los países que están generando prácticas y por lo tanto información en este área.

Cobra entonces especial importancia el análisis comparativo entre los instrumentos utilizados para evaluar los logros de aprendizaje en las diferentes experiencias en curso.

Comenzar por focalizar la primera etapa del estudio -que necesariamente incluirá otras más complejas e integradoras- en el análisis de instrumentos, permitirá seguramente identificar a partir de diseños concretos, los criterios incorporados a los marcos teóricos que los sostienen así como también datos acerca de qué se evalúa, a partir de qué reactivos, cómo se procesarán y se informarán los resultados, e inferir a partir de su construcción la relación entre los logros obtenidos y las propuestas curriculares vigentes.



Estado de situación del área evaluación en Iberoamérica

Al momento de confeccionar la herramienta que permitiera la comparación entre instrumentos de evaluación utilizados en los países iberoamericanos, se estaba pensando en la posibilidad de encontrar recurrencias y también originalidades entre producciones que persiguen el mismo objetivo: indagar acerca de diversos modos de evaluar conocimientos traducidos a logros de aprendizaje, adquiridos en la escuela.

Luego de una primera discusión a partir de la propuesta de matriz que permitiera integrar la información con la que se contaba y tal como la presentaban los países autores, se vio la necesidad de:

  • la reformulación de algunas de las categorías propuestas;
  • la definición conceptual de esas mismas categorías a los efectos de facilitar la comprensión y la comunicación al momento de nombrarlas.

En esta entrega se presenta la versión de la matriz acordada para un relevamiento experimental y una primera entrega del glosario de los conceptos que la componen.

En cuanto a las categorías de la misma, se han incorporado las modificaciones acordadas por los participantes en el Taller de Análisis de Instrumentos de Evaluación realizado en Buenos Aires entre los días 24 al 28 de julio del año 1995, en el marco del Programa de Cooperación y Asistencia Técnica para el Desarrollo de Sistemas Nacionales de Evaluación de la Calidad Educativa, O.E.I./M.C.yE.

Respecto a la definición de los términos técnicos utilizados para señalar las categorías, se realizó una aproximación a ellos y constituye el cuerpo principal de este documento.

La misma corresponde a la primera parte (Consideraciones Generales) y de ellas se han omitido los puntos 1 y 2 por considerarlos con sentido único para su abordaje y uso.

Con el propósito de iniciar un nuevo proceso que enriquezca la tarea de todos, damos a conocer esta producción a la espera de comentarios y sugerencias que puedan mejorarla.

Entre tanto avanzamos con la elaboración de la Segunda Sección (Consideraciones Específicas), que también estamos incluyendo en esta presentación, con la aclaración de que seguramente será más breve, ya que una parte considerable de los contenidos han sido trabajados en esta primer entrega.

Se presentan a continuación las matrices y los términos técnicos contemplados en esta primer etapa.

Los mismos siguen el orden y respetan los numerales y categorías con que aparecen incorporados en la misma.



1. Ámbito Geopolítico 1.1. Alcance territorial 1.1.1. nacional
1.1.2. estatal / provincial
1.2. Gestión 1.2.1. centralizada
1.2.2. descentralizada
2. Cronograma 2.1. Periodicidad 2.1.1. monitoreo permanente
2.1.2. monitoreo esporádico
2.2. Cortes 2.2.1. transversales
  • año
  • ciclo
  • nivel
2.2.2. longitudinales
  • seguimiento de cohorte
2.3. Etapa del corte 2.3.1. inicio
2.3.2. medio
2.3.3. final
2.4. Criterio de aplicación 2.4.1. con simultaneidad operativa
2.4.2. sin simultaneidad operativa
3. Uso de la información 3.1. Difusión 3.1.1. confidencial
3.1.2. pública
3.2. Estructura de archivo 3.2.1. banco de ítem
3.2.2. banco de problemáticas de aprendizaje
4. Respecto del sistema 4.1. Abordaje 4.1.1. con evaluador externo institucional
4.1.2. con evaluador interno
5. Población meta 5.1. Selección 5.1.1. muestra
  • según estrato
  • según conglomerado
5.1.2. censo
5.2. Institución 5.2.1. grupos "estándar"
5.2.2. grupos focalizados
5.2.3. grupos culturalmente homogéneos
5.2.4. grupos culturalmente heterogéneos
6. Gama Evaluativa 6.1. Según contenidos 6.1.1. mínimos
6.1.2. comunes
6.2. Según objetivos 6.2.1. estructura taxonómica
6.2.2. estructura psicoevolutiva
6.2.3. transversales
6.3. Según competencia 6.3.1. escolares
6.3.2. sociales
6.3.3. transversales
6.4. Según enfoque 6.4.1. factores asociados
6.4.2. resultados académicos
6.5. Según estructuras disciplinares 6.5.1. una disciplina
6.5.2. varias disciplinas:
  • instrumentales
  • otras
6.6. Según alcance 6.6.1. relevancia del conocimiento
6.6.2. relevancia social
6.7. Según eficacia del sistema educativo 6.7.1. interna
6.7.2. externa
7. Condiciones de comparabilidad 7.1. Según norma
7.2. Según criterio
8. Diseño del instrumento (en relación a la expectativa de respuesta) 8.1. Abierta 8.1.1. con categorización previa
8.2.2. con categorización posterior
8.2. Cerrada 8.2.1. con categorización previa con única respuesta correcta
8.2.2. con categorización previa con mejor respuesta posible
9. Diseño del instrumento, en relación al referente de origen 9.1. Según currículum prescripto 9.1.1. nacional
9.1.2. federal
9.2. Según concertaciones 9.2.1. aspectos comunes
9.2.2. consensos
9.3. Según objetivos 9.3.1. estructuras taxonómicas
9.3.2. estructuras psicoevolutivas
9.4. Según contenidos 9.4.1. estructuras disciplinares
9.4.2. relevancia social de los saberes
10. Validación del instrumento 10.1. Según medidas estadísticas (pilotaje)
10.2. Según juicio de experto 10.2.1. docentes del área/nivel
10.2.2. especialista por disciplina


  PAÍSES
1 2 3 4
1. Presentación General Bloque unitario        
Separado por asignatura        
Organizado por áreas        
Organizado por ejes temáticos        
2. Cantidad de ítem Hasta 25 ítem        
25 - 40 ítem        
41 ítem o más        
3. Duración de la administración Única jornada        
Dos o más jornadas        
4. Tiempo de administración del instrumento Hasta 45 minutos        
46 - 90 minutos        
91 minutos o más        
5. Tiempo de administración Totalmente administrado        
Relativamente autoadministrado
(con evaluador grupal)
       
Con evaluador personal        
6. Tipo predominante de ítem De respuesta abierta composición        
ejecución        
De respuesta cerrada alternativa múltiple        
alternativa constante o binaria        
completamiento        
apareamiento        
otros        
7. Tipo de apoyatura Palabra sin imagen        
Palabra e imagen concreta en blanco y negro        
Palabra e imagen concreta en color        
Palabra e imagen abstracta en blanco y negro        
Palabra e imagen abstracta en color        
8. Tipo de respuesta al ítem Completamiento (palabra / número)        
Marca (cruz / rellenado)        
Resolución de un problema / informe        
9. Grilla de respuestas Respuestas incorporadas al instrumento        
Hoja de respuestas independiente        
10. Materiales Para escribir lápiz        
bolígrafo        
Para borrar goma        
líquido corrector        
Para operar ábaco        
calculadora        
Para diseñar (Geometría) útiles geometría        
otros        
Para ejecutar elementos de educación física        
sets para química        
sets para física        
sets para tecnología        
sets para motricidad        
11. Versiones administradas Forma única        
complementaria        
Formas paralelas 2 versiones        
3 o más versiones        
11.1 Forma lingüística Monolingüe        
Multilingüe        


Definición conceptual de las categorías incluidas en la matriz de relevamiento de información sobre instrumentos de evaluación

1. Ámbito Geopolítico

2. Cronograma

3. Uso de la información

3.1. Difusión

3.1.1. Confidencial

Cuando la información producida -en este caso a partir de la administración de los instrumentos de evaluación- es habilitada sólo para circulación restringida al interior de los organismos de gobierno y es utilizada para la toma de decisiones o reformulación de políticas.

3.1.2. Pública

Cuando la información producida -en este caso a partir de la administración de los instrumentos de evaluación- es habilitada para su divulgación hacia el exterior de los organismos de gobierno o de las dependencias que la producen y toma estado público, además del uso que de ella se hace al interior de los organismos de gestión y toma de decisiones.

3.2. Estructura de archivo

3.2.1. Banco de ítem

Se trata de un conjunto de reactivos (interrogantes, disparadores o ejercicios) organizados según el criterio lógico del área disciplinaria, curricular o por competencia, curso o edad de los alumnos destinados a una futura utilización conformando instrumentos de evaluación.

El ingreso de estos ítem al archivo se produce con posterioridad a su validación, tanto por el juicio de expertos como por los resultados de medidas estadísticas, una vez que se haya asegurado que se encuentran dentro de los parámetros de calidad esperados y considerados aceptables.

En cualquier caso y con independencia del criterio con el que se organice el archivo, la condición para el ingreso de un reactivo al banco está dada por las consideraciones de validación previamente establecidas y de pertinencia en relación a los objetivos con que serán utilizados.

3.2.2. Banco de problemáticas de aprendizaje

El banco de problemáticas de aprendizaje puede consolidarse teniendo en cuenta dos criterios bien distintos para el ingreso de los reactivos:

  1. desde el punto de vista de la validación, se trata de aquellos ítem que resultan difíciles a los alumnos, o sea que, con posterioridad a su administración dan cuenta de un alto nivel de dificultad, pero presentan valores aceptables en cuanto a la discriminación.
    Generalmente se comportan de esta manera ítem que para su resolución plantean una problemática novedosa o requieren de la aplicación de operaciones mentales complejas.
     
  2. desde el punto de vista de la enseñanza y aún de la evaluación, se trata de reactivos que con independencia de los valores estadísticos que arrojen con posterioridad a su validación o aún sin haber sido validados estadísticamente pero sí a través del juicio de expertos, son considerados apropiados tanto para promover situaciones estimulantes de aprendizaje, como para evaluar procesos tendientes al logro de un aprendizaje complejo en el que están involucradas las estrategias que se requieren para su resolución.

4. Sistema institucional

4.1. Abordaje

4.1.1. Con evaluador externo

Se trata de instrumentos generalmente autoadministrados, en forma individual y en simultaneidad con el resto de los integrantes de un curso/grupo y con la presencia y coordinación de un evaluador ajeno a la institución y/o al curso del que se trate, pero que mantiene relación de dependencia con el organismo evaluador, aunque no interviene en la construcción de los instrumentos ni en el procesamiento de la información.

4.1.2. Con evaluador interno

Se trata de instrumentos generalmente autoadministrados, por parte de los alumnos, en forma individual y en simultaneidad con el resto de los integrantes del curso/grupo y con la presencia de un evaluador que pertenece a la institución y/o curso y que generalmente no mantiene relación de dependencia con el organismo evaluador.

5. Población meta

5.1. Selección

5.1.1. Muestra

Se considera al conjunto de sujetos seleccionados con algún criterio lógico y que presupone que reproduce las características esenciales de la población total como fuente para su realización.

En su definición interviene la condición de:

  1. aleatoriedad - en la que cada individuo de la población posee igual e independiente probabilidad de ser incluido en la muestra, organizada de forma tal que se controla la influencia de las vías de selección.
    Esto permite que las estadísticas puedan ser consideradas representativas de la población total.
    Para ello existen fórmulas que permiten inferir estimaciones sobre la población total a partir del comportamiento de la muestra.
     
  2. control - organizada para garantizar que sus características sean idénticas a las de la población total (edad, sexo, etc.)
     
  3. estandarización - cuando está constituida por un grupo de individuos representativos de una población específica, cuyo comportamiento sirve de patrón de comparación para construir la norma de un test.
    La representatividad está dada por ciertas características consideradas esenciales (localización geográfica, edad, nivel de escolaridad, etc.) para la población.

5.1.2. Censo

Es la reunión de un recorte relevante de información sobre la totalidad de los integrantes del universo.

5.2. Selección

5.2.1. Grupo standard

Es el prototipo de grupo considerado "ideal" en términos de constructo estadístico y cuyo rendimiento escolar representa la tendencia central de la población o universo en este caso de alumnos.

5.2.2. Grupo focalizado

Es elegido intencionalmente según alguna característica prefijada para trabajar o probar una propuesta pedagógica o un determinado conjunto de reactivos a efectos de realizar una práctica evaluativa.

En el análisis de la información obtenida se considerará especialmente el peso que pueda tener la característica prefijada (variable controlada).

5.2.3. Grupo culturalmente homogéneo

En sentido estricto no existe un grupo culturalmente homogéneo.

En sentido genérico puede definirse como un grupo humano que tiene rasgos compartidos y recurrentes tales como: edad, escolaridad, nivel socioeconómico, nivel educativo de los padres, etc.

Es el equivalente aproximado a lo que en antropología se denomina subcultura.

5.2.4. Grupo culturalmente heterogéneo

Es aquel grupo humano entre cuyos miembros existen diferencias marcadas respecto de sus pautas de vida, de sentir y de ver la realidad.

La variaciones pueden partir de la procedencia de hogares con rasgos característicos y específicos que pueden diferir entre sí y con respecto a los códigos culturales del docente y de la escuela.

6. Gama evaluativa

6.1. Contenidos

Los contenidos son conocimientos derivados de las disciplinas científicas y tecnológicas, involucrando dentro de este término tanto:

  • hechos
  • conceptos
  • principios
  • leyes
  • teorías
  • términos
  • procedimientos
  • métodos
  • actividades (ej.: educación física)

y transcienden el tradicional "dominio cognoscitivo" o intelectual.

Puede pensarse en una definición inclusiva del contenido más allá de la disciplina a que remite y que incluye las construcciones mentales que siguen a la experiencia a partir de la interacción y entre la percepción y los principios.

En el lenguaje pedagógico habitual, se trata de un sector de conocimientos seleccionados para el logro de objetivos curriculares.

También se puede definir como cuerpo de conocimientos lógicamente organizados y sistematizados en una versión curricular, o sea seleccionados y organizados con fines didácticos para ser aprendidos.

Son fuentes para su selección tanto conocimientos como valores y actividades.

Los contenidos curriculares remiten a contenidos de la educación sistemática y formal y son productos culturales seleccionados por su valor y significación, extraídos a partir del análisis de la estructura conceptual y metodológica de las disciplinas y por su condición de posibles generadores de experiencias.

6.1.1. Mínimos

Se trata de un conjunto de saberes que constituyen el requisito sine qua non para habilitar la aprobación de una etapa o ciclo.

Son los que no pueden faltar en el momento de considerar la aprobación de alguna etapa dentro del sistema, tratándose de una condición necesaria aunque no suficiente de adquisiciones posibles.

6.1.2. Comunes

Son un conjunto de saberes relevantes que integrarán la propuesta de enseñanza compartida en todo un país o estado.

Constituyen la matriz básica para un proyecto cultural nacional.

El proceso de estructuración, permite actualización e incorporación de propuestas complementarias de alcance más recortado (jurisdicción, institución).

Pueden ser reorganizados de múltiples maneras por ejemplo a partir de las relaciones que se establezcan entre las áreas o la articulación por niveles.

Son fuentes para su selección, las estructuras curriculares preexistentes y los consultores por disciplinas.

6.2. Objetivos

Son descriptores de las capacidades que se intenta desarrollar en el alumno como consecuencia de la intervención escolar.

Pueden organizarse a partir de distintos criterios, por ejemplo según etapas dentro del sistema o según áreas de conocimiento.

Se trata del referente obligado para la evaluación en tanto dan cuenta de la intencionalidad de la intervención escolar y de los niveles de logro alcanzado por los alumnos en relación a las previsiones del sistema.

6.2.1. Estructura taxonómica

Se trata de objetivos organizados según grandes categorías de comportamiento, inclusivas en cuanto a sus niveles de complejidad.

La taxonomía es un sistema de clasificación y ordenamiento de objetivos pedagógicos en función de su ámbito de desarrollo y de sus niveles de complejidad.

Se trata de una decisión convencional -en este caso entre especialistas- que permite la comunicación, la programación y la evaluación de un área en la que existen diversidad de puntos de vista.

Las taxonomías de objetivos pedagógicos se pueden presentar organizadas según categorías en dos direcciones:

  1. horizontal: separando los dominios de manifestación del comportamiento humano (el más conocido desagrega el cognoscitivo del afectivo y del psicomotor)
     
  2. vertical: jerarquizando capacidades implicadas en la realización de cada dominio (tal el caso difundido de la taxonomía de Bloom entre otras para el área cognoscitiva y afectiva o de Harrow para el área psicomotora).

Para este modo de concebir las estructuras taxonómicas, cada categoría constituye un estamento con características propias que a su vez actúa como condición de existencia y posibilidad del siguiente, más complejo y que lo incorpora.

6.2.2. Estructura Psicoevolutiva

Se trata de objetivos o metas de aprendizaje organizados respetando las características propias de cada etapa madurativa considerando tanto aspectos emocionales como cognocitivos compartidos por un determinado grupo de alumnos.

Se consideran para el establecimiento de las categorías tanto las posibilidades operatorias de la estructura de pensamiento, como las socioafectivas y los intereses de los alumnos.

6.3. Competencia

Se trata de capacidades complejas que poseen distintos grados de integración y se ponen de manifiesto en una gran variedad de situaciones de la vida individual y social.

Son expresiones de distintos grados de desarrollo personal y de participación en los procesos sociales que se materializan en esquemas conceptuales y de acción y son a su vez expresiones de desempeños eficaces.

6.3.1. Competencias escolares

Hacen alusión a desempeños eficaces considerados valiosos y necesarios predominantemente dentro del contexto escolar.

6.3.2. Competencias Sociales

Se refieren a actuaciones aprendidas en el contexto escolar pero que resultan desempeños considerados valiosos en la inserción de los alumnos como miembros de la comunidad sociocultural a la que pertenecen.

6.4. Según enfoque

6.4.1. Factores asociados

Se trata de una percepción evaluativa que contempla la totalidad de los aspectos relacionados con los logros de aprendizaje alcanzados por los alumnos, no sólo los resultados de las pruebas de contenido académico, sino también variables de tipo contextuales (endógenas y exógenas respecto a la institución educativa) entre otras

  • características de la estructura familiar,
  • nivel socioeconómico y cultural del grupo familiar,
  • características del funcionamiento institucional, del personal de conducción y docente,
  • expectativas de los alumnos
  • condiciones infraestructurales entre otras.

6.4.2. Resultados académicos

Se trata de un abordaje centrado en la valoración de los logros de aprendizaje académico de los alumnos enfatizando los aspectos cognitivos tanto en el rubro contenido curricular como en el de competencias.

6.5. Según estructuras disciplinares

6.5.1. Una disciplina

Se refiere al alcance del instrumento de evaluación, en lo que respecta a los contenidos, cuando queda limitado a un área -recorte específico dentro del campo de los conocimientos posibles.

Coincide generalmente con la consideración de una ciencia o conjunto de ciencias asociadas entre si por la familiaridad de su objeto de estudio o con un campo delimitado por su metodología de abordaje.

6.5.2. Varias disciplinas

La evaluación puede aglutinar, desde el punto de vista instrumental áreas de contenido que compartan ya sea el enfoque del objeto de estudio, el criterio metodológico o el agrupamiento de temas según algún supuesto compartido entre ellos.

También puede considerarse el agrupamiento a partir de competencias requeridas por diversos contenidos (por ejemplo: comprensión lectora, producción detextos, ejecución de destrezas de laboratorio).

6.6. Según alcance

6.6.1. Relevancia del conocimiento

Se alude a aquellos ejes temáticos considerados centrales para el desarrollo de la estructura disciplinaria a partir del recorte de conocimientos que realiza la institución escolar a los efectos de su enseñanza.

La selección da cuenta por lo menos de dos importantes criterios, el que considera la posibilidad de continuidad en el desarrollo y enriquecimiento a lo largo del tiempo (contenido longitudinal) y el que refleja los avances del conocimiento científico contemporáneo.

6.6.2. Relevancia Social

Se trata de ejes temáticos que cooperan para la formación de competencias de desempeño social, poniendo el acento en las actuaciones del alumno como miembro activo y participante de los eventos de la comunidad a la que pertenece.

Considera contenidos tendientes a desarrollar conductas, conocimientos y perspectivas de ajuste respecto del mundo en el que le toque vivir a cada egresado del sistema educativo.

Por otra parte plantea la insistencia en la validez social e histórica del tema abordado frente al rápido envejecimiento de algunos conocimientos desde el avance marcado de los saberes a partir de los desarrollos científicos y tecnológicos.

6.7. Según eficacia del sistema educativo

6.7.1. Interna

Se trata de información generada a partir de dispositivos evaluativos que siendo producidos por el propio sistema educativo dan cuenta, desde sus resultados de los niveles de ajuste entre los propósitos y los logros institucionales.

6.7.2. Externa

Se trata de información generada a partir de dispositivos evaluativos, que siendo producida por el sistema educativo actúan como elementos de contrastación entre los logros del sistema y las expectativas del ambiente más amplio que los contiene y a su vez funcionan como contralor de la gestión del sistema, evaluándolo desde parámetros externos al mismo.

7. Condiciones de comparabilidad

7.1. Norma

Se trata de un conjunto de valores típicos, descriptivos de desempeño en un test determinado por grupo específico de sujetos supuestamente representativos de una población.

Las normas proveen los valores típicos para diferentes grupos homogéneos (por ejemplo según edad o escolaridad) a partir de la equivalencia de los puntajes brutos obtenidos y no deben ser consideradas como estandares o niveles deseables de desempeño.

Las pruebas con referencia a norma permiten establecer el rendimiento de un sujeto en relación con otros sujetos. En las pruebas con referencia a norma la interpretación de los puntajes deriva de su comparación con otros puntajes.

7.2. Criterio

Se trata de un patrón para juzgar la validez un test.

Las pruebas con referencia a criterio posibilitan establecer la posición de un individuo respecto de algún parámetro de comparación.

Permiten mediciones interpretables en términos de estandares de ejecución especificados previamente que se definen considerando clases de dominios de tareas a ser ejecutadas.

Los criterios pueden ser:

  • externo:se determina sin referencia directa a la medida con la que se lo compara.
     
  • interno:juzga el poder de discriminación de un ítem o cuando el puntaje total del test que contiene al ítem sirve para clasificar a los evaluados en grupos de alto o bajo rendimiento.

En las pruebas con referencia a criterio los puntajes tienen sentido absoluto y pueden ser considerados una medida externa independiente.

8. Diseño del instrumento, en relación a la expectativa de respuesta

8.1. Respuesta abierta

8.1.1. Con categorización previa

Se trata de ítem que, al momento de ser incorporados a los instrumentos de evaluación para ser presentados a los alumnos tienen previsto, anticipadamente en términos de expectativas los parámetros que se consideran válidos para la aceptación de las respuestas que elaboran los alumnos.

Generalmente estas consideraciones quedan inscritas en una Tabla de Análisis de Resultados o instrumento equivalente, que además de ordenar y ponderar lo producido por los alumnos permite análisis de tipo comparativo en dos direcciones:

  1. horizontal: logros alcanzados por parte de cada alumno que participa de la prueba.
  2. vertical: comportamiento para todos los alumnos de cada una de las categorías de conocimiento o de operación mental que se espera aparezcan reflejadas en la respuesta.

Considerando la sistematización posible a partir de la Tabla de Análisis de Resultados es posible obtener además información acerca de la calidad y la organización global de las respuestas elaboradas.

8.1.2. Con categorización posterior

Se trata de ítem que son abordados en relación al análisis de las respuestas obtenidas con posterioridad a su administración y ejecución por parte de los alumnos.

A partir de los resultados obtenidos, se realiza un primer análisis muestral desde el que se constituyen los criterios que se utilizarán luego para la consideración de las respuestas elaboradas.

Confluyen en la elaboración de una Tabla de Análisis de Resultados (ex post facto) los criterios de significatividad y recurrencia hallados en la primer submuestra analizada.

Son estos los que, luego de la consideración de la totalidad de las producciones permiten las ponderaciones y las asignaciones de puntaje.

8.2. Respuesta cerrada

8.2.1. Categorización previa con única respuesta correcta

Se trata de disparadores o consignas que por su estructura y demanda admiten una única respuesta posible.

Generalmente esta modalidad remite a la posibilidad de la selección de entre varias opciones (distractores) de la única verdadera.

El análisis de la distribución de las respuestas entre el resto de las opciones permite conjeturar los niveles de distancia - proximidad de los estudiantes respecto del logro esperado.

Esto es posible siempre y cuando los distractores hayan sido elaborados siguiendo criterios lógicos de construcción del conocimiento tanto desde el punto de vista del contenido como de las operaciones mentales (lógica de error y pasos sucesivos e integradores hacia la consecución del resultado esperado)

8.2.2. Categorización previa con mejor respuesta posible

Se trata de ejercicios o reactivos que admiten en su resolución varias respuestas posibles, difiriendo entre ellas según su grado de adecuación/inadecuación según la expectativa de respuesta preestablecida respetando los parámetros de validez desde la estructura del contenido.

9. Diseño del instrumento según el inferente de origen

9.1. Según curriculum prescrito

Se trata de una propuesta estructurada de resultados esperados a partir de los logros esperados y explícitos de aprendizaje en relación con la direccionalidad prescriptiva de la enseñanza

En este caso se conforma un instrumento anticipador más que informador de propósitos.

Configura una serie estructurada de resultados deseados de aprendizaje a partir de la prescripción en términos de expectativas de resultados de enseñanza.

Plantea líneas generales que señalan cómo ordenar lo que se enseñará y qué se desea que los estudiantes aprendan.

Se organiza en categorías de resultado que pueden tener distintas fundamentaciones estructurales o epistemológicas.

Refiere a una estructura con relaciones jerárquicas tanto conceptuales como procedimentales.

Los contenidos del currículum toman su significado y su sentido de las relaciones lógicas que existen entre ellos y constituyen agrupamientos y sistemas de inclusiones.

Son fuentes y simultáneamente criterios de selección. Para la selección de los elementos que constituyen el currículum, las necesidades e intereses de quienes aprenden, los valores y problemas de la sociedad, lo disciplinar o conocimiento organizado.

9.1.1. Nacional

Cuando para la totalidad del territorio, con independencia de su organización político-territorial rige la misma propuesta curricular en la totalidad de las instituciones.

9.1.2. Federal / Estatal

Cuando cada jurisdicción (estado, provincia, etc.) resultante de la organización político-territorial se da su propia propuesta curricular con independencia de la organización central si es que la hubiera.

En algunos casos puede establecerse una suerte de combinación entre ambos criterios: cada jurisdicción tiene su propuesta curricular a la vez que considera algunos aspectos generales seguidos por el orden Nacional.

9.2. Según concertaciones

9.2.1. Aspectos comunes

Se trata de contenidos o expectativas de logro compartidos por cada una de las instituciones que conforman un estrato al interior de un sistema.

En muchas ocasiones se extraen de propuestas previstas en el Currículum Nacional o de decisiones que emanan de organismos ejecutivos u órganos de decisión.

9.2.2. Consensos

Se trata de acuerdos generalmente coyunturales, o que responden a una necesidad o situación particular en los que participan representantes con mandato técnico-político de cada una y todas las jurisdicciones involucradas o de las instituciones al interior de un estrato.

9.3. Según objetivos

9.3.1. Estructuras taxonómicas

Ídem 6.2.1.

9.3.2. Estructuras Psicoevolutivas

Ídem 6.2.2.

9.4. Según Contenidos

Ídem 6.1.

9.4.1. Estructuras Disciplinares

Ídem 6.5.

9.4.2. Relevancia Social de los saberes

Ídem 6.6.2.

10. Validación

10.1. Medidas Estadísticas

Dificultad: es la característica del comportamiento de un ítem que varía en forma inversa con el porcentaje de casos de una muestra que respondió correctamente. Esto quiere decir a menor porcentaje de aciertos se considera mayor dificultad del ítem.

Se denomina índice de dificultad a la proporción de individuos de un grupo específico que respondieron incorrectamente al ítem.

Discriminación: es la posibilidad que tiene un ítem para diferenciar entre los alumnos "buenos" o que han llegado a denominar el objetivo y aquellos que no han llegado.

El poder de discriminación de un ítem sólo se puede averiguar una vez que la prueba ha sido administrada y si se tienen los resultados.

Se trata de discriminación positiva cuando un ítem es respondido correctamente por la mayoría de los que obtuvieron puntajes elevados (grupo alto) y por pocos o ninguno de los evaluados ubicados en la cota inferior (grupo bajo).

Por su parte, la discriminación negativa caracteriza al ítem que es respondido en mayor proporción por el grupo de los evaluados situados en la cota inferior (grupo bajo) y por una pequeña proporción de los situados en el extremo inferior (grupo alto).

La Correlación biserial: presenta un coeficiente de correlación entre dos variables cuando una es continua y la otra, aunque también continua se presenta dicofonizada.

La Correlación ítem-test: da cuenta de la relación entre los puntajes de un ítem y los puntajes totales del test.

10.2. Según juicio de experto

10.2.1. Docentes del área / nivel

Se trata de opiniones autorizadas, avaladas por la experiencia y el conocimiento de ciertos agentes del sistema respecto de un corte dentro del desarrollo longitudinal del sistema.

El desempeño prolongado y continuo en algunos de estos cortes, presupone, además del reconocimiento de características tanto de los de los alumnos como de los censos y de los contenidos a desarrollar en ellos, la profundización en torno a aspectos de la práctica o que pueden presentar dificultades sistemáticas.

Estas dos condiciones: experiencia y conocimiento hacen que la opinión de quien se desempeña en el área/nivel en cuestión sea de valor imprescindible en tanto reúne saber disciplinario y saber empírico, componentes que permiten penetrar el espacio del aprendizaje desde el ejercicio probado de la enseñanza.

10.2.2. Especialista por disciplina

Con su opinión se garantiza por sobre todas las cosas el respeto de la lógica interna propia del recorte de cada saber científico, así como también la lógica discursiva de quien esta acostumbrado a operar exitosamente con él.

En ambos casos se trata de pasos previos e indispensables para garantizar la pertinencia del contenido de la evaluación, la coherencia entre el disparador y la respuesta obtenida y la veracidad de la respuesta ya sea elegida o elaborada.



Programa Evaluación de la Calidad de la Educación