Evaluación de la escritura a gran escala: análisis de la prueba de escritura del Tercer Estudio Regional Comparativo y Explicativo (TERCE)

Abstract

La prueba de escritura del Tercer Estudio Comparativo y Explicativo, implementada por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, constituye una de las pocas experiencias internacionales de evaluación a gran escala de la escritura. Para fortalecer estas experiencias, se revisan el marco teórico adoptado en dicha prueba, las consignas aplicadas, la rúbrica y el proceso de codificación, combinando técnicas cualitativas y cuantitativas. Los resultados evidencian problemas vinculados con la validez y la confiabilidad, y permiten formular recomendaciones para futuras evaluaciones internacionales de la escritura. Estas comprenden la articulación entre el marco teórico y los objetivos de la evaluación, la revisión de los temas y la sintaxis de las consignas, y el empleo de estrategias para obtener evidencias de validez y confiabilidad en las distintas etapas del proceso evaluativo.

A prova de escrita do Terceiro Estudo Comparativo e Explicativo implementado pelo Laboratório Latino-Americano de Avaliação da Qualidade da Educação constitui uma das poucas experiências internacionais de avaliação em larga escala da escrita. Para fortalecer essas experiências, são revisados o marco teórico adotado na prova mencionada, as tarefas aplicadas, a rubrica e o processo de codificação, combinando técnicas qualitativas e quantitativas. Os resultados mostram problemas relacionados a validade e confiabilidade e permitem formular recomendações para futuras avaliações internacionais da escrita. Estas compreendem a articulação entre o marco teórico, os objetivos e os alcances da avaliação, a revisão dos tópicos e a sintaxe das tarefas, e o uso de estratégias para obter evidências de validade e confiabilidade nas diferentes etapas do processo de avaliação.

The writing test of the Third Comparative and Explanatory Study implemented by the Latin American Laboratory for Assessment of the Quality of Education constitutes one of the few international experiences of large-scale assessment of writing. In order to strengthen these experiences, the theoretical framework adopted in this test, the task applied, the rubric and the coding process are reviewed, combining qualitative and quantitative techniques. The results show problems related to validity and reliability, and allow to formulate recommendations for future international assessments of writing. These include an articulation between the theoretical framework, the objectives and the scope of the assessment, a process of thorough review of the topics and syntax of the prompts, and the use of strategies to obtain evidences of validity and reliability at the different stages of the assessment process.