Año de inicio: 2022

Año de finalización: 2023

Título: Análisis de comportamiento diferencial del ítem en pruebas de gran escala

Investigadores Icfes: Víctor Cervantes, Nelson Rodríguez, Alexander Calderón

Estado del proyecto: En curso

Línea de investigación: 5. Análisis de calidad de las pruebas y los ítems

Palabras clave: DIF, DRIFT, índice Nocompensatorio (NCDIF), equiparación, purificación, tamaño del efecto.

Pregunta de investigación: ¿Cuáles son las ventajas de la metodología NCDIF y de los procedimientos complementarios en el análisis de DIF?

Objetivos: Consolidar los estudios previos con los que se ha ido definiendo el análisis de DIF para la equiparación en pruebas Saber en el Instituto.

Justificación: La metodología de análisis de DIF a traves del índice NCDIF usada en la SE del Icfes ha llevado consigo la revisión e implementación de varios procedimientos complementarios que no se encuentran consolidados y documentados en un artículo.

Metodología: Describir y articular los diferentes procedimientos del análisis de DIF usando el NCDIF y ejemplificar con resultados simulados o de una prueba Saber.

Datos Icfes / Pruebas internacionales: Saber 11

Resultados: Se ha definido los factores del diseño y los datos (simulación con ítems de referencia y datos Saber 11) para evaluar la metodología.

Año de inicio: 2022

Año de finalización: 2022

Título: Caracterización del mercado laboral en la Región Caribe

Investigadores Icfes: Alexander Villegas

Investigadores externos: Andrea Otero, Karina Acosta, Oriana Alvarez

Institución de afiliación del Investigador externo: Banco de la República – Cartagena, Fundesarrollo

Estado del proyecto: En curso

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Mercado laboral, competencias, empleo

Datos Icfes / Pruebas internacionales: Saber Pro y Saber TyT

Otros datos: SNIES, GEIH

Año de inicio: 2022

Año de finalización: 2023

Título: Estudio cuasiexperimental para establecer las diferencias entre métodos de aplicación de pruebas estandarizadas en la República Dominicana

Investigadores Icfes: Andrea González, Jenny Cárdenas, Elizabeth Molano, Andrés Rodríguez, Adrian Quintero, Felipe Contreras

Estado del proyecto: En curso

Línea de investigación: 3. Nuevas tecnologías de evaluación

Palabras clave: Comparabilidad, pruebas en computador, pruebas en papel

Pregunta de investigación: ¿Son comparables las pruebas en papel y en computador para las pruebas Nacionales de República Dominicana?

Objetivos: Analizar si los puntajes obtenidos de la prueba en computador se pueden considerar equivalentes a los de la prueba en papel. Analizar si el tiempo de respuesta en la prueba electrónica tiene un efecto sobre los resultados de los estudiantes

Justificación El Ministerio de Educación de la República Dominicana (MINERD) tiene interés en recolectar evidencias sobre las semejanzas y diferencias entre las aplicaciones de pruebas computarizadas (PPC) y pruebas de lápiz y papel (PPL), con estudiantes de sexto de Secundaria de la República Dominicana.

Metodología: Se utilizó análisis diferencial del ítem (DIF) y se equiparó la prueba en los dos formatos utilizando los ítems sin DIF. De esta manera, se calcularon los puntajes promedio de cada formato para comparación.

Datos Icfes / Pruebas internacionales: N/A

Otros datos: Pruebas Nacionales de sexto grado de Secundaria de República Dominicana

Resultados: La confiabilidad de las pruebas fue similar en los dos formatos de aplicación, con valores para PPL y PPC, respectivamente, iguales a 0,637 y 0,641 en Matemática y 0,587 y 0,598 para Lengua Española. El análisis de DIF indicó que 4 ítems tuvieron un comportamiento diferencial mediano o grande entre PPL y PPC para Lengua Española, mientras que para Matemática se encontraron 5 ítems de este tipo. Por otro lado, aunque se encontraron diferencias estadísticamente significativas entre los promedios de las puntuaciones totales por formato de aplicación, tanto para Lengua Española como para Matemática, estas diferencias solo tienen un impacto medio en el área de Lengua Española; en la cual los estudiantes cuya aplicación fue PPC tuvieron puntuaciones menores.

Resumen: Con el fin de analizar la comparabilidad al realizar las Pruebas Nacionales de sexto grado de Secundaria de República Dominicana en formato de papel y en formato de computador, se realizó un análisis psicométrico en tres pasos: 1) se calculó la confiabilidad de la prueba al ser aplicada en cada formato, 2) se realizó un análisis de funcionamiento diferencial del ítem (DIF) para determinar cuáles ítems se comportan igual en los dos formatos y cuáles se comportan distinto, 3) se equipararon los dos formatos a través de los ítems sin DIF y se calcularon los puntajes promedio en cada formato. Los resultados indican que hay una diferencia pequeña entre formatos para matemáticas y una diferencia mediana para lenguaje a favor del formato en papel.

Año de inicio: 2022

Año de finalización: 2023

Título: Adaptación de las pruebas SABER durante la pandemia en 2020

Investigadores Icfes: Alexander Calderón, Adrian Quintero, Karen Córdoba, Andres Rodríguez, Nelson Rodríguez, Nila Amaya

Estado del proyecto: En curso

Línea de investigación: 5. Análisis de calidad de las pruebas y los ítems

Palabras clave: Cambio en pruebas, pandemia, aplicación de pruebas estandarizadas

Pregunta de investigación: ¿Cómo se pueden adaptar las pruebas para lograr aplicarlas durante la pandemia en 2020?

Objetivos: Determinar las modificaciones que pueden hacer posible la aplicación de las pruebas SABER durante la pandemia

Justificación Durante la pandemia no es posible aplicar las pruebas SABER de la manera convencional. Por lo tanto, se desea buscar alternativas que hagan factible la aplicación.

Metodología: Se analizan las propiedades psicométricas de los ítems y de las pruebas al realizar las modificaciones en la aplicación

Datos Icfes / Pruebas internacionales: Saber 11, Pro, TyT

Resultados: Para Saber TyT y Saber Pro se determina que lo más conveniente es realizar las pruebas de manera electrónica, mientras que para Saber 11 se acorta la prueba para realizar pruebas de menor duración y tener más espacios disponibles en un día de aplicación, de manera que se tenga el distanciamiento adecuado. Se concluye que con estas modificaciones se mantiene la validez de las pruebas y su comparabilidad con los resultados históricos.

Resumen: Dado que no fue posible aplicar las pruebas SABER de la manera convencional durante la pandemia, fue necesario encontrar alternativas que hicieran factible su realización durante el 2020. Así, se procedió a diseñar una versión más corta de Saber 11° para aplicarla en medio día y se decidió realizar las pruebas Saber TyT y Saber Pro de manera electrónica desde la vivienda de los evaluados o en centros de cómputo. Para esto, fue necesario llevar a cabo algunos análisis con el fin de asegurar la calidad psicométrica de las pruebas y la validez de sus resultados.

Año de inicio: 2022

Año de finalización: 2022

Título: Tres años en la universidad: resultados de aprendizaje y transición desde el programa tecnológico al profesional.

Investigadores Icfes: Mónica Mogollón

Estado del proyecto: En curso

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Educación TyT, Oferta Educativa, Saber TyT

Pregunta de investigación: ¿Las universidades públicas cuya fortaleza es la educación profesional deben dedicar recursos para ofrecer programas de ciclo corto, en un contexto donde existen otras instituciones públicas especializadas con programas de amplia cobertura y calidad?

Objetivos: Examinar el impacto de la admisión a la Universidad Distrital a programas tecnológicos enfocados en el área de ingeniería en el logro educativo de los estudiantes.

Justificación Las universidades públicas han desempeñado un rol sustancial en la oferta de programas técnicos y tecnológicos del país. Sin embargo, desde una perspectiva de gasto publico vale la pena examinar si las universidades públicas cuya fortaleza es la educación profesional deben dedicar recursos para ofrecer programas de ciclo corto, en un contexto donde existen otras instituciones públicas especializadas con programas de amplia cobertura y calidad.

Metodología: Regresión discontinua

Datos Icfes / Pruebas internacionales: Saber 11 (2015-2020), Saber Pro (2015-2021), Saber TyT (2016-2021)

Otros datos: Listados de Admisiones Universidad Distrital a programas TyT (2015-2018)

Resultados: Se encuentra que estar por encima del corte de admisión de la Universidad Distrital incrementa la probabilidad de graduación de programas tecnológicos en un 28%, y que incrementa el puntaje en la prueba de lectura critica en un 3% de la desviación estándar

Resumen: Esta investigación examina el impacto de la admisión a la Universidad Distrital a programas tecnológicos enfocados en el área de ingeniería en el logro educativo de los estudiantes. Para medir el efecto causal, se utiliza las políticas de admisión basadas únicamente en el puntaje de la prueba Saber 11 para emplear un diseño empírico de regresión discontinua. Este estudio se enfoca en las cohortes de admisión entre 2015 a 2018 y en los resultados del módulo de competencias genéricas de las pruebas Saber TyT

Año de inicio: 2022

Año de finalización: 2023

Título: Movilidad, desempeño academico y demanda de educación.

Investigadores Icfes: Iván Velásquez y Nilson Felipe Lizarazo

Investigadores externos: Arantxa Rodríguez Uribe, Ana Garcia Hernandez

Institución de afiliación del Investigador externo: Universidad de Princeton, J-PAL España

Estado del proyecto: En curso

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Movilidad, demanda educación, educación media-superior, desempeño escolar.

Pregunta de investigación: ¿Cuál es el impacto que tiene la mejora de movilidad en Medellín en el desempeño escolar, y la demanda de educación básica-media y superior?

Objetivos: Evaluar el efecto de la mejora en conectividad-movilidad sobre la demanda en educación y el desempeño escolar, para el caso de Medellín. También se plantea explorar los canales por los que este efecto opera.

Justificación Entender el efecto de la mejora en movilidad sobre el desempeño escolar es un aspecto muy importante para el contexto colombiano. Muchos estudios han demostrado que la distancia y el tiempo que los estudiantes invierten en el desplazamiento a las instituciones educativas, tienen impacto en el desempeño, la deserción y la motivación estudiantil

Metodología: Para poder establecer el efecto causal del aumento de conectividad-movilidad (nuevas estaciones de metrocable) sobre la demanda de educación y el desempeño escolar, utilizaremos una metodología de diferencias-en-diferencias.

Datos Icfes / Pruebas internacionales: Saber 11

Otros datos: SNIES,SIMAT

Resumen: Esta investigación busca entender cómo al mejorar la movilidad y la conexión de los barrios de Medellin con la centralidad (a raíz de la construcción de metrocables), se afecta la demanda de educación y el desempeño escolar.

Año de inicio: 2022

Año de finalización: 2022

Título: Evaluación de impacto de la estrategia Evaluar para Avanzar

Investigadores Icfes: Manuela Granda, Sara Márquez, Lobsang Parra, María Camila Gómez

Estado del proyecto: Finalizado

Línea de investigación: 8. Apropiación social de la evaluación

Palabras clave: Evaluación formativa, retroalimentación formativa, procesos de aprendizaje, impactos de la evaluacion formativa,

Pregunta de investigación: ¿Cuál fue el impacto de la estrategia evaluar para avanzar en sus primeras dos aplicaciones sobre la pérdida de apendizajes durante la pandemia?

Objetivos: Caracterizar la implementación de la Estrategia y los resultados de los instrumentos de valoración aplicados por las instituciones educativas en los años 2020 y 2021. Identificar si la participación en Evaluar para Avanzar 3° a 11° impacta los resultados de aprendizaje (medidos en los resultados del examen Saber 11) y Determinar si los resultados de aprendizaje están relacionados con las prácticas de enseñanza identificadas mediante los ítems que se incluyen en los cuestionarios auxiliares

Justificación Estimar los efectos de la participación de las instituciones educativas en la estrategia Evaluar para Avanzar 3° a 11° en sus dos primeras aplicaciones Identificar los aspectos de la implementación que pueden afectar los resultados de la Estrategia

Metodología: Modelo de inferencia causal de diferencias en diferencias con estimadores matching. Diseño metodológico cualitativo basado en la evaluación realista y la teoría fundamentada. Recolección de información cualitativa con docentes y estudiantes a través de instrumentos grupales.

Datos Icfes / Pruebas internacionales: ExA, Saber 11

Otros datos: SIMAT, C600

Resultados: A través del componente cualitativo se identificó que si bien la Estrategia es relevante para las comundiades educativas, es importante generar mecanismos que fortalezcan el uso y apropiación de las herramientas que esta contempla, de tal forma que por esta vía se obtengan se logren los objetivos de Evaluar para Avanzar. Además a través de metodologías cuantitavidas de inferencia causal, se puede concluir que aunque las instituciones participaron de la estrategia, la apropiación de cada una puede influir sobre el tipo de efecto sobre cada resultado de aprendizaje. En este caso, participar de la estrategia aún no tiene efectos significativos sobre el desempeño de los estudiantes en las pruebas Saber 11.

Resumen: Busca establecer si la participación de las instituciones educativas en la estrategia ExA 3° a 11° ha cumplido con los objetivos de la evaluación formativa. En particular, se busca establecer si, mediante los instrumentos provistos, se ha observado algún impacto sobre los aprendizajes en aquellas competencias donde se han identificado oportunidades de mejora.

Año de inicio: 2022

Año de finalización: 2022

Título: El valor social del Icfes: una mirada desde sus funciones y finalidad

Investigadores Icfes: Jesús Rodríguez De Luque

Estado del proyecto: En curso

Línea de investigación: 8. Apropiación social de la evaluación

Palabras clave: Calidad de la educación, investigación educativa, evaluación educativa, bienes públicos, información

Pregunta de investigación: ¿Por qué la información generada de la evaluación de la educación del Icfes aporta valor a la sociedad colombiana? ¿Por qué la información generada de la investigación sobre calidad educativa del Icfes aporta valor a la sociedad colombiana? ¿Por qué una entidad del estado debería ofrecer información para mejorar la calidad de la educación?

Objetivos: Entender ¿por qué la información generada de la evaluación de la educación e investigación sobre calidad educativa del Icfes aporta valor a la sociedad colombiana? Y ¿Por qué estas funciones las debería realizar una entidad estatal?

Justificación: Aunque el Instituto Colombiano para la Evaluación de la Educación (Icfes) fue fundado en la década de 1960, en los últimos años ha habido un creciente número de esfuerzos para entender los aportes del instituto a la sociedad colombiana (Icfes, 2021; L. E. Jaramillo et?al., 2022). Estos esfuerzos son una respuesta a la necesidad interna de entender el valor social de la entidad para poder comunicarlo a la ciudadanía y a los involucrados del sector educativo. En este contexto, este documento busca contribuir a entender cuál es el aporte que el Icfes realiza a la sociedad colombiana (es decir, su valor social) y cómo lo logra.

Metodología: Analisis documental

Resultados: Las evaluaciones externas del Icfes ofrecen información útil para mejorar la calidad de la educación. En primer lugar, la evaluación de aula del Icfes (ExA 3-11) ofrece, por medio de sus sábanas de resultados, información que permite entender el grado de desarrollo de competencias por parte de los estudiantes en las distintas áreas y competencias evaluadas. De esta manera, ExA 3-11 ofrece información útil para promover la reflexión sobre las prácticas de enseñanza de los maestros. En segundo lugar, el portafolio de evaluaciones diagnósticas del Icfes permite entender el grado de desarrollo de competencias cognitivas y socioemocionales. En otras palabras, este portafolio de evaluaciones ofrece información útil para entender qué tan cerca o lejos estamos de los estándares establecidos por nuestro sistema de educación y los sistemas de educación internacional. En tercer lugar, las evaluaciones de estado del Icfes ofrecen información útil para los involucrados del sector educativo para determinar el grado de desarrollo de competencias al final de los niveles de educación media y superior y a partir de estos fijar metas para mejorar dichos resultados. Los proyectos de evaluación del Icfes también recolectan información sobre factores asociados con los resultados educativos (aprendizajes y trayectorias escolares). Esta información de los resultados educativos y de sus factores asociados son insumos claves para las investigaciones de actores estatales y privados sobre fenómenos y problemáticas educativas de Colombia. De esta manera, los resultados de estas investigaciones pueden ofrecer ideas para diseñar acciones que busquen mejorar la calidad de la educación. En este punto vale la pena resaltar que las investigaciones realizadas en otros países, con características históricas, sociales, económicas y culturales distintas a las nuestras, no pueden reemplazar las investigaciones realizadas con datos colombianos. Las investigaciones extranjeras son útiles, pero para diseñar acciones que busquen mejorar las problemáticas educativas colombianas no hay nada como tener como punto de referencia estudios realizados a partir de nuestro contexto. En lo relacionado a la inquietud de por qué una entidad estatal debería ofrecer información que ayude a mejorar la calidad de la educación. Es necesario tener en cuenta que la información o el conocimiento, en su forma intangible, para mejorar la calidad de la educación es un bien público y es un bien que genera externalidades positivas. Este tipo de bienes no son ofrecidos eficientemente por los mercados privados. Dado que la educación es importante y que la información para mejorarla, en su forma intangible, es un bien público, se requieren medios para que la provisión de información sea eficiente y así permita ayudar a mejorar la calidad de la educación. La provisión de este tipo de bienes por parte del estado es una manera de resolver dicha ineficiencia. Por ello, es válido que una entidad estatal como el Icfes ofrezca información útil para mejorar la calidad de la educación.

Resumen: Se tiene como propósito entender el Valor Social del Icfes. Específicamente, se tiene como propósito entender el valor social de la evaluación de la educación y de la investigación sobre los factores que inciden en la calidad educativa realizada por el Icfes; y por qué motivo la ejecución de dichas funciones las debería realizar una institución pública.

Año de inicio: 2022

Año de finalización: 2022

Título: SaberEs: test preparation program in Colombia.
SaberEs: programa de preparación de pruebas en Colombia

Investigadores Icfes: Estefanía Saravia

Investigadores externos: Pablo Uribe, Christian Posso

Institución de afiliación del Investigador externo: Eafit, Banco de la República

Estado del proyecto: Finalizado

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Preparación para exámenes, Orientación profesional, Educación superior, Diferencias en diferencias

Pregunta de investigación: ¿Cuáles son los efectos sobre los puntajes y las tasas de matriculación en la educación superior de los estudiantes de último año de las escuelas públicas que participan de un programa extracurricular en toda la ciudad en Colombia que proporcionó preparación para exámenes estandarizados y orientación vocacional?

Objetivos: Analizar cómo el programa “SaberEs” afectó el desempeño de los estudiantes en el examen nacional de egreso de la escuela secundaria y sus tasas de inscripción en la educación superior

Justificación Analizar cómo un programa extracurricular en toda la ciudadanía en Colombia que proporcionó preparación para exámenes estandarizados y orientación vocacional a estudiantes de último año de escuelas públicas afectó el desempeño de los estudiantes en el examen nacional de egreso de secundaria y su educación superior tasas de inscripción.

Metodología: Differences in differences

Datos Icfes / Pruebas internacionales: Saber 11, Saber TyT

Otros datos: SNIES

Resultados: Se encontró que recibir el programa aumentó significativamente el rango promedio de los estudiantes dentro de la prueba en la mediana de la distribución. Este efecto corresponde a una reducción del 23% en la brecha preexistente entre el control y los estudiantes tratados. Al expandir la muestra a lo largo del tiempo, los resultados son sólidos para los métodos econométricos recientes para diseños dinámicos de diferencias en diferencias.

Resumen: Se estudiaron los efectos de un programa extracurricular en toda las ciudades de Colombia que brindó preparación para exámenes estandarizados y orientación vocacional a estudiantes de último año de escuelas públicas. En particular, analizamos cómo el programa afectó el desempeño de los estudiantes en el examen nacional de egreso de la escuela secundaria y sus tasas de ingreso a la educación superior. Usando datos administrativos granulares y siguiendo un diseño de diferencias en diferencias de 2×2, encontramos que recibir el programa aumentó significativamente el rango promedio de los estudiantes dentro de la prueba en la mediana de la distribución. Este efecto corresponde a una reducción del 23% en la brecha preexistente entre los estudiantes de control y tratados. Al expandir nuestra muestra a lo largo del tiempo, los resultados son robustos a los métodos econométricos recientes para diseños dinámicos de diferencias en diferencias. Finalmente, documentamos un aumento significativo en la tasa de matriculación postsecundaria hasta tres años después de la graduación de la escuela secundaria del 7,1 % desde un nivel de referencia del 52,4 %. El efecto se explica por la dinámica entre los programas técnicos y profesionales y corresponde a una notable reducción del 57% en la brecha preexistente. Nuestros resultados destacan cómo los programas relativamente simples pueden tener efectos positivos reales en los resultados académicos de los estudiantes de bajos ingresos al brindarles más oportunidades en la vida.

Link de la publicación: Clic aquí para consultar documento.

Año de inicio: 2022

Año de finalización: 2022

Título: ¿Ayudan los créditos becas a aumentar el acceso a la educación superior? Evidencia el programa de alianza 4×1 del departamento de Cundinamarca.

Investigadores Icfes: Jorge Rodríguez

Investigadores externos: Valentina Daza

Institución de afiliación del Investigador externo: Universidad de los Andes

Estado del proyecto: En curso

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Crédito, Oferta Educativa, Cundinamarca

Pregunta de investigación: ¿Ayudan los créditos becas a aumentar el acceso a la educación superior?

Objetivos: Entender el impacto diferencial que tiene extender una beca para estudiantes de bajos ingresos cuya habilidad académica se sitúa en los percentiles medios de la distribución. Los resultados contribuyen a la literatura en el sentido que se enfocan en un grupo de estudiantes diferentes a los beneficiados en tradicionales becas de mérito del país (SPP, Generación E, Andrés Bello), que están en el percentil 90 de la distribución de habilidades y en niveles de pobreza y pobreza extrema.

Justificación: Escasez de instrumentos de ayuda financiera para la educación superior. Poco desarrollo del mercado crediticio para deuda estudiantil. Hasta hace unos años, requisitos de codeudor demasiado difíciles de cumplir para la mayoría de la población de bajos ingresos.

Metodología: Diseño de Regresión discontinua borrosa

Datos Icfes / Pruebas internacionales: Saber 11, Saber Pro

Otros datos: Listado beneficiarios programa Cuatro por una opción de vida, SNIES

Año de inicio: 2022

Año de finalización: 2022

Título: To what extent do ICTs influence academic gaps between males and females in secondary education? The case of Colombia.
¿En qué medida las TIC influyen en las brechas académicas entre hombres y mujeres en la educación secundaria? El caso de Colombia.

Investigadores Icfes: Jorge Rodríguez y Luis Fernando Gamboa

Institución de afiliación del Investigador externo: Universidad Javeriana

Estado del proyecto: En curso

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: TICs, brecha de género, pruebas Saber, internet, muestra controlada

Pregunta de investigación: ¿En qué medida las TICs influyen en las diferencias académicas entre hombres y mujeres en la educación secundaria?

Objetivos: Mostrar si las tecnologías de la información y la comunicación (TIC) juegan un papel en la reducción de las brechas.

Justificación: No es un estudio que busca determinar un análisis causal, sino más bien determinar si existe una correlación entre la intensidad del uso de las TIC y el rendimiento en una prueba normalizada aprovechando la calidad de la información disponible después de controlar los diferentes factores asociados al individuo, su escuela y su entorno. Aunque las TIC incluyen un amplio conjunto de dispositivos y servicios, no es fácil desentrañar su contribución individual a las personas. En este sentido, el acceso a Internet y a los ordenadores se utiliza como proxy para su uso.

Datos Icfes / Pruebas internacionales: Saber 9, Saber 11

Otros datos: C600

Año de inicio: 2022

Año de finalización: 2023

Título: Efecto en la calificación de incluir ítems con comportamiento psicométrico inadecuado

Investigadores Icfes: Andres Rodríguez, Nelson Rodríguez, Alexander Calderón, Ricardo Duplat, Jenny Martinez, Nila Amaya, Sebastian Arguello, Enrique Lopez, Karen Cordoba.

Estado del proyecto: En curso

Línea de investigación: 5. Análisis de calidad de las pruebas y los ítems

Palabras clave: Parámetros de ítems, índices psicométricos, efecto en medición, estadísticas de posición.

Pregunta de investigación: ¿Cuál es el efecto psicométrico en la prueba y en los evaluados de incluir ítems con comportamiento psicométrico inadecuado?

Objetivos: Evaluar mediante índices psicométricos el efecto en la calidad de la prueba y las implicaciones en los evaluados de pruebas Saber debido a la inclusión de ítems con comportamiento psicométrico inadecuado.

Justificación: En los análisis de ítems realizados a las pruebas aplicadas por el Instituto se identifican algunos ítems con parámetros fuera de los rangos esperados para tener un comportamiento adecuado según la literatura psicométrica. Con el fin de clarificar el efecto en la medición y robustecer la toma de decisiones acerca de la inclusión o exclusión de estos ítems en la prueba acordada en los comités de análisis es necesario profundizar en evaluar su efecto.

Metodología: Se siguen dos enfoques, en el primero se evalua el efecto en pruebas simuladas incluyendo ítems con comportamiento psicométrico inadecuado y el segundo evaluando el efecto de la exclusión de ítems con comportamiento psicométrico inadecuado sobre una selección de aplicaciones de pruebas Saber.

Datos Icfes / Pruebas internacionales: Saber 11, Saber Pro, Saber TyT.

Otros datos: Simulaciones

Resultados: Los ítems con comportamiento psicométrico inadecuado no brindan información en la estimación de la habilidad de Los evaluados. En la simulación la exclusión de ítems con comportamiento psicométrico inadecuado aumenta la confiabilidad de la prueba.

Año de inicio: 2021

Año de finalización: 2022

Título: Impacto de los puntajes de Saber 11 en el desempeño de los estudiantes de la Universidad Nacional de Colombia

Investigadores Icfes: Adrián Quintero, Alexander Calderón, Daniel Montenegro

Investigadores externos: Richard Shavelson

Institución de afiliación del Investigador externo: Universidad de Stanford

Estado del proyecto: En curso

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Desempeño universitario, Saber 11, programas universitarios

Pregunta de investigación: ¿Qué tan importante es cada prueba de Saber 11 para predecir el desempeño de los estudiantes en los diferentes programas de la Universidad Nacional?

Objetivos: Conocer los factores asociados al desempeño de los estudiantes en la universidad y además determinar el efecto de las pruebas de Saber 11. Determinar cómo difiere el efecto de las variables relevantes y de las pruebas de Saber 11 en las diferentes carreras en la universidad

Justificación: Mediante esta investigación se busca identificar cuáles componentes de las pruebas de Saber 11 tienen un impacto importante en el desempeño de los estudiantes universitarios, y el análisis se hará teniendo en cuenta la carrera que cursa el estudiante. Se han ajustado los modelos iniciales de TRI multivariada para obtener los puntajes de las competencias y se tienen los datos de los estudiantes en la universidad.

Metodología: Modelos de regresión tomando como variable respuesta el desempeño en la universidad y usando como covariables los puntajes en Saber 11 y otras variables de interés

Datos Icfes / Pruebas internacionales: Saber 11 (2014-2)

Otros datos: Resultados agregados de los estudiantes en la UNAL en 2021

Resultados: Los puntajes de Saber 11 tienen un efecto significativo en el desempeño de UNAL

Resumen: Para determinar qué tan importante es cada una de las pruebas de Saber 11 en el desempeño de los estudiantes en la universidad, se ajustan modelos tomando como variable respuesta el puntaje promedio del estudiante en la universidad y tomando como covariables algunas variables de control y los puntajes en las pruebas de Saber 11. Se incluye un efecto aleatorio para los puntajes de cada prueba, de manera que se pueda observar el efecto de cada prueba en cada carrera.

Año de inicio: 2021

Año de finalización: 2022

Título: Diseño de escala vertical para Saber 3°, 5°, 7°, 9°

Investigadores Icfes: Adrián Quintero, Karen Córdoba, Alexander Calderón, Rocío Barajas, Ricardo Narváez

Estado del proyecto: En curso

Línea de investigación: 3. Nuevas tecnologías de evaluación

Palabras clave: Escala vertical; Saber 3°, 5°, 7°, 9°

Pregunta de investigación: ¿De qué manera se puede diseñar una escala vertical para las pruebas Saber 3°, 5°, 7°, 9° de 2021?

Objetivos: Diseñar una escala vertical que incluya preguntas comunes entre grados de manera que se pueda tener una escala común de calificación para todos los grados

Justificación: Dado el estudio que se quiere hacer de trayectorias educativas con las pruebas Saber 3°, 5°, 7°, 9°, es necesario crear una escala que sea comparable entre grados para los puntajes de la prueba

Metodología: Escala vertical en la cual se tienen preguntas comunes entre grados

Datos Icfes / Pruebas internacionales: Estructura de diseño de la prueba Saber 3, 5, 7, 9 (2021) de acuerdo con el número de ítems por grado y componente

Resultados: Se definió el número de ítems que se deben poner en común entre grados y las características de los ítems en términos de la competencia que miden y el nivel de dificultad

Resumen: Para la escala vertical de Saber 3°, 5°, 7°, 9° se definió el número de ítems que se deben poner en común entre grados y las características de los ítems en términos de la competencia que miden y el nivel de dificultad

Año de inicio: 2021

Año de finalización: 2022

Título: Barreras de acceso y permanencia a la educación post-secundaria en Colombia: evidencia para cinco zonas del país

Investigadores Icfes: Alexander Villegas, Lorena Trujillo

Investigadores externos: Luz Karime Abadía Alvarado, Gloria Lucía Bernal Nisperuza, Silvio Fernando López Mera, Iván Ernesto Morales Celis, Yessica Yesenia Valencia Yepes, Juliana Sofía Aragón Acevedo

Institución de afiliación del Investigador externo: LEE-Javeriana, LEE-Javeriana, LEE-Javeriana, ICETEX, ICETEX, ICETEX

Estado del proyecto: Finalizado

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Educación superior, acceso, permanencia, barreras, Colombia

Pregunta de investigación: ¿Cuáles son las principales barreras de acceso y permanencia en la educación post-secundaria en las xonas de: Chocó, Buenaventura, Archipiélago de San Andrés y Providencia, Risaralda y Catatumbo?

Objetivos: Desarrollar un estudio que indague sobre las principales barreras de acceso y permanencia en la educación post-secundaria en Colombia.

Justificación: En la actualidad, y en especial las naciones de ingresos bajos y medios, se registran dificultades recurrentes que impiden que buena parte de la población, especialmente la más pobre o vulnerable, pueda acceder y permanecer en este nivel de formación. Dificultades que van desde restricciones económicas propias o de los hogares, como desmotivación de lo que se estudia, desinterés por el estudio y otros factores que pueden clasificarse en temas psicológicos, de salud, familiares, sociales, entre otros. Por tanto, es relevante en el debate público y político a nivel mundial, identificar y analizar las barreras preponderantes y las que son poco importantes que deben afrontar las sociedades contemporáneas para acceder y mantenerse en el sistema educativo, en particular, el post-secundario. Esto con el fin de diseñar e implementar las estrategias pertinentes que permitan el tránsito exitoso de las personas en el sistema educativo, acciones que deben estar sustentadas en evidencia suficiente y rigurosa.

Metodología: Descriptivo, aplicación de encuesta autodiligenciada via web

Datos Icfes / Pruebas internacionales: Datos de contacto del DIIN

Otros datos: Levantamiento mediante encuesta, SNIES

Resultados: Los resultados indican, que si bien la relevancia dominante son las restricciones económicas de los bachilleres colombianos y sus hogares para ingresar y permanecer en los estudios post-secundarios, hay otros factores como la falta de conocimiento de las fuentes de financiación disponibles en el país y de la oferta académica, que también determinan la matrícula o la continuidad en el estudio. Para quienes lograron acceder, las becas nacionales y departamentales son fuentes de financiación importantes.

Resumen: Se ha demostrado con evidencia rigurosa los impactos positivos a nivel individual y social de invertir en educación, especialmente la de calidad, tanto por parte de las personas como por los Estados, por lo que los gobiernos de las naciones contemporáneas deben reunir esfuerzos por reducir todas aquellas barreras económicas y no económicas que impiden que el grueso de la población que lo desea, acceda y permanezca en educación terciaria. En este sentido, el presente documento tiene como objetivo la identificación y análisis de las principales barreras de acceso y permanencia a la educación post-secundaria (la cual incluye la superior) por parte de la población en cinco zonas del país: Chocó, Buenaventura, San Andrés, Catatumbo y Risaralda. Para ello, se construyó una encuesta de seguimiento dirigida a los bachilleres de estas regiones, la cual se aplicó de forma virtual y fue autodiligenciada por 420 individuos. Los resultados indican, que si bien la relevancia dominante son las restricciones económicas de los bachilleres colombianos y sus hogares para ingresar y permanecer en los estudios post-secundarios, hay otros factores como la falta de conocimiento de las fuentes de financiación disponibles en el país y de la oferta académica, que también determinan la matrícula o la continuidad en el estudio. Para quienes lograron acceder, las becas nacionales y departamentales son fuentes de financiación importantes.

Año de inicio: 2021

Año de finalización: 2023

Título: Provisión de información dinámica: la estrategia del Icfes-Bot

Investigadores Icfes: Felipe Lizarazo, Iván Camilo Velásquez

Investigadores externos: Eric Bettinger, Michael Kremer, Christopher Nielsen, Juan Saavedra y Christian Posso

Institución de afiliación del Investigador externo: Stanford, Chicago, Yale, Harvard, Banco de la República

Estado del proyecto: En curso

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Bot, acceso a la educación terciaria, retornos a la educación superior y oportunidades de financiación.

Pregunta de investigación: ¿En Colombia, dar información a los estudiantes de educación media, sobre alternativas de estudio y rendimientos de educación superior, a través de la interacción con un robot, tiene efecto sobre su probabilidad de ingreso a educación terciaria?

Objetivos: Evaluar el impacto de la estrategia dinámica de provisión de información, Icfes-Bot. El Icfes-Bot es un herramienta, robot, que brindaba información a los estudiantes que presentaban la prueba Saber 11, para que estos pudieran tomar decisiones más acertadas sobre su paso hacia la educación superior. La entrega de información consistía en una interacción de los estudiantes con un robot. La interacción se basa en modelos de Inteligencia artificial, alimentados por datos del Icfes, Icetex, y por las respuestas de los estudiantes a preguntas que indagan sus gustos por educación superior.

Justificación: Muchos países han adoptado políticas para informar a los estudiantes sobre educación superior en términos de alternativas de estudio y opciones de financiamiento. Estas políticas, no solo ha sido demostrado que contribuyen para reducir la brecha en la información que poseen los estudiantes de contextos vulnerables con respecto a sus pares de contextos más favorecidos, sino también ha sido probado que son estrategias costo-efectivas. Sin embargo, a pesar de los esfuerzos que se han hecho desde la política pública, la información que poseen los estudiantes sobre educación superior aun es escasa y el acceso a esta permanece siendo desigual.

Metodología: Basado en asignación aleatoria del tratamiento -la interacción con el bot-, para dar cuenta del efecto causal de la intervención, se regresa el ingreso a educación terciaria sobre el tratamiento y se controla por características socioeconómicas. Se estiman a su vez efectos heterogéneos.

Datos Icfes / Pruebas internacionales: Información del tráfico en web recogida durante la consulta de resultados del Saber11 y resulados de la interacción de los esudianes con el bot. Resultados Saber11 y SNIES.

Otros datos: SNIES, Icetex.

Resumen: Este proyecto busca, a través de los avances en las ciencias de la computación e inteligencia artificial, proveer información de manera dinámica a los estudiantes mediante un chat interactivo conocido como el Icfes-Bot. El Icfes- Bot es una herramienta que toma información administrativa disponible, proveniente del Ministerio de Educación Nacional y de las páginas web de las Instituciones de educación Superior, y la entrega en formato de una conversación. El Icfes-bot aprende de las interacciones con los estudiantes con dos fines: a) maximizar la probabilidad de que el estudiante quiera seguir interactuando con él y b) suministrar cada vez mejor la información, es decir, proveer información que se ajusta mejor a los programas que le gustan al estudiante.

Año de inicio: 2021

Año de finalización: 2022

Título: Icfes Pop-ups Overcoming Informational and Behavioral Obstacles in Access to Tertiary Education.
Icfes Pop-ups Superando Obstáculos Informativos y de Comportamiento en el Acceso a la Educación Terciaria

Investigadores Icfes: Iván Velásquez, Felipe Lizarazo

Investigadores externos: Eric Bettinger, Michael Kremer, Christopher Nielsen, Juan Saavedra y Christian Posso

Institución de afiliación del Investigador externo: Stanford, Chicago, Yale, Harvard, Banco de la República

Estado del proyecto: En curso

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Pop ups , acceso a la educación terciaria, retornos a la educación superior

Pregunta de investigación: ¿En Colombia, dar información a los estudiantes de educación media, sobre alternativas de estudio y rendimientos de educación superior, a través de la intervención de un pop-up, tiene efecto sobre su probabilidad de ingreso a educación terciaria?

Objetivos: Evaluar el impacto de la estrategia dinámica de provisión de información, Pop-ups. Los pop-ups son una herramienta de entrega de información. En este contexto, se busca brindarles información a los estudiantes a través de pop-ups, para que estos pudieran tomar decisiones más acertadas sobre su paso hacia la educación superior. La entrega de información consistía en una ventana emergente, con una frase de motivación y con un link, que dirigía al estudiante, a páginas donde podía ampliar su conocimiento sobre beneficios y características de la educación superior.

Justificación: Muchos países han adoptado políticas para informar a los estudiantes sobre educación superior en términos de alternativas de estudio y opciones de financiamiento. Estas políticas, no solo ha sido demostrado que contribuyen para reducir la brecha en la información que poseen los estudiantes de contextos vulnerables con respecto a sus pares de contextos más favorecidos, sino también ha sido probado que son estrategias costo-efectivas.Sin embargo, a pesar de los esfuerzos que se han hecho desde la política pública, la información que poseen los estudiantes sobre educación superior aun es escasa y el acceso a esta permanece siendo desigual.

Metodología: Basado en asignación aleatoria del tratamiento, para dar cuenta del efecto causal de la intervención, se regresa el ingreso a educación terciaria sobre el tratamiento y se controla por características socioeconómicas. Se estiman a su vez efectos heterogéneos. También, se entrenan modelos de Machine Learning: logit, lasso y XGBoost; para hallar variables predictoras del ingreso educación terciaria.

Datos Icfes / Pruebas internacionales: Información del tráfico en web recogida durante la consulta de resultados del Saber11; Resultados Saber11 y SNIES.

Otros datos: SNIES

Resultados: No hay efectos en términos agregados. Se encuentra efecto en la población de estratos más altos y en programas STEM. A su vez, hay efectos heterogéneos por genero, habilidad alta y programas STEM. Aun en proceso.

Resumen: Este proyecto estudia si el brindarles información a los estudiantes sobre educación superior, tiene algún efecto sobre sus decisiones de ingreso a educación terciaria. La provisión de información consistió en el envío de información localizada en una o varias páginas web gubernamentales, donde los estudiantes podían hacer su propia búsqueda sobre distintos aspectos relacionados a los programas de educación superior como salarios de enganche, costos de matrícula, entre otros. La transmisión de dicha información se realizó a través de ventanas emergentes (Pop-ups) que les aparecía a los estudiantes en el momento de consultar sus resultados en el examen Saber 11. Los estudiantes fueron incentivados a acceder a estos portales a partir de varios mensajes que buscaban motivar a los estudiantes a acceder a la educación terciaria.

Año de inicio: 2021

Año de finalización: 2023

Título: Evaluación de un chatbot inteligente en la calidad de atención ciudadana y las actitudes laborales de los funcionarios

Investigadores Icfes: Iván Velásquez, Lorena Trujillo

Investigadores externos: Julieth Santamaria Bonilla, Benjamin Roseth

Institución de afiliación del Investigador externo: BID

Estado del proyecto: En curso

Línea de investigación: 8. Apropiación social de la evaluación

Palabras clave: Chatbot, atención al ciudadano, barreras de acceso a la educación, solicitudes de información

Pregunta de investigación: ¿Un bot puede mejorar la atención al ciudadano?, ¿puede disminuir las barreras de acceso a la educación? ¿puede reducir el flujo de solicitudes de información?

Objetivos: Analizar si la implementación de una herramienta de inteligencia artificial ayuda a brindar una mejor atención al ciudadano, disminuye las barreras de acceso a la educación, y reduce el flujo de solicitudes de información al ICFES

Justificación: En una región caracterizada por una alta complejidad burocrítica asociada a los servicios públicos y una desigualdad endémica, no brindar atención oportuna a las preguntas del ciudadano puede restringir su acceso a derechos fundamentales y exacerbar las brechas de acceso entre diferentes segmentos de la población. Por esto, mejorar los canales de comunicación entre el gobierno y el ciudadano es fundamental. Al mismo tiempo, reducir la carga de tareas rutinarias de los funcionarios puede mejorar los índices de satisfacción, motivación y compromiso laboral, los cuales están estrechamente vinculados a la productividad.

Metodología: RCT: experimento aleatorio controlado. Diseño experimental del estudio: Incluye (i) Estratificar los 1.103 municipios de Colombia de acuerdo con una medida de ingreso; (ii) Asignar aleatoriamente a los municipios dentro de cada quintil de ingreso a uno de los tres brazos de intervención: aquellos que recibirán la promoción aleatoria del chatbot inteligente, y aquellos que no recibirán ninguna promoción; (iii) Definir el tiempo de exposición a la intervención, aspirando tentativamente un periodo de intervención de 3-6 meses.

Datos Icfes / Pruebas internacionales: Información de las PQR

Otros datos: SNIES

Resumen: Analizar si la implementación de una herramienta de inteligencia artificial ayuda a brindar una mejor atención al ciudadano, disminuye las barreras de acceso a la educación, y reduce el flujo de solicitudes de información al ICFES.

Año de inicio: 2021

Año de finalización: 2022

Título: Entendiendo la brecha de género en el desempeño en matemáticas: evidencia para Colombia

Investigadores Icfes: Daniel Cañizares

Investigadores externos: Alejandro Ome, Luis F. Gamboa

Institución de afiliación del Investigador externo: Universidad de Chicago, Universidad Javeriana

Estado del proyecto: En curso

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Brecha de género, regresión cuantitativa, abandono escolar, docentes, educación

Pregunta de investigación: ¿Cuáles son los principales impulsores de la brecha de género en el logro matemático en la educación secundaria colombiana?

Objetivos: Identificar, mediante el testeo de diveras hipótesis, cuáles son los determinates de la brecha de género en el logro académico en matemáticas. Estimar las interacciones entre el género del estudiante y del maestro y su efecto sobre el logro académico en matemáticas.

Justificación: La importancia de estudiar las fuentes de las brechas de género en el rendimiento académico para el desarrollo económico incluye, entre otros factores, que los puntajes en matemáticas son uno de los posibles determinantes de los ingresos futuros. Autores como Brown y Corcoran, 1997; Murnane et al., 1995; Paglin y Rufolo, 1990; relacionan las brechas de género en matemáticas y ciencias como predictores de ingresos. Además, los puntajes de Matemáticas son un buen predictor de resultados académicos fructíferos y otros resultados educativos. Es por eso que es importante averiguar los principales impulsos del enfoque de género en matemáticas en la escuela secundaria, para que los responsables políticos puedan tener una idea de dónde enfocarse.

Metodología: Uso de datos longitudinales para estimar cómo las características familiares y escolares afectan la brecha de género en los últimos dos años de secundaria, el control de los logros matemáticos en el grado 9. Nuestros datos nos permiten explorar una serie de posibles impulsores de las brechas de género, incluyendo las características de la escuela y el maestro, la composición del hogar y el desgaste selectivo. También utilizamos la regresión cuántica para explorar de dónde proviene el aumento de la brecha de género en la distribución de logros.

Datos Icfes / Pruebas internacionales: Saber 9 & saber 11

Otros datos: Anexo 3A – r166

Resultados: Se encontró que el desgaste explica 0.3 SD de la brecha de género; los hallazgos también sugieren que tener una maestra contribuye a cerrar la brecha casi en su totalidad, tal vez debido a un efecto de modelo en las alumnas

Resumen: Una rica literatura empírica documenta la existencia de una brecha de género a favor de los hombres en el rendimiento en matemáticas. Este patrón se ha observado en países ricos (Fryer y Levitt, 2010; Contini, Tommaso y Mendolia 2017), países de renta media (Bharadwaj, Giorgi, Hansen, Neilson 2016; Muñoz, 2018) y países de renta baja (Dickerson, McIntosha y Valenteb 2015). En este estudio utilizamos datos administrativos de Colombia para analizar la evolución de la brecha de género entre grados y explorar una serie de hipótesis sobre las principales fuerzas que la impulsan. Si bien documentamos la brecha de género a lo largo de la escuela primaria y secundaria, la mayor parte del análisis se enfoca en la brecha de género durante los dos últimos años de la escuela secundaria. Durante este período, la brecha de género se duplica en magnitud, pasando del 17 por ciento de una desviación estándar en el grado 9, al 34 por ciento de una desviación estándar en el grado 11.

Link de la publicación: Clic aquí para consultar documento.

Año de inicio: 2020

Año de finalización: 2022

Título: On the comparability of scores from paper- and computer-based achievement tests: Challenges and findings from quasi-experiments.
Comparabilidad de pruebas en papel y computador: retos y hallazgos a partir de cuasiexperimentos.

Investigadores Icfes: Adrián Quintero, Andrés Rodríguez, Ricardo Duplat, Alexander Calderón

Investigadores externos: Richard Shavelson

Institución de afiliación del Investigador externo: Universidad de Stanford

Estado del proyecto: Finalizado

Línea de investigación: 3. Nuevas tecnologías de evaluación

Palabras clave: Comparabilidad, pruebas en computador, pruebas en papel

Pregunta de investigación: ¿Son comparables las pruebas en papel y en computador para las pruebas Saber 3, 5, 9?

Objetivos: Analizar si los puntajes obtenidos de la prueba en computador se pueden considerar equivalentes a los de la prueba en papel. Indagar en las características de los ítems que se comportan diferente en las dos versiones de la prueba

Justificación: Con el fin de analizar si las pruebas en papel y en computador son comparables, se realizó un cuasiexperimento en 2019 con Saber 3.o, 5.o, 9.o. El análisis de estos datos no es directo debido a la forma como se seleccionaron las muestras a conveniencia de colegios que presentarían la prueba en papel y en computador

Metodología: Se utiliza emparejamiento de muestras (matching) para realizar análisis diferencial de los ítems (DIF) y se ajusta un modelo multinivel para determinar el efecto de presentar la prueba en un formato o en otro

Datos Icfes / Pruebas internacionales: Saber 3, 5, 9 (2019)

Otros datos: N/A

Resultados: Se encuentra que el número de ítems con comportamiento diferencial es mayor en los grados inferiores y que los estudiantes de grado noveno obtienen un promedio menor en computador que en papel

Resumen: Se evaluó la comparabilidad de los puntajes de las pruebas en computadora y en papel utilizando datos de la prueba de rendimiento SABER de Colombia administrada en los grados 3, 5 y 9. Las escuelas y sus estudiantes que tienen instalaciones tecnológicas para las pruebas por computadora en la muestra diferían de las escuelas /estudiantes sin tales recursos, donde se tuvo que administrar la versión en papel. En consecuencia, existen diferencias sustanciales en las dos muestras de estudiantes. En este artículo discutimos los desafíos que plantea este tipo de estudio, ya que es bien sabido que emplear experimentos controlados es la mejor alternativa, pero en muchos casos los cuasi-experimentos son la única opción disponible. Por lo tanto, implementamos métodos de emparejamiento antes del análisis del funcionamiento diferencial de los elementos (DIF) y proponemos un modelo multinivel para estimar los efectos de formato eliminando las diferencias observables entre las muestras emparejadas. En cada paso, discutimos las limitaciones e implementamos estrategias para hacer nuestro mejor uso de los datos para sacar conclusiones. Encontramos una disminución en el DIF para los grados más altos y, en su mayoría, efectos de formato pequeño que variaban entre los grados entre la computadora y el papel.

Links de la publicación:
Documento de trabajo Saber Investigar
Relatos del Saber

Año de inicio: 2020

Año de finalización: 2021

Título: Acomodaciones en Saber 3.°, 5.°, 9.°

Investigadores Icfes: Alexander Calderón, Andres Rodríguez, Rocío Barajas, Karen Córdoba.

Investigadores externos: Richard Shavelson

Institución de afiliación del Investigador externo: Universidad de Stanford

Estado del proyecto: Finalizado

Línea de investigación: 2. Evaluación inclusiva y diversa

Palabras clave: Evaluados con discapacidad, acceso, acomodación, rediseño de ítems, profesionales de apoyo.

Pregunta de investigación: ¿Cuál es el efecto del rediseño de los ítems a nivel psicométrico y de desempeños en los estudiantes con y sin discapacidad? ¿Cuál es el efecto de los apoyos en los desempeños de los evaluados con discapacidad? ¿Cuál es el efecto de los filtros de facilitación de los ítems a nivel psicométrico y de desempeños en los estudiantes con y sin discapacidad?

Objetivos: Evaluar el efecto de las diferentes acomodaciones en la calidad psicométrica de los ítems y de las pruebas y en el desempeño de los evaluados con y sin discapacidad.

Justificación: En 2019 se realizaron dos experimentos de Acomodaciones en la prueba Saber 3.°, 5.°, 9.° 2019, el primero (Formas 2 y 3) relacionado con el rediseño de ítems y asignación de apoyos a estudiantes con discapacidad y el segundo (Formas 1 y 15) con la aplicación de filtros de facilitación y facilitación a los ítems. El interés es evaluar el efecto de las diferentes acomodaciones en la calidad psicométrica de los ítems y de las pruebas y en el desempeño de los evaluados con y sin discapacidad.

Metodología: Se siguen varias líneas de análisis para cada experimento. La primera relacionada con Teoría Clásica de los Test (TCT) en donde se comparan confiabilidades, desempeños promedios y análisis ítem a ítem. La segunda relacionada con Análisis de varianza (ANOVA) y comparación de medias para medir la significancia de los efectos. La última relacionada con Teoría de Respuesta al ítem (TRI) a través de modelos logísticos de dos parámetros (2PL), en donde se obtienen y comparan las funciones de respuesta de los ítems y la distribución de puntajes.

Datos Icfes / Pruebas internacionales: Saber 3, 5, 9 (2019)

Otros datos: N/A

Resultados: Las acomodaciones en los ítems tuvieron un efecto positivo en la medición, dado que mejoraron las propiedades psicométricas de las pruebas y los desempeños de los estudiantes fueron más altos. Sin embargo, por las limitaciones de los experimentos no hay total claridad sobre los elementos que dan cuenta de los resultados.

Resumen: En la aplicación piloto de las pruebas Saber 3.o, 5.o y 9.o realizada en 2019, se llevaron a cabo dos experimentos enfocados en identificar elementos que permitieran aumentar la accesibilidad de las pruebas para las personas con discapacidad y mejorar la precisión de la medida para este grupo poblacional. El primer experimento consistió en la implementación de acomodaciones (rediseño), y el segundo experimento consistió en la selección y el ajuste de ítems para obtener formas de prueba con una menor dificultad teórica, ambas con el objetivo de reducir posibles barreras en el abordaje para la población con discapacidad (facilitación). Los resultados de estos experimentos evidenciaron que tanto el rediseño de los ítems como su facilitación tuvieron un efecto positivo en la medición puesto que las propiedades psicométricas de las pruebas mejoraron, y los desempeños de los diferentes grupos de estudiantes fueron más altos, especialmente de los estudiantes con discapacidad. Así mismo, se observa en que con la facilitación de los ítems se logró obtener información más precisa de las habilidades de los estudiantes con discapacidad.

Año de inicio: 2020

Año de finalización: 2022

Título: Aplicación de atributos lingüísticos para calificación de pregunta abierta

Investigadores Icfes: Camilo Noriega, George Dueñas, Omar Tijaro, Adrián Quintero, Daniel Montenegro

Estado del proyecto: En curso

Línea de investigación: 4. Metodologías de calificación y codificación

Palabras clave: Atributos, codificación, ensayos

Pregunta de investigación: ¿Se puede construir un modelo que prediga adecuadamente la codificación de los textos a partir de los atributos linguisticos definidos?

Objetivos: Realizar un análisis descriptivo de los atributos en los ensayos de las pruebas Saber Pro y Saber TyT. Ajustar un modelo predictivo para el valor de la codificación de los ensayos con base en los atributos

Justificación: Como una aproximación inicial a la evaluación automática de textos en español, se revisó la literatura para seleccionar una batería de atributos que se pueden extraer de los escritos (por ejemplo, el número de palabras) y que están relacionados que los puntajes asignados por los codificadores. En el 2020 se adelantó este proyecto y se escribió un documento resumen.

Metodología: Inicialmente se realiza un análisis descriptivo de los atributos definidos para los textos. Posteriormente, se realiza una selección de los atributos con regresión ordinal penalizada. Por último, se evalúa la capacidad de predicción del modelo a partir de los atributos seleccionados.

Datos Icfes / Pruebas internacionales: Saber TyT y Saber Pro electrónicas

Otros datos: N/A

Resultados: Los modelos pueden predecir con un 70% de precisión la codificación humana

Resumen: La evaluación de ensayos se apoya en establecer parámetros cuantificables que permitan asignar una calificación dependiendo de la manera como el autor de tal texto aborda la temática. En el proceso de evaluación interviene una etapa denominada codificación que consiste en clasificar cada texto dentro de cuatro niveles siguiendo una rejilla de codificación. Este proceso se realiza por codificadores humanos quienes han recibido capacitación para seguir una rúbrica de evaluación. A partir de una lista de atributos definidos para los ensayos, se desarrolla un modelo para predecir la codificación de manera automática.

Año de inicio: 2020

Año de finalización: 2022

Título: Evolución de la brecha de desempeño por sexo a través de los grados 3°, 5° y 9°

Investigadores Icfes: Adrián Quintero, Sun Yin Huang

Investigadores externos:

Institución de afiliación del Investigador externo:

Estado del proyecto: En curso

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Brecha de género en el desempeño de pruebas, pruebas no comparables

Pregunta de investigación: ¿Cómo evoluciona la brecha por sexo a través de la educación básica primaria y secundaria?

Objetivos: Proponer una metodología para la medición de brechas de desempeño por sexo, la cual permite cuantificar y analizar su evolución a través de diferentes grados. Analizar la evolución de las brechas por sexo en Colombia

Justificación: Evolución de la brecha de desempeño por sexo a través de los grados 3°, 5° y 9°: Dado que no es posible comparar los puntajes en los diferentes grados, se propone una metodología para analizar si una brecha cambia a partir de una metodología de rangos. De esta manera se puede determinar si la brecha de sexo está aumentando, disminuyendo o se mantiene a través de los grados.

Metodología: Prueba no paramétrica para comparar dos poblaciones (equivalente a la estadística U de la prueba no paramétrica de Mann-Whitney)

Datos Icfes / Pruebas internacionales: Saber 3, 5, 9 (2015)

Otros datos: N/A

Resultados: En lenguaje aumenta la brecha a favor de mujeres entre tercero y quinto, mientras que para matemáticas la brecha es nula entre tercero y quinto, pero se abre la brecha a favor de los hombres entre quinto y noveno

Resumen: Dado que en las pruebas Saber 3°, 5° y 9° cada grado tiene una escala de calificación independiente, no es posible analizar de manera directa si la brecha por sexo está aumentando o disminuyendo entre grados. Por lo tanto, se propone una metodología basada en rangos, la cual permite analizar si la brecha cambia de manera significativa o se mantiene entre grados.

Link de la publicación: Clic aquí para consultar documento.

Año de inicio: 2020

Año de finalización: 2021

Título: Análisis factorial confirmatorio utilizando estimación Bayesiana

Investigadores Icfes: Adrian Quintero

Investigadores externos: Pedro Ribeiro

Institución de afiliación del Investigador externo: Universidad de Adelaida

Estado del proyecto: Finalizado

Línea de investigación: 5. Análisis de calidad de las pruebas y los ítems

Palabras clave: Análisis factorial confirmatorio, métodos Bayesianos

Pregunta de investigación: ¿La escala de apoyo social percibido constituye una medida válida de apoyo social para la población Australiana de adultos?

Objetivos: Determinar si la escala de apoyo social percibido constituye una medida válida de apoyo social para la población Australiana de adultos

Justificación: Los métodos Bayesianos para análisis factorial confirmatorio ofrecen ventajas que no han sido muy exploradas. En este artículo se utilizan esas ventajas aplicando el método a una base de datos de Australia

Metodología: Análisis factorial confirmatorio Bayesiano. Análisis factorial confirmatorio Bayesiano. Los datos procedían de la Encuesta Nacional de Salud Bucal de Adultos de Australia 2004-2006 e incluyeron a 3899 participantes de 18 años o más. Las propiedades psicométricas se evaluaron con análisis factorial confirmatorio bayesiano. Se evaluaron las estructuras de uno, dos y tres factores (persona importante, familia y amigos).

Datos Icfes / Pruebas internacionales: N/A

Otros datos: Multidimensional Scale of Perceived Social Support (MSPSS) in Australia

Resultados: El MSPSS demostró buenas propiedades psicométricas y excelente confiabilidad en una muestra australiana grande. Este instrumento se puede aplicar en encuestas nacionales y proporciona evidencia del papel del apoyo en la población australiana.

Resumen: Se utilizaron métodos de análisis factorial confirmatorio desde una perspectiva bayesiana con el fin de validar la escala de soporte social percibido (MSPSS, por sus siglas en inglés). Se compararon los modelos con uno, dos y tres factores, con el fin de evaluar su ajuste desde una perspectiva Bayesiana. De esta manera, se encontró que la escala MSPSS presenta buenas cualidades psicométricas y una confiabilidad excelente.

Link de la publicación: Clic aquí para consultar documento

Año de inicio: 2020

Año de finalización: 2021

Título: Evaluar para Avanzar 3° a 11°: Cuestionarios Auxiliares como medición complementaria de la valoración educativa durante la contingencia sanitaria

Investigadores Icfes: Jenny Cárdenas, Juan Contreras, Daniel Guerrero

Estado del proyecto: Finalizado

Línea de investigación: 1. Nuevos dominios de evaluación

Palabras clave: EPA, cuestionarios auxiliares, matematicas, lectura.

Pregunta de investigación: ¿Existe alguna relación entre los Cuestionarios Auxiliares y los resultados en competencias básicas, de la estrategia Evaluar para Avanzar 3° a 11°, como instrumentos de la valoración educativa durante la contingencia sanitaria?

Objetivos: Analizar las características psicométricas de los Cuestionarios Auxiliares de la estrategia Evaluar para Avanzar 3° a 11° como medición complementaria de la valoración educativa durante la contingencia sanitaria y su relación con los resultados en competencias básicas

Justificación: Este proyecto de investigación surge de la importancia de observar la evidencia empírica sobre la relación entre las habilidades socioemocionales, el involucramiento parental y el desarrollo de competencias básicas en matemáticas y lectura, a través de los resultados de las aplicaciones de los Cuestionarios Auxiliares del Proyecto Evaluar para Avanzar, por lo que presentan los resultados del análisis de las correlaciones subyacentes entre estos instrumentos en el contexto colombiano en tiempos de pandemia.

Metodología: Se implemento una metodologia cuantitativa por medio de un modelo de regresión lineal por Mínimos Cuadrados.

Datos Icfes / Pruebas internacionales: Estudiantes que contestaron los cuadernillos auxiliares y los modulos de competencias basicas desde primaria hasta la media

Otros datos: N/A

Resultados: Los resultados muestran que en la evidencia tiene confianza en su capacidad para desarrollar tareas y alcanzar objetivos que midió Autoeficacia, se encontró que la respuesta esperada seleccionada por los estudiantes está relacionada positiva y significativamente con un porcentaje de respuestas correctas mayor en Matemáticas y en Competencias Comunicativas en Lenguaje: Lectura, en los ciclos de Educación básica primaria y secundaria, sin embargo, esa misma relación no se encontró para todos los ítems en las pruebas de Matemáticas y Lectura Crítica en el nivel de Educación Media. Con respecto a Empatiza con otros que midió Empatía, se encontró que la respuesta esperada seleccionada por los estudiantes está relacionada positiva y significativamente con un porcentaje de respuestas correctas mayor en Matemáticas y en Competencias Comunicativas en Lenguaje. Y finalmente, la respuesta esperada seleccionada por los estudiantes de primaria en la evidencia 2.2 Dispone de apoyo en casa que favorece el aprendizaje que miden la percepción de Involucramiento parental, está relacionado positiva y significativamente con un porcentaje de respuestas correctas.

Resumen: La investigación tiene la finalidad de observar la evidencia empírica sobre la relación entre las habilidades socioemocionales, el involucramiento parental y el desarrollo de competencias básicas en matemáticas y lectura, a través de los resultados de las aplicaciones de los Cuestionarios Auxiliares del Proyecto Evaluar para Avanzar. Se implemento una metodologia cuantitativa por medio de un modelo de regresión lineal por Mínimos Cuadrados, con participación de estudiantes que contestaron los cuadernillos auxiliares y tambien los modulos de competencias basicas desde primaria hasta la media. Los resultados muestran que en la evidencia Tiene confianza en su capacidad para desarrollar tareas y alcanzar objetivos que midió Autoeficacia, se encontró que la respuesta esperada seleccionada por los estudiantes está relacionada positiva y significativamente con un porcentaje de respuestas correctas mayor en Matemáticas y en Competencias Comunicativas en Lenguaje: Lectura, en los ciclos de Educación básica primaria y secundaria, sin embargo, esa misma relación no se encontró para todos los ítems en las pruebas de Matemáticas y Lectura Crítica en el nivel de Educación Media.

Link de la publicación: Clic aquí para consultar documento.

Año de inicio: 2020

Año de finalización: 2021

Título: Evidencias de validez centrada en el proceso de respuesta: una experiencia en las Pruebas Nacionales de la República Dominicana

Investigadores Icfes: Andrea González, Catheryne Lancheros, Jenny Cárdenas

Estado del proyecto: Finalizado

Línea de investigación: 5. Análisis de calidad de las pruebas y los ítems

Palabras clave: Pruebas nacionales, competencias, Republica Dominicana, evaluación, respuestas.

Pregunta de investigación: ¿Cuáles evidencias de validez centradas en los procesos de respuestas se identifican a partir del sondeo verbal y la medición de la latencia en las nuevas Pruebas Nacionales por competencias para los estudiantes de sexto de Secundaria de la República Dominicana?

Objetivos: Analizar la validez de los procesos de respuestas en la prueba a partir de sondeo verbal. Comparar los tiempos de respuesta por pregunta entre áreas y para distintas dificultades de los ítems

Justificación: La República Dominicana está en un proceso de transformación de sus Pruebas Nacionales (PN) con carácter de certificación hacia un enfoque de evaluación por competencias. Por tal motivo es importante considerar las concepciones y percepciones de los distintos actores dentro de este proceso de cambio. ¿Cuáles evidencias de validez centradas en los procesos de respuestas se identifican a partir del sondeo verbal y la medición de la latencia en las nuevas Pruebas Nacionales por competencias para los estudiantes de sexto de Secundaria de la República Dominicana?

Metodología: Esta investigación tiene un enfoque de investigación mixto. ?En primera instancia se utilizan diversos instrumentos como fuente de información, medición de latencia con cuadernillo de preguntas y sondeo verbal por medio de entrevista.

Datos Icfes / Pruebas internacionales: Cuestionario en Plappi, plataforma virtual.

Otros datos: Entrevista

Resultados: Entre los resultados se encuantran que, los evaluados buscan tener como estrategia de análisis centrarse en los esquemas, las gráficas y representaciones para comprender y analizar las opciones de respuesta, en matematicas la estrategia de análisis de la mayoría suele ser comparar las opciones de respuesta con la información del enunciado, la estrategia predominante para la selección de respuesta fue identificar las incoherencias de las opciones presentadas para descartarlas, entre algunas otras para el caso de ciencias sociales y demas pruebas. En la indagación de los ítems se observan las acciones y estrategias cognitivas que se requieren para comprender, recuperar la información y seleccionar la opción considerada correcta, lo que no se limita a la memorización de conceptos, lo que está acorde con el enfoque de evaluación de competencias.

Resumen: La República Dominicana se encuentra en un proceso de transformación de sus Pruebas Nacionales (PN) con carácter de certificación hacia un enfoque de evaluación por competencias y es importante considerar las concepciones y percepciones de los distintos actores para tomarlo en cuenta en el proceso de cambio. En busqueda de cumplir los objetivos esta investigación se desarrolla un enfoque de investigación mixto, en primera instancia se utilizan diversos instrumentos como fuente de información, medición de latencia con cuadernillo de preguntas y sondeo verbal por medio de entrevista. En la indagación de los ítems se observan las acciones y estrategias cognitivas que se requieren para comprender, recuperar la información y seleccionar la opción considerada correcta, lo que no se limita a la memorización de conceptos, lo que está acorde con el enfoque de evaluación de competencias.

Link de la publicación: Clic aquí para consultar documento.

Año de inicio: 2020

Año de finalización: 2021

Título: Evidencias de validez centradas en las consecuencias de uso: una experiencia en las Pruebas Nacionales de la República Dominicana

Investigadores Icfes: Andrea González, Catheryne Lancheros, Jenny Cárdenas

Estado del proyecto: Finalizado

Línea de investigación: 5. Análisis de calidad de las pruebas y los ítems

Palabras clave: Pruebas nacionales, competencias, Republica Dominicana, evaluación.

Pregunta de investigación: ¿Cuáles evidencias de consecuencias de uso de las PN de sexto de Secundaria se identificaron en las entrevistas realizadas a estudiantes, egresados y docentes de la República Dominicana?

Objetivos: Identificar cuáles evidencias de consecuencias de uso de las pruebas nacionales de sexto de Secundaria se identifican en las entrevistas realizadas a estudiantes, egresados y docentes de la República Dominicana

Justificación: Considerar argumentos a favor de las evaluaciones educativas, al indicar que cuando la escuela, el distrito, el Estado u otras autoridades exigen programas de evaluación educativa, deben, en primer lugar, describirse claramente la forma en que van a ser utilizados dichos resultados. Responsabilidad de quienes exigen el uso de pruebas monitorear su impacto e identificar y minimizar el potencial negativo, así como identificar las consecuencias resultantes del uso de las pruebas tanto intencionales como no intencionales.

Metodología: Esta investigación tiene un enfoque de investigación cualitativo, como instrumentos se utilizan, dos protocolos de entrevistas semiestructuradas orientadas según las consideraciones propuestas por Pan (2009).

Datos Icfes / Pruebas internacionales: N/A

Otros datos: Entrevistas semiestructuradas a estudiantes de RD

Resultados: Los resultados de la investigación se pueden clasificar en la población y algunos en agregados por consideraciones sociales, estre ellos, es necesario realimentación de los resultados de las PN para el que hacer docente, se evidencia un estímulo positivo al recibir reconocimiento cuando tienen un buen desempeño en las PN, se tienen expectativas en las familias sobre la aprobación de la prueba, dado el valor cultural de las PN, tambien la incidencia en el acceso a financiación educativa y becas, así como en el proceso de admisión a la universidad y por ultimo el impacto en el ingreso al ámbito laboral. En general se identifica que los participantes de las poblaciones de interés reconocen las Pruebas Nacionales como un examen que tiene un impacto importante, no solo en la vida de los estudiantes, sino también en los egresados, docentes, instituciones y familia.

Resumen: La República Dominicana se encuentra en un proceso de transformación de sus Pruebas Nacionales (PN) con carácter de certificación hacia un enfoque de evaluación por competencias y es importante considerar las concepciones y percepciones de los distintos actores para tomarlo en cuenta en el proceso de cambio. Ahora es necesario preguntarse ¿Cuáles evidencias de consecuencias de uso de las PN de sexto de Secundaria se identificaron en las entrevistas realizadas a estudiantes, egresados y docentes de la República Dominicana?. En busqueda de dar respuesta a la pregunta de investigación, la misma tiene un enfoque de investigación cualitativo, como instrumentos? se utilizan, dos protocolos de entrevistas semiestructuradas orientadas según las consideraciones propuestas por Pan (2009), realizadas a 48 personas entre docentes, estudiantes y egresados. En general se identifica que los participantes de las poblaciones de interés reconocen las Pruebas Nacionales como un examen que tiene un impacto importante, no solo en la vida de los estudiantes, sino también en los egresados, docentes, instituciones y familia.

Link de la publicación: Clic aquí para consultar documento

Año de inicio: 2020

Año de finalización: 2021

Título: Estudio cualitativo sobre la Prueba Pisa para Establecimientos Educativos: calidad, usabilidad y pertinencia de los productos y servicios entregados

Investigadores Icfes: María Camila Gómez Serrano, Jesús Daniel Cañizares, Daniel Guerrero, Carolina Rodas

Estado del proyecto: Finalizado

Línea de investigación: 8. Apropiación social de la evaluación

Palabras clave: PISA para Establecimientos Educativos, usabilidad y pertinencia evaluaciones

Pregunta de investigación: ¿Cuál es la usabilidad y pertinencia que perciben las partes interesadas de los productos y servicios asociados a la aplicación de PISA para Establecimiento Educativos?

Objetivos: Identificar y caracterizar el rol de la OCDE dentro del proceso de aplicación de la prueba PISA para Establecimientos Educativos y el tipo de acompañamiento que el Icfes ha recibido por parte de esta organización. Identificar y caracterizar el rol del Icfes dentro del proceso de aplicación de la prueba PISA para Establecimientos Educativos y en los procesos que se derivan de este análisis e interpretación de resultados, así como también el tipo de acompañamiento brindado por el Icfes a los Establecimientos Educativos y sus patrocinadores. Evaluar la usabilidad y pertinencia que perciben los colegios de los productos y servicios asociados a la aplicación de PISA para Establecimiento Educativos. Construir sugerencias para mejorar los servicios y productos derivados de PISA para Establecimiento Educativos, teniendo en cuenta las necesidades encontradas.

Justificación: Se demanda información sobre el uso que hacen las partes interesadas de los resultados de la prueba Pisa para Establecimientos Educativos que oriente la toma de decisiones.

Metodología: Mediante una metodología de recolección y análisis de información cualitativa, de naturaleza descriptiva se buscaba conocer en detalle el proceso de aplicación de la prueba Pisa para Establecimientos educativos, el rol de los actores involucrados en esta, así como capturar con precisión sus percepciones y consideraciones sobre la usabilidad y pertinencia de los reportes de resultados para los colegios a partir de su experiencia.

Datos Icfes / Pruebas internacionales: N/A

Otros datos: Recolección de información primaria

Resultados: Como resultado principal se determinó que la usabilidad y la pertinencia de los productos y servicios asociados a la aplicación de PISA para Establecimiento Educativos se encuentran bastante restringidas por falta de socialización adecuada, por limitaciones para entender los resultados y conocimiento técnico para aplicar estrategias diferenciadas y porque no se ha involucrado lo suficiente a actores relevantes para el proceso (estudiantes, docentes, directivos, patrocinadores).

Resumen: El estudio permite conocer las experiencias y las principales conclusiones obtenidas por parte de los actores involucrados en el proceso de aplicación de la prueba PISA para Establecimientos Educativos, así como también acerca de las características de dicho proceso, con el fin de contar con información que permita tomar decisiones sobre la aplicación de estas pruebas en Colombia.

Año de inicio: 2020

Año de finalización: 2022

Título: Percepción de los actores de interés sobre los servicios y productos del Icfes

Investigadores Icfes: Luis Eduardo Jaramillo, Diana Alexandra Oquendo, Nicolás Castro Vergara, Sergio Andrés Arango, María Camila Gómez, María Luisa Miranda, Lorena Trujillo, Iván Velásquez y Andrea Cuenca

Estado del proyecto: Finalizado

Línea de investigación: 8. Apropiación social de la evaluación

Palabras clave: Servicios y productos del Icfes

Pregunta de investigación: ¿Cuál es el conocimiento y el uso de los actores de interés de la evaluación y demás productos y servicios ofrecidos por el Icfes?, y además: ¿Qué percepciones tienen los usuarios sobre la pertinencia de la evaluación estandarizada de aprendizajes realizada por el Icfes y sus demás productos y servicios para mejorar la calidad de la educación?

Objetivos: Contribuir a la discusión y aportar evidencia sobre la importancia de conocer la percepción de los usuarios con el entorno de los productos y servicios utilizados, de manera que, plantea recomendaciones para que estas percepciones puedan capturar los retos que como instituto se deben incorporar desde todos los frentes de trabajo con el fin de brindar insumos de calidad que contribuyan al fomento de la calidad de la educación.

Justificación: Resulta de particular importancia recoger información sobre el conocimiento y el uso de la información que genera el Icfes a partir de la evaluación e investigación sobre la calidad educativa y lo pertinentes que les resultan a los usuarios para su toma de decisiones.

Metodología: Para responder a la pregunta de investigación se desarrolló una metodología mixta que involucra el uso simultáneo de métodos cuantitativos y cualitativos (Bryman, 2006) que permitieran una mejor comprensión del problema de investigación que con la aplicación de un solo tipo de método (Creswell & Plano Clark, 2017).

Datos Icfes / Pruebas internacionales: Recolección de datos. Datos primarios.

Otros datos: N/A

Resultados: Existen resultados por producto y pruebas. Algunos resultados son: Del análisis de la información recogida se puede deducir que el Icfes es principalmente reconocido por la aplicación de las pruebas de Estado Se percibe a las evaluaciones del Icfes como un elemento que genera desigualdad y que se presta para comparaciones inadecuadas al ser estandarizada y medir de la misma manera a todos los estudiantes.

Resumen: Resulta relevante preguntarse por el conocimiento y las percepciones de los diferentes actores de la comunidad educativa sobre la usabilidad y pertinencia de estos productos y servicios.

Año de inicio: 2019

Año de finalización: 2022

Título: Análisis factorial Bayesiano aplicado al INSE de Saber 11

Investigadores Icfes: Adrián Quintero

Investigadores externos: Emmanuel Lesaffre, Geert Verbeke

Institución de afiliación del Investigador externo: KU Leuven

Estado del proyecto: Finalizado

Línea de investigación: 5. Análisis de calidad de las pruebas y los ítems

Palabras clave: Análisis factorial exploratorio, estadística bayesiana, muestreo de Gibbsspike-slab prior

Pregunta de investigación: ¿Cuántos factores se están midiendo a partir del cuestionario socioeconómico?

Objetivos: Desarrollar una metodología de análisis factorial Bayesiano que soluciones algunos problemas de las metodologías presentes en la literatura

Justificación: Se hizo una propuesta Bayesiana para seleccionar el número de variables latentes en análisis factorial exploratorio y se aplicó la metodología para determinar el número de factores en el INSE para una muestra de datos de Saber 11.

Metodología: Se propone un método para análisis factorial exploratorio desde una perspectiva Bayesiana, en el cual se selecciona automáticamente el número de factores presentes en los datos y se estiman las cargas factoriales. Para esto, se hace uso de la distribución a priori spike-slab y estimación a posteriori con métodos MCMC.

Datos Icfes / Pruebas internacionales: Saber 11 (2018)

Otros datos: N/A

Resultados: Hay al menos 3 factores asociados a educación de los padres, consumo de alimentos y posesiones en el hogar

Resumen: Los métodos bayesianos convencionales para inferir la dimensionalidad del modelo en el análisis factorial presentan un serio inconveniente. Es decir, el orden de los resultados influye en los resultados, ya que generalmente se asume una estructura triangular más baja para la matriz de cargas factoriales. Por lo tanto, proponemos un método para inferir la dimensionalidad del modelo sin imponer una estructura triangular inferior. Nuestro enfoque considera un número relativamente grande de factores e incluye parámetros multiplicativos auxiliares que pueden anular las columnas innecesarias en la matriz de cargas factoriales. Luego, la dimensionalidad subyacente se infiere en función del número de columnas no nulas en la matriz de cargas factoriales. Las ventajas del método para seleccionar la dimensionalidad correcta se ilustran mediante simulaciones y utilizando conjuntos de datos reales.

Año de inicio: 2019

Año de finalización: 2021

Título: Aislamiento Geográfico y Desempeño de los Colegios Rurales en Colombia

Investigadores Icfes: Erika Londoño

Investigadores externos: Leonardo Bonilla

Institución de afiliación del Investigador externo: Banco de la República – Medellín

Estado del proyecto: Finalizado

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Aislamiento geográfico, ruralidad, básica primaria, distancia.

Pregunta de investigación: ¿El aislamiento geográfico afecta el desempeño de los estudiantes de los colegios rurales en Colombia?

Objetivos: Aportar evidencia con respecto a los factores que explican los bajos resultados de los colegios ubicados en la zona rural, como lo es el aislamiento geográfico en el que se encuentra la mayoría de estos.

Justificación: En la mayor parte de los países se observa una brecha en desempeño académico entre estudiantes urbanos y rurales (Young, 1998; Bedi & Marshall, 1999; Blackwell & McLaughlin, 1999; Roscigno & Crowley, 2001; Urquiola y Vegas, 2005; Woßmann, 2010; Ramos, Duque & Nieto, 2012). En Colombia, los estudiantes de colegios oficiales urbanos obtienen puntajes consistentemente mayores que sus pares rurales. Desde tercer grado, se observan brechas cercanas a 0.04 desviaciones en lenguaje y desde quinto grado 0.1 desviaciones estándar en matemáticas. Las diferencias tienden a aumentar a medida que se avanza en el ciclo escolar, 0.3 y 0.2 desviaciones estándar en grado noveno y, 0.3 y 0.4 en grado once, respectivamente (Icfes, 2018a, 2018b)Este documento estudia el rol del aislamiento geográfico en el desempeño de los estudiantes de colegios rurales en Colombia. Específicamente, se estima si la distancia entre los colegios rurales y las respectivas cabeceras municipales, medida en tiempo de desplazamiento y kilometros de carretera, afecta el desempeño de sus alumnos. Dado que la mayor parte de los colegios rurales ofrecen únicamente grados de primaria, nuestro análisis principal se centra en este nivel educativo

Metodología: Metodología cuantitativa basada en estimar el efecto causal del aislamiento geográfico sobre el desempeño escolar y otras medidas de calidad de educación utilizando modelos de regresión discontinua fuzzy de Calonico, Cattaneo y Titiunik (2014), en donde la running variable es la distancia lineal a la frontera municipal y la variable instrumentada es la distancia entre el colegio y la respectiva cabecera municipal. De esa manera, se aisla el efcto de la distancia de otros posibles canales.

Datos Icfes / Pruebas internacionales: Saber 11 y Pre Saber

Otros datos: C-600 DANE y R-166 MEN

Resultados: Los resultados que se reportan en este trabajo indican que presentar el examen Pre Saber está asociado a un aumento de 0.172 desviaciones estándar (d.e.) en el puntaje global, 0.177 d.e. en matemáticas y 0.142 d.e. en lectura crítica del examen Saber 11. Además, teniendo como referencia los mecanismos de transmisión que se han explorado previamente en la literatura, los resultados en este trabajo indican que las asociaciones estimadas están explicadas en su mayoría por una ganancia en la destreza a la hora de realizar el examen más que una ganancia en el crecimiento cognitivo de los estudiantes. Por otro lado, los resultados para distintos subgrupos poblacionales indican que no existen diferencias relevantes en la ganancia obtenida por los estudiantes de diferentes sexos y que entre más bajo es el nivel socioeconómico del colegio de donde proviene el estudiante, más alto es el efecto asociado a la presentación de Pre Saber.

Resumen: Este proyecto de investigación estudia el rol del aislamiento geográfico en el desempeño de los estudiantes de colegios rurales en Colombia. Específicamente, se estima si la distancia entre los colegios rurales y las respectivas cabeceras municipales, medida en tiempo de desplazamiento y kilometros de carretera, afecta el desempeño de sus alumnos. Dado que la mayor parte de los colegios rurales ofrecen únicamente grados de primaria, nuestro análisis principal se centra en este nivel educativo. Adicionalmente, medimos el efecto de la distancia a Secretaría de Educación, entidad encargada de la prestación del servicio educativo.

Link de la publicación: Clic aquí para consultar el documento

Año de inicio: 2019

Año de finalización: 2020

Título: ¿Existe una ventaja al repetir el examen? La relación entre la presentación del examen de ensayo Pre Saber y los resultados en Saber 11

Investigadores Icfes: Laura Rodríguez, Maria Camila Estacio, Sergio Arango, Alejandro Corrales

Estado del proyecto: Finalizado

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Pre Saber, Saber 11, evaluaciones estandarizadas, educación sombra, preparación de exámenes.

Pregunta de investigación: ¿Cuál es la relación que tiene uno de los tipos de preparación que se han indagado en la literatura, la repetición de exámenes, sobre los resultados de los estudiantes en el examen Saber 11? ¿Los exámenes de ensayo pueden ser una estrategia efectiva para cerrar la brecha socioeconómica en los puntajes del examen Saber 11? ¿Qué explica esta efectividad? ¿Quiénes son los más beneficiados con los exámenes de ensayo?

Objetivos: Estimar la relación que tiene la repetición de exámenes, uno de los tipos de preparación que se han indagado en la literatura, sobre los resultados de los estudiantes en el examen Saber 11.

Justificación: En Latinoamérica, pocos esfuerzos se han hecho por cuantificar el efecto que tienen los distintos tipos de preparación sobre los exámenes de salida de la educación media y por indagar qué tan relevantes son a la hora de explicar la brecha socioeconómica en puntajes. Aunque el trabajo de Bernal et al. (2020) es uno de los pioneros en la región en estimar el efecto que tienen las actividades preparatorias, en general, sobre los resultados en el examen de salida de la educación media en Colombia, Saber 11, y además, explorar los subgrupos poblacionales que más se ven beneficiados por adoptar estas estrategias, hasta donde se sabe, ningún trabajo en la región ha indagado por la efectividad de distintos tipos de preparación ni ha explorado los mecanismos de transmisión de estas estrategias.

Metodología: ¿Se estima un modelo de efectos fijos a nivel de colegio y aplicación para cuantificar la relación que existe entre presentar el examen Pre Saber y el puntaje global, el de matemáticas y el de lectura crítica estandarizados en Saber 11. Además, se indagan por los mecanismos de transmisión que explican el efecto de interés y se exploran efectos heterogéneos por sexo del estudiante y naturaleza y nivel socioeconómico del establecimiento educativo.

Datos Icfes / Pruebas internacionales: Pre Saber entre los periodos de 2014-2 a 2018-1, y de toda la población que tomó el examen Saber 11 entre los periodos desde 2015-1 hasta 2018-2

Otros datos: N/A

Resultados: Los resultados que se reportan en este trabajo indican que presentar el examen Pre Saber está asociado a un aumento de 0.172 desviaciones estándar (d.e.) en el puntaje global, 0.177 d.e. en matemáticas y 0.142 d.e. en lectura crítica del examen Saber 11. Además, teniendo como referencia los mecanismos de transmisión que se han explorado previamente en la literatura, los resultados en este trabajo indican que las asociaciones estimadas están explicadas en su mayoría por una ganancia en la destreza a la hora de realizar el examen más que una ganancia en el crecimiento cognitivo de los estudiantes. Por otro lado, los resultados para distintos subgrupos poblacionales indican que no existen diferencias relevantes en la ganancia obtenida por los estudiantes de diferentes sexos y que entre más bajo es el nivel socioeconómico del colegio de donde proviene el estudiante, más alto es el efecto asociado a la presentación de Pre Saber.

Resumen: Este estudio identifica el efecto de presentar el examen de ensayo Pre Saber sobre los resultados de los estudiantes en el examen Saber 11 y explora efectos heterogéneos por sexo del estudiante, sector del establecimiento educativo y nivel socioeconómico del estudiante. Usando un modelo de efectos fijos con datos administrativos del Icfes, sobre los estudiantes que presentaron el examen Pre Saber entre 2014 y 2018, y la población que tomó el examen Saber 11 entre 2015 y 2018. Los resultados indican que presentar el examen de ensayo incrementó los puntajes en el examen Saber 11 en 0.172 desviaciones estándar (d.e.) en el puntaje global, 0.177 d.e. en matemáticas y 0.143 d.e. en lectura. Además, se observa que entre más bajo es el nivel socioeconómico del colegio, más alto es el efecto asociado a la presentación del examen de ensayo, asimismo, los estudiantes de colegios oficiales son los más beneficiados por la presentación del examen de ensayo. Sin embargo, la magnitud del efecto también nos dice que solo una parte pequeña de la brecha socioeconómica en puntajes puede explicarse por tomar un examen de prueba.

Año de inicio: 2019

Año de finalización: 2019

Título: Evaluación de implementación del programa Aulas sin Fronteras

Investigadores Icfes: Natalia Gonzáles, Marianella Ortiz, y Nicolás Castro

Investigadores externos: Ximena Dueñas

Institución de afiliación del Investigador externo: BID

Estado del proyecto: Finalizado

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Evaluacion, ASF, percepción, evaluación de impacto, programa

Pregunta de investigación: ¿Cuál es el estado de la implementación del programa Aulas sin Fronteras y el grado de cumplimiento de sus objetivos? ¿Cuáles son las posibilidades de mejora en la implementación del programa? ¿Cuáles son las percepciones sobre el programa y el grado de aceptación y satisfacción de sus beneficiarios?

Objetivos: Llevar a cabo una evaluación de implementación del programa “Aulas sin Fronteras” que de cuenta de posibles aspectos en los que el programa pueda mejorar, así como del grado de apropiación y la percepción del mismo por parte de sus beneficiarios.

Justificación: Desarrollar una evaluación del programa que permitiera dar cuenta del grado de cumplimiento de los objetivos del programa. No era viable desarrollar una evaluación de impacto, por lo que se propuso una evaluación de la implementación que incorporara elementos de valoración y de percepción por parte de los beneficiarios del programa. Esto con el fin de poder establecer no solo las áreas en las que existen posibilidades de mejora en la implementación, sino también con el ánimo de conocer las opiniones y el grado de aceptación y satisfacción de sus beneficiarios. Adicionalmente el Icfes propuso realizar la observación de las prácticas pedagógicas de los docentes en el aula. Esto, con el fin de evaluar la implementación en el salón de clase, pero también pensando en la posibilidad de futuras evaluaciones que contemplen, no solo el desempeño de los estudiantes en las pruebas estandarizadas, sino que también evalúen los objetivos de corto plazo y de mayor relevancia dentro del programa, relacionados con el mejoramiento de las prácticas docentes.

Metodología: Metodología mixta. Se diseñaron cuatro instrumentos enfocados en los actores objeto del programa. En total aplicamos cuatro instrumentos: i) Directivo docente, ii) Docentes, iii) Estudiantes, iv) Observación en el aula. Los tres primeros fueron diseñados para ser autodiligenciados, es decir, cada persona leía y contestaba las preguntas del instrumento, aunque contaba con la guía de un encuestador. Por su parte, el instrumento de observación en el aula fue diligenciado por una persona externa al colegio durante una de las clases en las que se enfoca el programa (matemáticas, lenguaje, ciencias naturales y/o ciencias sociales).

Resultados: Entre los resultados de la evaluacion, se enmarcanASF está siendo valorado positivamente por sus beneficiarios, tanto directivos como docentes y estudiante. Lo anterior debido a que, los materiales del programa son altamente valorados por todos los participantes, más de la mitad de estudiantes cree que el programa Aulas sin Fronteras le ayuda a aprender más fácilmente, sumado a ello, ayuda a fortalecer sus prácticas pedagógicas de los docentes, al comparar las preferencias de los beneficiarios entre una clase del tipo Aulas sin Fronteras versus una tradicional, encontramos que todos prefieren una clase como la que se ofrece en el programa y por ultimo los directivos creen que este ha cumplido sus objetivos. Entre los resultados se encuentran algunos aspectos a mejorar, incialmente en la puntualidad en la entrega de materiales y los docentes considera que las capacitaciones son muy escasas o limitadas.

Resumen: Este proyecto presenta la evaluación de implementación del programa del Ministerio de Educación Nacional Aulas sin Fronteras. Con el fin de contrastar los procesos diseñados con los implementados y recoger la percepción de los beneficiarios, para brindar recomendaciones de política al Ministerio para fortalecer el programa.

Link de la publicación: Clic aquí para consultar el documento

Año de inicio: 2019

Año de finalización: 2020

Título: Relación entre el desempeño académico y los Cinco Rasgos de la Personalidad: evidencia para el contexto colombiano en la educación superior

Investigadores Icfes: Diana Oquendo

Estado del proyecto: Finalizado

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Educación superior, personalidad, Colombia, rasgos

Pregunta de investigación: ¿Qué parte del efecto del grupo sobre el desempeño puede explicarse mediante los rasgos de la personalidad cuando estos se consideran de forma agregada?, ¿Cuál es la relación entre los rasgos de la personalidad y el desempeño, después de controlar por variables socioeconómicas y habilidades previas, y por la anidación de estudiantes en instituciones y tipos de programa (en adelante, IGR)?, ¿La relación entre el desempeño y los rasgos de la personalidad cambia en función del IGR?, ¿Existen efectos heterogéneos en la relación entre los rasgos de la personalidad y el desempeño, al analizar los estudiantes con y sin beca, hombres y mujeres, y migrantes y no migrantes? y ¿La relación entre determinado rasgo de la personalidad y el desempeño académico varía en función de la intensidad que se tenga de otro rasgo (i.e. complementariedad entre parejas de rasgos, y el desempeño académico)?

Objetivos: Examinar la relación entre el desempeño en el examen Saber Pro y los Cinco Rasgos de la Personalidad, mediante la estimación de un modelo jerarquico de dos niveles. Se enfoca en la identificación de efectos heterogeneos por sexo, la titularidad de una beca y la migración. También se discuten no linealidades y efectos heterogeneos entre parejas de rasgos.

Justificación:

Metodología: Modelo jerarquico de dos niveles con intercepto aleatorio

Datos Icfes / Pruebas internacionales: Encuesta de habilidades socioemocionales 2017-2018, Saber Pro 2017-2018 y Saber 11

Otros datos: SPADIES y SNIES

Resultados: Los rasgos de Extroversión y Afabilidad muestran una correlación positiva con el desempeño en Lectura Crítica y Razonamiento Cuantitativo, y tal relación es robusta en diferentes especificaciones. Al incluir términos cuadráticos e interacciones entre parejas de rasgo se evidencia que también existe una correlación positiva entre el desempeño en ambas áreas y la Meticulosidad, hecho que no se aprecia al omitir relaciones no lineales. Se encontraron efectos heterogéneos en la relación entre el desempeño y la personalidad, cuando se analiza la titularidad de una beca: La Afabilidad presenta una relación positiva y significativa con el desempeño en el caso de los estudiantes con beca, pero dicha relación no es significativa para los no becarios. En contraste, la relación positiva entre el desempeño y la Extroversión que se observa para el promedio de los estudiantes no se mantiene para los estudiantes con beca. Lo anterior sugiere que son las habilidades de trabajo en equipo las que podrían representar una ventaja para los becarios y no las características asociadas a la extroversión. También se presentan efectos heterogéneos entre el desempeño y la extroversión al analizar la variable sexo: en promedio, este rasgo favorece más a los hombres que a las mujeres cuando se trata del desempeño en Razonamiento Cuantitativo.

Resumen: Examinar la relación entre el desempeño en el examen Saber Pro y los Cinco Rasgos de la Personalidad, mediante la estimación de un modelo jerarquico de dos niveles. Se enfoca en la identificación de efectos heterogeneos por sexo, la titularidad de una beca y la migración. También se discuten no linealidades y efectos heterogéneos entre parejas de rasgos.

Links de la publicación:
Clic para ver el video
Clic aquí para consultar documento

Año de inicio: 2019

Año de finalización: 2022

Título: Does it matter if your teacher graduated from a high-quality institution? Evidence from Colombia.¿Importa si su maestro se graduó de una institución de alta calidad? Evidencia de Colombia

Investigadores Icfes: Yamit Lopez y Santiago Gómez

Investigadores externos: Luz Karime Abadía

Institución de afiliación del investigador externo: Universidad Javeriana

Estado del proyecto: En curso

Línea de investigación: 6. Factores asociados al aprendizaje

Pregunta de investigación: ¿En qué medida la calidad de la institución de educación superior de la que se graduó el profesor tienen un efecto sobre el desempeño académico de sus estudiantes en pruebas estandarizadas?

Resumen: La evidencia sugiere que el principal factor que frena los avances en la educación primaria y secundaria en América Latina es la calidad de los profesores. El objetivo de este artículo es estudiar si la calidad de las universidades a las que asisten los profesores tiene un efecto sobre el rendimiento académico de los alumnos en los exámenes estandarizados. Utilizando un modelo de efectos fijos, encontramos que un aumento de un punto porcentual en el número de profesores de universidades de alta calidad no parece tener un efecto significativo en los resultados de matemáticas. Sin embargo, los resultados muestran que un incremento equivalente se asocia con un aumento de 0,003 desviaciones estándar (d.s.) en lengua. Nuestros resultados también muestran que los profesores que han obtenido títulos superiores tienen un impacto positivo en el rendimiento de los alumnos de secundaria es matemáticas y ciencias. En particular, un aumento de un punto porcentual en el número de profesores con estudios de postgrado en educación se asocia con un aumento de 0,003 desviaciones estándar (d.s.) en las puntuaciones de matemáticas y lengua.

Año de inicio: 2018

Año de finalización: 2018

Título: ¿Quiénes son los docentes en Colombia? Características generales y brechas regionales

Investigadores Icfes: Erika Londoño

Investigadores externos: Leonardo Bonilla, Lina Cardona, Luis Daniel Trujillo

Institución de afiliación del Investigador externo: Banco de la República, Institute for Fiscal Studies – IFS, Banco de la República

Estado del proyecto: Finalizado

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Docentes, educación, desigualdad regional, Colombia.

Pregunta de investigación: ¿Quiénes son los docentes en Colombia?

Objetivos: Hacer una descripción detallada de los docentes públicos en Colombia, con énfasis en las marcadas brechas regionales que existen en el país, que permita tener una medida de las habilidades académicas de los docentes.

Justificación: Un aspecto menos explorado, pero igualmente importante, es la existencia de importantes brechas regionales en la calidad de los docentes. La evidencia muestra que, además de las desventajas de las escuelas rurales, también hay marcadas diferencias en términos de formación y provisionalidad de los docentes entre municipios certificados y no certificados y entre departamentos (Bonet 2006; Galvis y Bonilla, 2012; García et al., 2014; Saavedra y Forero, 2018) 3 . Esto se debe en parte a que no todas las entidades territoriales invierten lo mismo en educación, lo cual se ve reflejado en la formación de los docentes y el desempeño de los alumnos (Galvis y Bonilla, 2012; Bonilla y Galvis, 2012; Brutti, 2016). Factores adicionales, como la violencia y la debilidad institucional, parecen también tener efectos importantes sobre la selección de los docentes y la provisionalidad de la planta (Ayala y Sánchez, 2017; Figueroa et al., 2018; Saavedra y Forero, 2018).

Metodología: Se utilizan modelos de mínimos cuadrados ordinarios en donde las variables endógenas son los puntajes de matemáticas y lenguaje de los docentes, y las explicativas son las características mencionadas.

Datos Icfes / Pruebas internacionales: Saber 11

Otros datos: Registros docentes del MEN

Resultados: Los resultados indican que, así como hay importantes diferencias entre instituciones educativas urbanas y rurales, aquellas ubicadas en municipios no certificados y departamentos periféricos también enfrentan grandes dificultades para atraer y retener a los mejores docentes. Esto se ve reflejado tanto en la menor formación y las bajas habilidades académicas de los docentes como en la alta provisionalidad de la planta. Estas características de los docentes están, a su vez, fuertemente correlacionadas con el aprendizaje de los alumnos en todos los niveles, reforzando así las ya marcadas trampas de pobreza que persisten en las regiones más rezagadas del país.

Resumen: Esta investigación presenta una descripción detallada de los docentes del sector oficial en Colombia, haciendo especial énfasis en las marcadas brechas regionales. El análisis se basa en registros oficiales del Ministerio de Educación Nacional, que incluyen información detallada de todos los docentes oficiales del país. Además, se miden las habilidades académicas de los docentes a través de los puntajes que estos obtuvieron en las pruebas SABER 11, cuando eran estudiantes de bachillerato. Los resultados indican que, así como hay importantes diferencias entre instituciones educativas urbanas y rurales, aquellas ubicadas en municipios pequeños (no certificados) y regiones periféricas también enfrentan grandes dificultades para atraer y retener buenos docentes. Esto se ve reflejado tanto en la menor formación y las bajas habilidades académicas de los docentes como en la alta provisionalidad de la planta. Estas características están, a su vez, fuertemente correlacionadas con el desempeño de los alumnos en todos los niveles.

Link de la publicación: Clic aquí para consultar el documento

Año de inicio: 2018

Año de finalización: 2020

Título: Information and student Preferences for Higher Education: Evidence from a Randomized Experiment in Colombia.
Información y preferencias de los estudiantes para la educación superior: evidencia de un experimento aleatorizado en Colombia

Investigadores Icfes: Sergio Arango

Investigadores externos: Luz Karime Abadía, Gloria Bernal, Kristof De Witte

Institución de afiliación del Investigador externo: Universidad Javeriana, Universidad Javeriana, KU Leuven

Estado del proyecto: Finalizado

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Educación superior, preferencias, instituciones públicas, universidades acreditadas, universidad de alta calidad

Pregunta de investigación: ¿Cuál es el efecto causal de proporcionar información hipotética (en lugar de real) de elección para la educación superior?

Objetivos: Complementar el trabajo previo al medir el efecto causal de la provisión de información sobre elecciones hipotéticas (en lugar de reales) para la educación superior. Al utilizar opciones sobre paquetes de educación superior como resultado, al agrega la posibilidad de examinar las preferencias de los estudiantes y los mecanismos subyacentes de las decisiones de los estudiantes (es decir, estimar qué factores pesan más para los estudiantes al tomar decisiones). Así mimo, contribuir a la literatura al estimar la influencia causal del suministro de información sobre las preferencias de los estudiantes por la educación superior, lo que conduce a una mejor comprensión de los determinantes de las elecciones, las compensaciones y el proceso de toma de decisiones. En última instancia, esto sirve para la formulación de políticas educativas más rentables e inclusivas.

Justificación: Hay esfuerzos crecientes para mejorar la eficiencia y la equidad en la educación superior. Para respaldar este esfuerzo, la literatura reciente ha estudiado el efecto de proporcionar información clave, como los rendimientos de la educación superior o las instalaciones de créditos, en las opciones de los estudiantes para la universidad (p. ej., Booij, Leuven y Oosterbeek, 2012; Fryer, 2016; Hastings, Neilson y Zimmerman, 2015). Este trabajo se ha realizado bajo la hipótesis de que la información es una herramienta poderosa para reducir las fallas de mercado de los conceptos erróneos de los estudiantes y aumentar la equidad y la eficiencia educativa a un costo muy bajo (Mizala y Urquiola, 2013). Nuestro estudio complementa el trabajo previo al medir el efecto causal de la provisión de información sobre elecciones hipotéticas (en lugar de reales) para la educación superior. Al utilizar opciones sobre paquetes de educación superior como resultado, agregamos la posibilidad de examinar las preferencias de los estudiantes y los mecanismos subyacentes de las decisiones de los estudiantes (es decir, estimamos qué factores pesan más para los estudiantes al tomar decisiones). El experimento nos brinda la posibilidad de observar la toma de decisiones de los estudiantes que probablemente nunca lleguen a la universidad y, en consecuencia, no se informarán en los registros de elección tradicionales; lo que es más importante, hemos encontrado que estos estudiantes son los más propensos a alterar sus decisiones por medio de la información. Contribuimos a la literatura al estimar la influencia causal del suministro de información sobre las preferencias de los estudiantes por la educación superior, lo que conduce a una mejor comprensión de los determinantes de las elecciones, las compensaciones y el proceso de toma de decisiones. En última instancia, esto sirve para la formulación de políticas educativas más rentables e inclusivas.

Metodología: Uso de ensayo controlado aleatorizado (ECA) combinado con un experimento de elección discreta (ECD) para estimar los efectos causales de proporcionar datos generales sobre la educación superior en las preferencias declaradas de los estudiantes 1. Este nuevo enfoque permite explorar los mecanismos subyacentes en las decisiones de los estudiantes y estimar el impacto causal de la información en las opciones hipotéticas de los estudiantes.

Datos Icfes / Pruebas internacionales: N/A

Otros datos: N/A

Resultados: El tamaño de los efectos sugiere que una mayor inversión en educación infantil constituiría una política deseable. Considerando los desarrollos cognitivos que ocurren durante los primeros años de vida y las desigualdades de oportunidades en cuanto al acceso, aumentar la cobertura del programa preescolar completo es decir, los tres años completos del ciclo para los niños más pobres potenciaría el capital humano desde abajo.

Resumen: Para examinar el papel de la información sobre las preferencias de educación superior, se llevó a cabo un ensayo controlado aleatorio donde los resultados se miden mediante un experimento de elección discreta (DCE) para evaluar cómo la información sobre educación superior puede afectar las preferencias de los estudiantes sobre paquetes de educación superior hipotéticos. Esta combinación de dos tipos de experimentos ilumina no solo qué atributos de la educación superior tienen más probabilidades de desempeñar un papel en las decisiones de los estudiantes (no es posible obtenerlos de los registros de elección), sino también si es posible modificar sus elecciones por medio de la información. Este experimento está dirigido a estudiantes de 10° grado de bajos ingresos en escuelas ubicadas en varias regiones de Colombia. Las escuelas se asignaron aleatoriamente a dos grupos de intervención y un grupo de control. La información proporcionada a un primer grupo de tratamiento enfatiza los rendimientos y las tasas de inscripción en universidades acreditadas, mientras que la información de un segundo grupo de tratamiento enfatiza la ayuda financiera y los costos de matrícula en universidades acreditadas. Destacamos cuatro hallazgos importantes. Primero, ambos tratamientos reducen las preferencias por las instituciones públicas en comparación con el grupo de control. En segundo lugar, los estudiantes del grupo de tratamiento 2 aumentaron sus preferencias por instituciones de mayor calidad. En tercer lugar, las alumnas de bajo nivel socioeconómico, así como aquellas que sobreestiman los rendimientos y tienen altas tasas de descuento actuales, son las más propensas a cambiar sus decisiones por medio de la información. En cuarto lugar, los estudiantes en promedio están dispuestos a renunciar a entre el 24 % y el 50 % de una beca del 100 % para pasar de una universidad de baja calidad a una universidad de alta calidad, todo lo demás constante.

Link de la publicación: Clic aquí para consultar el documento

• Año de inicio: 2018
• Año de finalización: 2020
• Título: Diferencias de género en preferencias por carreras STEM: Evidencia de un Experimento de Elección Discreta en Colombia
• Investigadores Icfes: Sergio Arango, Esteban Álvarez
• Investigadores externos: Luz Karime Abadía, Gloria Bernal, Kristof De Witte
• Institución de afiliación del Investigador externo: Univesidad Javeriana
• Estado del proyecto: Finalizado
• Línea de investigación: 7. Trayectorias educativas y curso de vida
• Palabras clave: Preferencias, estudiantes de secundaria, carreras STEM y no STEM, género, Experimento de Elección Discreta (DCE), intensidad del programa en matemáticas
• Pregunta de investigación: ¿Cuáles son los determinantes de la elección o no elección de una carrera STEM?¿Cuál es la brecha de género en la elección de programas académicos STEM?
• Objetivos: Identificar los atributos de programas de educación superior STEM y no STEM más preferidos por los estudiantes, y establecer la diferenciación en las disyuntivas enfrentadas por hombres y por mujeres al momento de elegir carreras con determinadas particularidades
• Justificación: Las mujeres están sub-representadas en programas de Ciencia, Tecnología, Ingeniería y Matemáticas (STEM) en diversos países del mundo incluyendo Colombia. En Colombia, del total de mujeres que están matriculadas en educación superior, el 43% pertenecen a carreras STEM. Sin embargo, las brechas son dramáticas en programas como matemáticas, física e ingeniería electrónica donde el porcentaje de ellas es apenas el 34%, 26% y 16% respectivamente (Gómez, Abadía, & Bernal, 2020; OECD, 2017). La menor representación de mujeres en carreras STEM contribuye a perpetuar las desigualdades de género existentes en contra de las mujeres en áreas como la innovación, el emprendimiento y el mercado laboral (al generar segregación de ocupaciones y brechas salariales), entre otras.
• Metodología: Para determinar las diferencias de género en las preferencias por programas STEM de los estudiantes de último año de educación media, se diseñó un Experimento de Elección Discreta- DCE (Ryan, Kolstad, Rockers, & Dolea, 2012).Esta metodología permite medir la importancia de las preferencias para un conjunto de atributos de los programas y sus niveles, además de obtener medidas de bienestar en términos de la disponibilidad a pagar o a renunciar de un atributo monetario en términos de otro. El DCE se realizó llevando a cabo las siguientes etapas: primero, se identificó los atributos (o factores) que los estudiantes (hombres y mujeres) tienen en cuenta al momento de escoger entre programas STEM y No-STEM; segundo, se diseñó la encuesta y los conjuntos de decisión; tercero se aplicó la encuesta a la muestra de estudiantes; y cuarto, se realizó el análisis econométrico.
• Datos Icfes / Pruebas internacionales: Saber 11
• Otros datos: SNIES, SPADIES
• Resultados: Los resultados de una encuesta aplicada a los estudiantes que presentaron el examen de estado Saber 11 en el año 2018 muestran que las mujeres que desean estudiar un programa STEM tienen características mucho más favorables en términos de la calidad del colegio al que asisten, el nivel socioeconómico y el nivel educativo de sus padres, en comparación con los hombres que desean ingresar a un programa STEM, e incluso con las mujeres que desean optar por una carrera no STEM e incluso en comparación. Las estimaciones del DCE revelan que los atributos de programas de educación superior más preferidos por los estudiantes en orden de importancia son: carreras con altos retornos salariales, seguido de un nivel intermedio de matemáticas, alta proporción de hombres que estudian la carrera y baja tasa de deserción. Sin embargo, se encuentran diferencias importantes por género en las preferencias por la cantidad de matemáticas de la carrera: comparado con las mujeres, los hombres prefieren más las carreras con niveles altos, medios y bajos de matemáticas que las carreras sin matemáticas. Estos resultados van en línea con los hallazgos de los autores (Ayalon, 2003; Van Langen et al. 2006; Wang, 2013; Sax et al., 2016; Mann and DiPrete, 2013; Turner et al., 1999; Zafar, 2013), quienes encuentran que aquellos individuos con mejor desempeño en matemáticas tienen mayor probabilidad de escoger y acceder a carreras STEM.
• Resumen: Esta Investigación estudia las preferencias de los estudiantes de secundaria por carreras de Ciencia, Tecnología, Ingeniería y Matemáticas (STEM) y sus diferencias por género. Por medio de un experimento de elección discreta (DCE) aplicado a más de 30.000 estudiantes de último grado de educación media en Colombia, se identificaron los atributos más preferidos por los estudiantes eligiendo sobre canastas hipotéticas de programas de educación superior. Los resultados muestran que los estudiantes prefieren carreras que tengan en promedio altos retornos salariales, intensidad media en matemáticas y baja deserción. Al analizar las diferencias por género en las preferencias, se evidencia una menor preferencia de las mujeres por carreras con intensidad media y alta de matemáticas respecto a los hombres. Contrario a la literatura, no se evidencia una mayor preferencia de los hombres por carreras con altos retornos salariales.
• Link de la publicación: Clic aquí para consultar documento

Año de inicio: 2018

Año de finalización: 2020

Título: La ecología de las instituciones educativas: entorno, control social y comportamiento en colegios de Colombia

Investigadores Icfes: Marianella Ortiz, Santiago Gómez

Investigadores externos: Andrés Rengifo, Ximena Dueñas

Institución de afiliación del Investigador externo: Rutgers University, BID

Estado del proyecto: Finalizado

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Control social, desorden, entornos educativos, sociología de la educación

Pregunta de investigación: ¿Qué factores del entorno de los estudiantes pueden explicar sus comportamientos e interacciones?

Objetivos: Hacer un aporte a la literatura del desorden social mediante la aplicación de sus conceptos clave en el contexto educativo colombiano, aproximación que, no se ha realizado antes.

Justificación: Existe evidencia de un vínculo estrecho entre ciertas señales de deterioro del entorno físico y comportamientos sociales que se consideran indeseados por la sociedad (Sampson & Raudenbush, 1999; Plank et al., 2009). Por ejemplo, estudios han demostrado que, en los lugares con mayor número de señales de desorden físico, medido a través de variables como los desechos al aire libre y el deterioro generado por el abandono de inmuebles y espacios públicos, se registran mayores niveles de delincuencia, violencia y vandalismo (Shaw & McKay, 1942; Sampson & Groves, 1989; Perkins & Taylor, 1996; Sampson & Raudenbush, 1999).Tradicionalmente, esta relación se ha justificado en términos de falta de cohesión y confianza de los residentes de estas áreas, así como ausencia de autorregulación y carencia de mecanismos externos de control (Janowitz, 1975; Sampson et al., 1997). Aunque estas perspectivas se han aplicado regularmente a contextos barriales, son pocas las investigaciones que exploran la relación entre el entorno de las instituciones educativas y los comportamientos de sus estudiantes. Esta perspectiva es importante dado que los colegios son entornos clave de socialización, que a su vez están delineados por varias formas de autoridad, control social y otros recursos de autorregulación.

Metodología: Se utilizó un instrumento de observación directa del entorno interno y externo en una muestra de colegios públicos y privados (N=160), seleccionados a conveniencia en diferentes municipios de Colombia. Con esta información, se estimó una serie de modelos de regresión de conteo que relacionan la prevalencia de conductas e interacciones no convencionales entre los estudiantes, entendiendo estas como señales de desorden social, con factores del entorno físico e institucional de los establecimientos educativos.

Datos Icfes / Pruebas internacionales: Saber 3°, 5° y 9°

Otros datos: N/A

Resultados: El conjunto de colegios observados se caracterizó por tener más interacciones sociales no convencionales que conductas no convencionales, relativamente tienen pocas señales de desorden físico en su interior, poco ambiente de inseguridad y pocas señales de desorden físico en su entorno. Asimismo, en promedio, los colegios analizados tienen buena higiene, medida tanto de forma objetiva como subjetiva y, en su exterior se presentan conductas no convencionales de manera considerable. Con respecto a la relación entre estas variables, se ve una asociación estadísticamente significativa entre el desorden físico en los establecimientos educativos y los comportamientos e interacciones no convencionales de los estudiantes. Al encontrar que la relación entre las señales de desorden físico dentro de los colegios y las señales de desorden social dentro de estos es positiva, es notable que, para el conjunto de colegios observados, se cumple lo establecido por la teoría de las ventanas rotas aplicado al contexto educativo.

Resumen: Esta investigación tiene como fin ver cuáles son las condiciones físicas y sociales dentro de los establecimientos educativos y sus alrededores y cómo las señales de desorden y descuido físico de los colegios está relacionada con las conductas de los estudiantes. Según estudios de control social, existe una relación positiva entre las señales de desorden físico y social. En este estudio se utiliza un instrumento de observación directa del entorno en un grupo de colegios de Colombia para estimar la relación de los elementos del entorno físico y social y, la prevalencia de conductas e interacciones no convencionales dentro de estos. Los resultados muestran que a mayores señales de desorden físico, mayor número de conductas e interacciones no convencionales. Sin embargo, se encontró un menor prevalencia de estos comportamientos en situaciones de mejor higiene y menos conductas no convencionales en el exterior del colegio.

Link de la publicación: Clic aquí para consultar documento

Año de inicio: 2018

Año de finalización: 2022

Título: When Chances for Higher Education Drop: The Effect of the Cancellation of the Ser Pilo Paga Scholarship on Student Preferences for Higher Education

Investigadores Icfes: Esteban Álvarez

Investigadores externos: Luz Karime Abadía, Gloria Bernal, Kristof De Witte

Institución de afiliación del Investigador externo: Universidad Javeriana, Universidad Javeriana, KU Leuven

Estado del proyecto: Finalizado

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Diseño de discontinuidad de regresión, Educación más alta, Experimento de elección discreta, Ayuda financier,; Preferencias previas a la universidad.

Pregunta de investigación:

Objetivos: Contribuir a la literatura en al menos dos aspectos. Primero, al obtener y contrastar las preferencias declaradas de los estudiantes por la educación superior antes y después de que ocurriera un evento exógeno. En Segundo lugar, examinando los resultados universitarios previos cuando se produce un impacto negativo en las oportunidades educativas. La mayor parte de la literatura que mide las reacciones de los estudiantes de secundaria a las políticas de educación superior se centra principalmente en impactos positivos, como la instauración de una beca

Resumen: Evaluar que efectos tuvo la cancelación repentina del programa SPP en las preferencias de los estudiantes en cuanto a educación superior

Año de inicio: 2018

Año de finalización: 2019

Título: Prestigio Universitario: ¿Qué tan importante es la elección de la institución de educación superior en la formación de salarios de los recién graduados?

Investigadores Icfes: Esteban Álvarez

Investigadores externos: Andrés Ham

Institución de afiliación del Investigador externo: Universidad de los Andes

Estado del proyecto: Finalizado

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Educación superior, modelos multinivel, retornos universitarios, prestigio universitario.

Pregunta de investigación: ¿El mercado laboral colombiano otorga primas salariales a los recién egresados de la educación superior en función de la institución de educación superior (IES) en la que estudiaron?

Objetivos: Documentar que, aunque el acceso a la educación superior ha venido creciendo considerablemente, los retornos de estudiar una carrera profesional no son homogéneos entre distintas instituciones, aun cuando sus egresados adquieranlas mismas habilidades. La segunda es incentivar el acceso de personas en condiciones vulnerables a instituciones de altos retornos, para que deesta forma se pueda aumentar la probabilidad de que aumenten su estatus socioeconómico. Por último, como todo trabajo académico, los resultados de este estudio sirven para informar a la comunidad,para que de esta forma puedan tomar decisiones más informadas, ya sea un estudiante que está pensando en que institución estudiar o un hacedor de política pública en materia de educación superior.

Justificación: Existe abundante literatura sobre la relación entre el salario de las personas y la reputación o calidad educativa de las instituciones de educación superior. Sin embargo, los trabajos que se han desarrollado en el país se han centrado en el efecto de una sola institución de educación superior (Barrera y Bayona, 2019) o en usar solo una variable como aproximación a la reputación de las universidades (MacLeod, Riehl, Saavedra y Urquiola, 2017), por lo que aún existe un vacío en la literatura que explique la importancia de la elección de la IES en la formación de salarios a nivel global y que, al mismo tiempo, reconozca las diferencias entre las distintas instituciones y logre identificar cuáles son las características institucionales que otorgan un mejor o peor retorno salarial a sus estudiantes. Hay razones para pensar que existen aspectos más allá de los individualesque determinan los salarios de las personas. Esto llevaría a pensar que se hace necesario estudiar cuales aspectos externos al individuo pueden afectar su salario futuro. Por ello, se hace evidente lo importante que puede ser la elección de institución de educación superior, puesto que,en últimas, las personas deciden estudiar con el fin de obtener mayores beneficios monetarios una vez logren culminar ese ciclo, y esta elección puede afectar considerablemente los retornos futuros que percibirían. Por esto, el objetivo general de este estudio es estimar qué parte de los salarios de los recién egresados viene determinada por la IES donde llevaron a cabo sus estudios,o más precisamente, que porcentaje viene dado por el nombrede ellas.

Metodología: se empleó un modelo multinivel con intercepto aleatorio (RabeHesketh & Skrondal, 2008; Raudenbush & Bryk, 2002), para estimar el efecto del nombre de las IES sobre el salario de sus reción egresados. El uso de este tipo de modelos permite reconocer la estructura anidada de los datos (i.e. un individuo dentro de una institución de educación superior) y así corregir falencias en el supuesto de independencia e idéntica distribución de los errores, que puede llevar a estimaciones incorrectas de los errores estándar y a sesgos en los coeficientes.

Datos Icfes / Pruebas internacionales: Saber Pro y Saber 11

Otros datos: Base de datos de la Plantilla Integrada de Liquidación de Aportes (PILA) del Ministerio de Salud y Protección Social (MINSALUD), El Sistema para la Prevención de la Deserción de la Educación Superior (SPADIES) del Ministerio de Educación Nacional (MEN), El Sistema de Información de la Educación Nacional (SNIES) del MEN, base de datos del Observatorio Laboral para la Educación (OLE) del MEN

Resultados: Los resultados encontrados en este estudio indican que las características de las IES pueden llegar a tener un peso de alrededor del 13% de la varianza del salario de los reción egresados. Asimismo, se encontró que las primas salariales asociadas a cada IES son muy heterogéneas entre sí, al grado que la diferencia entre la prima salarial de la institución con más altos y más bajos retornos llega a ser de 90 puntos porcentuales (p.p.). Por último, se muestra evidencia de que las características no asociadas a la calidad de la educación de las IES, el prestigio, pueden llegar a pesar hasta el 55% de la influencia de las IES en los salarios de sus reción egresados.

Resumen: Este trabajo busca estimar la importancia de la institución de educación superior en los salarios del primer empleo que perciben los reción graduados, mediante un modelo multinivel. Utilizando una gran cantidad de variables a nivel individual e institucional, los resultados indican que los salarios no solo están relacionados con las habilidades de los estudiantes, sino que un 13% de la variación de los salarios está explicada por las características de las instituciones donde estudiaron los individuos. Asimismo, se logra evidenciar que existe una gran heterogeneidad en las primas salariales que diferentes instituciones otorgan a sus egresados, aun cuando se controla por múltiples variables, mostrando que los retornos a estudiar una carrera universitaria varían mucho dependiendo del lugar de estudio.

Link de la publicación: Clic aquí para consultar documento

Año de inicio: 2017

Año de finalización: 2021

Título: El Rol de las Habilidades Socioemocionales en el Rendimiento Académico: el Caso de la Educación Superior en Colombia

Investigadores Icfes: Laura Rodríguez

Investigadores externos: Marianella Ortiz, Darwin Cortez, Carmen Delgado, Julieth Pico, Germán Pulido

Institución de afiliación del Investigador externo: BID, Universidad del Rosario, Universidad del Rosario, Universidad del Rosario, Universidad del Rosario

Estado del proyecto: Finalizado

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Educación Superior, Rendimiento académico, Habilidades socioemocionales, rasgos de la personalidad, Colombia

Pregunta de investigación: Este trabajo analiza que relación existe entre las habilidades cognitivas y socioemocionales de las personas con alto nivel educativo en Colombia.

Objetivos: Analizar qué relación existe entre las habilidades cognitivas y socioemocionales de las personas con alto nivel educativo en Colombia

Justificación: Recientemente se ha mostrado que el rol de las habilidades cognitivas no es tan importante como se pensaba para explicar cómo le va alas personas en la vida adulta. Por ejemplo, encontraron que las habilidades cognitivas solo explican alrededor del 17% de la variabilidad de las ganancias en la adultez. Esto desató una línea de investigación que ha mostrado que las habilidades socio emocionales tambiénson importantes (Almlund et al. 2011). No solo se ha mostrado que las habilidades sociales son cada vez más reconocidas en el mercado laboral (Deming, 2017) sino que los trabajos que más han crecido requieren una complementariedad más alta entre habilidades cognitivas y socioemocionales (Weinberger, 2014).

Metodología: Se hace uso de una metodología en dos etapas. En la primera se construyen los factores latentes. Para esto se hace un Análisis de Factores Exploratorio (EFA), se revisan si existen las variables latentes, cuales ítems cargan en cada variable y si los ítems son consistentes entre sí. Después se hace un Análisis Factorial Confirmatorio en el que se estima un sistema dedicado de medidas para construir las variables latentes. En la segunda etapa, se hace un análisis multivariado de las habilidades socioemocionales (variables latentes construidas en la etapa 1) y las habilidades cognitivas (resultados en la prueba estandarizada de Saber PRO y Saber TyT).

Datos Icfes / Pruebas internacionales: Saber Pro y Saber TyT

Otros datos: N/A

Resultados: Como se puede observar, los cinco grandes rasgos de la personalidad tienen una relación significativa con todas las habilidades socioemocionales reportadas, aún controlando por características sociodemográficas y cognitivas de los estudiantes y del tipo de institución en la que estudian. En particular, se encuentra que las personas cuya personalidad se caracteriza por tener más rasgos de apertura, extraversión y meticulosidad tienden a considerar, en mayor medida, que la inteligencia humana es maleable y puede aumentarse (maleabilidad del cerebro), son más perseverantes, creen que tienen control sobre los eventos que le suceden (locus de control interno) y se consideran más autoeficaces en el trabajo. Lo opuesto sucede con el locus de control externo. La apertura, extraversión y meticulosidad se relaciona negativa y significativamente con la creencia de que los eventos que le suceden a una persona, sean buenos o malos, son causados por factores ajenos a su control (locus externo). Por su parte, las personas que se caracterizan por ser más amables tienden a considerar en menor medida que el cerebro es maleable, aunque tienden a ser más perseverantes, creen en mayor medida que tienen el control de los eventos que les sucede (locus interno) y que los eventos que les ocurren a las personas son causados por factores fuera de su control (locus de control externo). Estas personas a su vez, también tienden a ser más autoeficaces en el trabajo.

Resumen: Este trabajo explora la relación entre habilidades socio-emocionales y rendimiento académico en la educación superior. Los principales hallazgos muestran que el rendimiento académico en la educación superior está muy relacionado con varias habilidadessocio-emocionales y rasgos de la personalidad. Los resultados principales muestran que el rendimiento académico tanto en carreras profesionales como técnicas y tecnológicas está asociado positivamente con la meticulosidad, un rasgo de personalidad que la literatura ha mostrado que está sistemáticamente asociado al desempeño académico y laboral. Con respecto, a las habilidades socio emocionales la creencia sobre la maleabilidad del cerebro y locus interno (la creencia de que lo que me ocurre depende en buena parte de lo que yo puedo hacer) se relacionan positivamente con el rendimiento académico, mientras que el locus externo (la creencia de lo que me ocurre depende en buena parte de los demás) está asociado negativamente.

Año de inicio: 2017

Año de finalización: 2018

Título: Assessing the middle-term benefits of preschool education in Colombia.
Evaluación de los beneficios a mediano plazo de la educación preescolar en Colombia.

Investigadores Icfes: Erika Londoño

Investigadores externos: Luis Fernando Gamboa

Institución de afiliación del Investigador externo: Universidad Jorge Tadeo Lozano

Estado del proyecto: Finalizado

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Preescolar, equidad, logro académico, Colombia

Pregunta de investigación: ¿Cuál es el efecto a mediano plazo de asistir a diferentes niveles de educación preescolar en el desempeño en una prueba de matemáticas estandarizada al final de la educación secundaria?

Objetivos: Proporcionar nueva evidencia sobre el efecto a mediano plazo de asistir a la educación preescolar en un país en desarrollo y, especialmente, sobre las brechas de género en matemáticas en la educación media. Esto es crucial ya que Colombia exhibe notorias desigualdades de ingresos en los mercados laborales y las diferencias en las habilidades matemáticas son uno de sus determinantes. Hasta donde sabemos, esta es la primera investigación que presenta evidencia sobre los efectos a mediano plazo de la asistencia al preescolar en Colombia. Dado el interés entre los formuladores de políticas en la educación de la primera infancia, este documento tiene implicaciones importantes para las políticas educativas y las desigualdades en los mercados laborales.

Justificación: Colombia exhibe notorias desigualdades de ingresos en los mercados de trabajo y las diferencias en las habilidades matemáticas son uno de sus determinantes.

Metodología: Para reducir el tamaño del sesgo, se opta por una metodología de variables instrumentales -IV- basada en los estudiantes matriculados y la población en cada nivel preescolar por el municipio. Como la variable instrumentada es un maniquí, la estimación tradicional de dos etapas se modifica con una tercera etapa.

Datos Icfes / Pruebas internacionales: Saber 11

Otros datos: N/A

Resultados: El tamaño de los efectos sugiere que una mayor inversión en educación infantil constituiría una política deseable. Considerando los desarrollos cognitivos que ocurren durante los primeros años de vida y las desigualdades de oportunidades en cuanto al acceso, aumentar la cobertura del programa preescolar completo es decir, los tres años completos del ciclo para los niños más pobres potenciaría el capital humano desde abajo.

Resumen: Este trabajo proporciona nueva evidencia sobre los efectos a mediano plazo de asistir a la escuela preescolar en Colombia. Mediante la explotación de los resultados de una prueba de matemáticas estandarizada administrada al final de la escuela secundaria (la prueba Saber 11), se estima un modelo de variables instrumentales para una muestra de alrededor de 150.000 estudiantes que se auto-informan de su historia educativa. Encontramos que aquellos que asistieron al preescolar durante dos o tres años obtienen una ventaja significativa (0.17 y 0.26 desviaciones estándar) en los puntajes de matemáticas. Hay efectos heterogéneos por género, pero no por estatus socioeconómico. Estos resultados sugieren que las políticas dirigidas a aumentar la disponibilidad de un ciclo completo de preescolar para todos los estudiantes pueden tener implicaciones positivas para el logro educativo.

Año de inicio: 2017

Año de finalización: 2019

Título: College Major Choice: Does Attitude Toward Gender Roles Matter?
Elección importante de la universidad: ¿Importa la actitud hacia los roles de género?

Investigadores Icfes: Yamit López, Sergio Arango, Daniel Tascón

Estado del proyecto: Finalizado

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Opciones educativas, Elección de carrera, Estereotipos de género, Segregación de género

Pregunta de investigación: ¿Cómo las actitudes hacia los roles de género en el entorno escolar dan forma a la elección principal de los estudiantes para la universidad?

Objetivos: Contribuir a una literatura creciente sobre la hipótesis de identidad social para explicar la segregación de género en los campos de estudio de varias maneras

Justificación: A pesar de que las niñas tienen más probabilidades que los niños de asistir a la universidad en Colombia, este progreso aún no parece tener un impacto considerable en la proporción de mujeres que se gradúan de carreras en las que generalmente están subrepresentadas, como STEM1 y carreras de negocios (Ñopo, 2012). Estas diferentes opciones en la carrera universitaria entre niños y niñas tienen impactos económicos y sociales significativos. Atraer a más mujeres a estos campos no solo se considera clave para la mejora de la productividad, la innovación y el crecimiento económico de un país (Joensen y Nielsen, 2015), sino que varios estudios afirman que el contenido de la escolaridad da cuenta de una parte sustancial del género. brecha en las ganancias. Por ejemplo, Cepeda et al. (2014) indican que el 40% de la brecha salarial de género entre los reción graduados en Colombia se explica por las diferencias de género en el tipo de carrera elegida. Existen pruebas similares en otros contextos. La literatura en economía se ha concentrado en varios factores para explicar las diferencias de género en la elección principal. En este artículo, nos enfocamos en el papel de la identidad social en la determinación de los comportamientos individuales para probar si las actitudes hacia los roles de género en las escuelas influyen en lo que los estudiantes quieren estudiar y lo que eligen los estudiantes una vez que van a la universidad.

Metodología: Estimación con un modelo probit utilizando los dos conjuntos de datos que conformamos. Primero estimar el modelo utilizando el conjunto de datos que contiene información de la muestra aleatoria de estudiantes que fueron encuestados sobre sus planes para inscribirse en la educación terciaria y se les preguntó qué querían estudiar. Luego estimar el mismo modelo con nuestro segundo conjunto de datos que contiene información de todos los estudiantes que tomaron el examen SABER 11 en 2014 y se matricularon en una institución de educación superior entre 2015 y 2016, esto nos permite observar qué estudiantes terminaron eligiendo en la universidad.

Datos Icfes / Pruebas internacionales: Saber 11

Otros datos: Sistema para la Prevención de la Deserción en Educación Superior SPADIES – MEN

Resultados: Los resultados sugieren que las actitudes hacia los roles de género en las escuelas influyen en lo que los estudiantes quieren estudiar y lo que eligen cuando van a la universidad. De hecho, las decisiones de carrera universitaria de niños y niñas están influenciadas por las actitudes hacia los roles de género en las escuelas. Sin embargo, la influencia de los roles de género es principalmente prominente para las niñas. Encontramos que cuanto más alta es la escala de actitudes hacia los roles de género (AGR), es decir, más rechazo a los estereotipos de género tradicionales en la escuela, las alumnas tienen alrededor de 2 puntos porcentuales más de probabilidades de querer estudiar STEM o carreras de negocios (S&B), relativo a los machos Esta estimación no cambia cuando usamos nuestro segundo conjunto de datos que contiene información sobre la especialización que eligieron cuando observamos a las personas una vez en la universidad. Para minimizar posibles sesgos en nuestras estimaciones, controlamos las covariables individuales y a nivel de escuela y, debido a la deserción de la muestra, también usamos un enfoque estándar de dos pasos de Heckman (Heckman, 1979). Nuestras estimaciones son robustas a la inclusión de varias covariables y al modelo de selección.

Resumen: El objetivo de este trabajo es estudiar cómo las actitudes hacia los roles de género en el entorno escolar dan forma a la elección principal de los estudiantes universitarios. Utilizando datos proporcionados por el Instituto Colombiano para la Evaluación de la Educación (ICFES), encontramos que las estudiantes que vienen de escuelas con un desacuerdo más alto con los estereotipos de género tradicionales no solo son más propensas a querer estudiar carreras universitarias donde generalmente están subrepresentadas, como STEM y carreras de negocios, pero también es más probable que elijan estas carreras cuando van a la universidad. Los resultados de este trabajo sugieren que las preferencias de género pueden ser modificadas por el entorno y abogar por la formulación de políticas públicas que modifiquen las actitudes hacia los roles de género.

Link de la publicación: Clic aquí para ver el video

Año de inicio: 2017

Año de finalización: 2018

Título: Ecological factors associated to Teacher Satisfaction with the current Job and with the Teaching Profession: A Multilevel Analysis Approach.
Factores ecológicos asociados a la Satisfacción Docente con el Trabajo Actual y con la Profesión Docente: Una Aproximación de Análisis Multinivel

Investigadores Icfes: Catalina Rey

Investigadores externos: Jorge Cuartas, Darío Maldonado

Institución de afiliación del Investigador externo: Universidad de los Andes

Estado del proyecto: Finalizado

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Satisfacción, docencia, condiciones, clima escolar, colegios.

Pregunta de investigación: ¿Cómo se distribuye la varianza de las variables satisfacción con el trabajo y satisfacción con la profesión entre colegios y al interior de los colegios?, ¿Qué proporción de estas varianzas se asocia con características de los profesores y del colegio?, ¿Cuáles son las características que mejor predicen la satisfacción docente con el trabajo y con la profesión?

Objetivos: Investigar los factores asociados que inciden en que un docente se sienta satisfecho tanto con su trabajo actual como con la profesión de la docencia.

Justificación: La literatura sobre factores asociados a la satisfacción docente ha crecido en las últimas 3 décadas (Sosu, 2014) 1. Características de los docentes (Jensen, 2010) 2. Percepciones de los docentes sobre su entorno (bl bla) 3. Condiciones laborales (Guyon & Huillery, 2015) 4. Características de los colegios (Bertrand et al. , 2014) Adicionalmente: si bien la satisfacción docente tiene una importancia intrínseca, también tiene una importancia instrumental dada las asociaciones antes mencionadas (OECD, TALIS 2013). Pocos estudios han explorado la satisfacción con la profesión (alpha=0. 80) de forma separada de la satisfacción con el trabajo actual (alpha=0. 83) Dentro de la agenda de investigaciones sobre Efectos de colegio la relación entre características del colegio y satisfacción docente todavía no se ha explorado a cabalidad (Gil-Flores, 2017).

Metodología: Se usa un Modelo Multinivel de dos niveles con efectos fijos de país. EF de país por heterogeneidad no observada entre países. El Modelo Multinivel permite tener en cuenta la estructura anidada de los datos y así mismo el supuesto de independencia de las observaciones. No hacerlo produciría errores estándar incorrectos. – Primer nivel: Individuo – Docente – Segundo nivel: Colegio

Datos Icfes / Pruebas internacionales: PISA 2015

Otros datos: N/A

Resultados: Encontramos que la mayor proporción de la varianza ocurre dentro del colegio, sin embargo, existe una proporción de la varianza que ocurre entre colegios, que es estadísticamente significativa y vale la pena estudiar. Asimismo, encontramos que la mayor proporción de varianza tanto a nivel de docente como a nivel de colegio la explican las variables: liderazgo del rector, ambientes colaborativos, carencia de personal y carencia de materiales; este set de variables explican más del 50% de la varianza a nivel de colegio. Las características individuales del profesor son fuertes predictores de la satisfacción con la profesión docente, mientras que condiciones del colegio como el clima escolar o el involucramiento de los padres son fuertes predictores de la satisfacción con el trabajo actual.

Resumen: El estudio busca determinar cómo se distribuye la varianza de las variables satisfacción con el trabajo y satisfacción con la profesión entre colegios y al interior de los colegios y qué proporción de estas varianzas se asocia con características de los profesores y del colegio. Asimismo, se busca establecer cuáles son las características que mejor predicen la satisfacción docente con el trabajo y con la profesión. Lo anterior por medio de un Modelo Multinivel de dos niveles con efectos fijos de país. Se ecncuentra que la mayor proporción de la varianza ocurre dentro del colegio, sin embargo, existe una proporción de la varianza que ocurre entre colegios, a nivel de colegio la explican las variables: liderazgo del rector, ambientes colaborativos, carencia de personal y carencia de materiales. Finalmente, el clima escolar o el involucramiento de los padres son fuertes predictores de la satisfacción docente.

Link de la publicación: Clic aquí para del el video

Año de inicio: 2017

Año de finalización: 2020

Título: Evaluación de Impacto del programa “Universidad de los Niños”

Investigadores Icfes: Marianella Ortiz, Cristian Urbano, Luis Eduardo Jaramillo

Investigadores externos: Gustavo Canavire, Fabiola Saavedra

Institución de afiliación del Investigador externo: BID, Eafit

Estado del proyecto: Finalizado

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Educación, pruebas estandarizadas, emparejamiento

Pregunta de investigación: ¿Cuáles son los efectos del programa “Universidad de los niños”, un programa informal de educación en ciencias y humanidades diseñado para niños de entre 8 y 17 años, en el logro académico de los participantes, que se promueve a través de resultados de exámenes estandarizados en el nivel de graduación de la escuela secundaria?

Objetivos: Examinar el impacto del programa “Universidad de los niños” de la Universidad Eafit y explorar los impactos de la instrucción informal en el rendimiento académico de los niños y adolescentes que participaron en el programa entre 2008 y 2015.

Justificación: “Universidad de los niños” es un programa de educación informal que contribuyen al desarrollo del conocimiento científico en los jóvenes a través de actividades que se desarrollan en el campus de la universidad anfitriona y que facilitan los encuentros entre participantes y académicos/investigadores. El concepto fue desarrollado originalmente en 2002 por la Universidad Eberhart-Karls en Tübingen, Alemania, y se expandió rapidamente en las universidades europeas en los años siguientes. En 2008, la Comisión Europea fundó la Red Europea de Universidades para Niños (EUCU.NET) para estandarizar la organización e implementación de estos programas y brindar orientación a los futuros miembros. Aunque cada programa implementa su metodología y criterios de selección, para 2019 EUCU.NET había registrado 65 miembros activos (universidades) en 32 países diferentes de todo el mundo que suscriben los principios de EUCU.NET. A pesar de la implementación mundial de este tipo de intervenciones, casi no hay evidencia del impacto que tienen la “Universidad de los niños” en su conjunto o individualmente. El único estudio existente es el de Gary y Dworsky (2018), que analiza el compromiso que las universidades crean con los niños a través de la estrecha interacción entre los niños y los académicos/investigadores en entornos que originalmente no estaban destinados a los niños, y cómo estos encuentros cara a cara brindan beneficios no solo para niños, sino también para científicos al hacer que la investigación sea más interactiva.

Metodología: En el espíritu de la estrategia de diferencia coincidente, se aplica una estimación de efectos fijos a la muestra emparejada. Finalmente, se realizan pruebas de correlación en serie y heteroelasticidad que apuntan a validar los estimadores y sus errores estándar

Datos Icfes / Pruebas internacionales: Saber 11

Otros datos: Datos Universidad de los Niños – EAFIT

Resultados: Se encontró que el programa de formación informal “Universidad de los niños” implementado por la Universidad EAFIT en Colombia tiene un impacto en el rendimiento académico de los niños, niñas y adolescentes que participaron en él, medido por la prueba Saber 11. Nuestros resultados muestran un mayor impacto en el rendimiento en matemáticas en comparación con el lenguaje y el puntaje de la prueba global, una mayor mejora en los resultados de aprendizaje de las estudiantes mujeres que en los de los estudiantes varones, y los estudiantes de escuelas privadas superan a los estudiantes de escuelas públicas.

Resumen: Esta investigación examina los efectos del programa “Universidad de los niños”, un programa de educación informal en ciencias y humanidades diseñado para niños entre las edades de 8 y 17 años, en el rendimiento académico de los participantes a través de puntajes de exámenes estandarizados al nivel de graduación de la escuela secundaria. Usando un conjunto de datos único, explotamos la variación temporal sobre una muestra emparejada de participantes y no participantes para evaluar el impacto del programa Encontramos efectos positivos y estadísticamente significativos de la participación de los estudiantes en el programa sobre las puntuaciones en las materias de matemáticas y lengua y también sobre la puntuación total “Este resultado es más fuerte para las alumnas que para los estudiantes masculinos. Nuestros resultados son consistentes con los de estudios previos de programas similares de educación informal y compromiso científico y contribuyen a la evidencia limitada de estos en los países en desarrollo

Año de inicio: 2017

Año de finalización: 2018

Título: Puntos de inflexión: el efecto de la estrategia Colegios Pioneros sobre el desempeño académico

Investigadores Icfes: Nicolás Castro, Santiago Gómez Echeverry, Luis Esteban Álvarez

Estado del proyecto: Finalizado

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Calidad educativa, docentes, evaluación de impacto, diferencias en diferencias, entropy balancing.

Pregunta de investigación: ¿Cuales son los efectos del PTA y la estrategia Colegios Pioneros sobre el desempeño de los estudiantes en las pruebas Saber 3° y 5° en las áreas de Matemáticas y Lenguaje?

Objetivos: Mostrar si la estrategia Colegios Pioneros ha tenido un impacto significativo en el desempeño de los estudiantes de 3° y 5° de primaria en las pruebas Saber en Matemáticas y Lenguaje, usandocomo grupo de control los colegios pertenecientes al PTA.

Justificación: A pesar de estos importantes avances, el incremento en cobertura no se ha visto acompañado por un mejoramiento de la calidad educativa. Las tasas de graduación de la zona siguen siendo inferiores a la de los países desarrollados y aún existen rezagos en el desempeño, si se compara con países con Producto Interno Bruto (PIB) similar (Bassi, Busso & Muñoz, 2015). Estas falencias son críticas si se tiene en cuenta que en la literatura se evidencia una fuerte relación entre la calidad educativa y el crecimiento económico y el desarrollo (Hanushek & Woessmann, 2010).

Metodología: El método propuesto es una aproximación cuasi-experimental al problema, que se ajusta a la asignación no aleatoria de la estrategia Colegios Pioneros, método de diferencias en diferencias emparejadas, Al encontrar diferencias etadisicas, es necesario controlar estas disparidades, el método de emparejamiento empleado fue el Entropy Balancing.

Datos Icfes / Pruebas internacionales: Saber 3° y 5° (2012 – 2017) Puntajes en Matemáticas y Lenguaje

Otros datos: Colegios Pioneros, PTA 2012-2017 y Resolución 166 del (MEN)

Resultados: Los resultados evidencian una clara carencia de impacto positivo de dicha estrategia. Por el contrario, la estrategia tiene un impacto diferencial negativo en las pruebas de Lenguaje y Matemáticas, para los grados 3° y 5°. Las recomendaciones de política estarían encaminadas a la reformulación de la estrategia Colegios Pioneros para fortalecer el programa. Especialmente para potenciar el aprendizaje de los estudiantes de aquellos establecimientos que presentan condiciones favorables en términos de respuesta a la intervención. Para ello, resulta necesario no solamente realizar una focalización que de cuenta de las potencialidades de respuesta de los establecimientos, sino igualmente propender por una implementación que no se distancie del diseño e incorpore la totalidad de los componentes concebidos.

Resumen: Con el fin de fortalecer la calidad de la educación en el país, desde el 2012, el Ministerio de Educación Nacional de Colombia ha venido implementando el programa Todos a Aprender (PTA). En el año 2015 este programa tuvo varias reformas, entre las cuales se incluyó la estrategia Colegios Pioneros, que tuvo un refuerzo en los componentes del PTA y el apoyo de organizaciones líderes en temas educativos. El presente trabajo estima la diferencia entre los efectos del PTA y la estrategia Colegios Pioneros sobre el desempeño de los estudiantes en las pruebas Saber 3° y 5° en las áreas de Matemáticas y Lenguaje. Mediante una metodología de diferencias en diferencias emparejadas, se encuentra una reducción relativa en el desempeño en las pruebas de dichas áreas en las instituciones en las que se implementó la estrategia Colegios Pioneros. Este resultado puede ser atribuible a un efecto de saturación de los establecimientos intervenidos, dado que las mejoras incorporadas en la estrategia pueden no representar un estímulo adicional.

Link de la publicación: Clic aquí para ver el artículo

Año de inicio: 2017

Año de finalización: 2017

Título: Externalidades en el desempeño académico de la provisión de incentivos: evidencia del programa Ser Pilo Paga

Investigadores Icfes: Sergio Arango

Estado del proyecto: Finalizado

Línea de investigación: 7. Trayectorias educativas y curso de vida

Palabras clave: Desempeño académico, externalidades, incentivos, Ser Pilo Paga

Pregunta de investigación: ¿Cuál es el efecto de ser elegible en colegios con y sin beneficiarios del programa Ser Pilo Paga, sobre el desempeño de los estudiantes en el examen Saber 11, un año después de la primera provisión de becas?

Objetivos: Identificar el efecto de ser elegible en colegios con y sin beneficiarios del programa spp, sobre el desempeño de los estudiantes en el examen Saber 11, un año después de la primera provisión de becas.

Justificación: Mientras la literatura ha estudiado ampliamente los efectos directos de proveer incentivos a estudiantes, basados en su rendimiento, los estudios sobre los efectos indirectos o externalidades son apenas un cuerpo de literatura en desarrollo. Entre los efectos indirectos que algunos detractores de la provisión de incentivos en educación señalan, se encuentran la creencia sobre cómo el flujo de beneficios termina dirigiéndose a estudiantes con ingresos altos o medios (Heller & Marin, 2002) y el daño potencial en la motivación intrínseca con la que algunos estudiantes cuentan, ante la presencia de una recompensa extrónseca (Greene et al., 1976; Greene & Lepper, 1974; Lepper, 1973). Sin embargo, otros estudios como el de Kremer et al. (2009) y Angrist et al. (2009) han mostrado que los estudiantes no expuestos directamente a los incentivos o con pocas probabilidades de obtenerlos responden a estos de forma más intensa, lo cual sugiere la existencia de externalidades de la provisión de incentivos en educación.

Metodología: Se usa como estrategia de identificación un modelo de diferencias en diferencias para comparar los estudiantes elegibles y no elegibles en colegios con y sin beneficiarios del programa, descontando por las diferencias en características observables entre ambos tipos de estudiantes. Esta comparación es factible debido a cómo fue anunciado el programa, pues mientras los estudiantes presentaron el examen en el 2014 sin tener conocimiento del programa, los estudiantes que presentaron el examen en el 2015 anticipaban la provisión de las becas.

Datos Icfes / Pruebas internacionales: Saber 11 2015

Otros datos: SPP

Resultados: Los resultados sugieren que no solo la brecha entre elegibles y no elegibles se está cerrando a causa del programa, sino también se está cerrando más rápido en colegios con población más vulnerable y donde las diferencias entre los dos grupos de estudiantes eran más amplias. Adicionalmente, se exploraron efectos heterogéneos a partir de la hipótesis de Camerer y Hogarth (1999), la cual establece que pueden existir diferencias en el efecto de la provisión de incentivos dependiendo de qué tan alcanzable o inalcanzable un individuo percibe la provisión de una recompensa. Desde que los estudiantes de altos y bajos rendimientos en el examen pueden percibir de forma distinta el umbral de desempeño a partir del cual se proveen las becas del programa, se encuentra que los estudiantes elegibles de desempeños altos en colegios que no obtuvieron beneficiaros en la primera ola de incentivos aumentaron su desempeño en 0,16 desviaciones estándar en matemáticas y el puntaje global del examen, y en 0,14 desviaciones estándar en lectura. Los estudiantes elegibles de desempeños bajos en los mismos colegios incrementaron en 0,06 desviaciones estándar su puntaje de lectura y matemáticas, y en 0,07 desviaciones estándar su desempeño en el puntaje global del examen. En los colegios que obtuvieron beneficiarios del programa en el 2014 no se evidenciaron diferencias notables en el efecto de ser elegible entre los estudiantes de altos y bajos desempeños.

Resumen: En octubre de 2014 el Gobierno colombiano anunció la provisión de 10.000 becas a estudiantes de bajos recursos para estudiar en instituciones de educación superior. En este trabajo, se estima el efecto ser elegible por el programa en colegios con y sin beneficiarios de este luego de la primera ola de incentivos, sobre los resultados del examen Saber 11 de los estudiantes que presentaron la prueba en el 2015. Usando un modelo de diferencias en diferencias se encuentra que los estudiantes elegibles en colegios con beneficiarios aumentaron su puntaje global del examen y su puntaje en lectura en 0,03 desviaciones estándar, mientras que en matemáticas el aumento fue de 0,02 desviaciones estándar. En colegios sin beneficiarios, ser elegible representó un aumento de 0,09 desviaciones estándar en el puntaje global del examen y en matemáticas, mientras que en lectura el aumento fue de 0,08 desviaciones estándar. Estos resultados sugieren la existencia de externalidades en los estudiantes de colegios que no obtuvieron beneficiarios del programa en la primera entrega de incentivos.

Link de la publicación: Clic aquí para ver el artículo

Año de inicio: 2016

Año de finalización: 2017

Título: Impacto del número de estudiantes en un mismo salón sobre los resultados en las pruebas de estado para Colombia

Investigadores Icfes: Daniel Tascón

Investigadores externos: María Juliana Rodríguez

Institución de afiliación del Investigador externo: Universidad Javeriana

Estado del proyecto: Finalizado

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Tamaño de clase, variable instrumental, efectos fijos,Pruebas SABER 11,

Pregunta de investigación: ¿Como se ve afectado el desempeño educativo de los bachilleres en las pruebas estandarizadas frente a una reducción en el tamaño de clase?

Objetivos: Investigar los efectos en el desempeño educativo de los bachilleresen las pruebas estandarizadas frente a una reducción en el tamaño de clase. Hacerse esta pregunta en Colombia es de gran importancia puesto que se ha demostrado en investigaciones internacionales que la reducción del tamaño de clase es una política que puede mejorar la calidad de la educación.

Justificación: Experiencias internacionales como las de EE. UU, Israel y Finlandia dan una luz de cómo se podría manejar la política educativa en Colombia. Sin embargo, resulta difícil traer a nuestro contexto resultados obtenidos en estos países, dado que la educación en Colombia es considerada de menor calidad y cuenta con una menor inversión. Por esta razón sigue siendo de gran interes conocer e investigar con datos nacionales, mecanismos a través de los cuales la reducción del tamaño de clase pueda impactar el desarrollo cognitivo de los niños.

Metodología: Para determinar el impacto que tiene el tamaño de clase sobre el desempeño académico de un estudiante, se propone la estrategia de variable instrumental. La primera variable instrumental implementada busca impactar el tamaño de clase sin afectar los determinantes de los resultados en las pruebas de estado. La segunda variable instrumental se creo con el fin de encontrar un efecto del tamaño de clase sobre el puntaje obtenido en las pruebas SABER 11 y que cubriera a las instituciones tanto oficiales como no oficiales. Al estimar este parametro por medio de efectos fijos, se puede controlar por la heterogeneidad no observada de los colegios.

Datos Icfes / Pruebas internacionales: Saber 11 (2012-2013) y Saber 9

Otros datos: DANE – encuesta C-600

Resultados: Estos resultados parecen arrojar algunas consideraciones importantes del entorno educativo que difieren de lo que ocurre en países desarrollados. A pesar que una política enfocada en reducir el tamaño de clase para aumentar la atención de los profesores hacia sus estudiantes pareciera impactar de manera positiva el desempeño a traves del clima en el aula, para colombia el enfoque de cobertura atenúa completamente esta iniciativa.

Resumen: Esta investigación explora el impacto que tiene el numero de estudiantes de un mismo salon sobre los resultados obtenidos en las pruebas de estado para Colombia en un periodo comprendido entre los anos 2012 y 2013. En primer lugar, se realiza una aproximación del efecto del tamaño de clase sobre el rendimiento en las pruebas de estado por medio de efectos fijos para controlar por la heterogeneidad no observada de los colegios. Posteriormente, se propone una metodología de variable instrumental con el fi n de contar con una estrategia de identificación que vaya mas allá de hacer una simple comparación del desempeño de los estudiantes con diferentes tamaños de clase.

Link de la publicación: Clic para ver el artículo

Año de inicio: 2016

Año de finalización: 2020

Título: Involucramiento parental y el logro escolar: análisis de factores asociados al desempeño en pruebas TERCE en Colombia
Parenting and educational achievement

Investigadores Icfes: Yamit López, Santiago Gómez

Estado del proyecto: Finalizado

Línea de investigación: 6. Factores asociados al aprendizaje

Palabras clave: Logro académico, monitoreo, actividades extracurriculares, comunicación familia escuela.

Pregunta de investigación: ¿Cuál es la relación entre monitoreo parental, comunicación familia-escuela y actividades recreativas y culturales con el logro escolar de los estudiantes en su etapa de preadolescencia?

Objetivos: Identificar la magnitud y dirección de las asociaciones entre el monitoreo parental, la relación familia-escuela y las actividades extracurriculares desarrolladas entre padres e hijos con el desempeño académico de los estudiantes en etapa de preadolescencia. Esto con el fin de aportar evidencia para la formulación de políticas públicas que están en pro del fortalecimiento de las relaciones y vínculos que se establecen entre padres e hijos, el refuerzo y aprendizaje de actividades de monitoreo y el fortalecimiento de los canales de comunicación entre familia-escuela.

Justificación: A pesar de las mejoras en inversión, acceso y deserción, los resultados en pruebas estandarizadas muestran que los estudiantes no desarrollan las competencias básicas que deberían tener una vez terminan sus estudios. Por ejemplo, los resultados del programa internacional de evaluación de los alumnos (Pisa, por sus siglas en inglés) dejan en evidencia que el desempeño de los estudiantes latinoamericanos está por debajo del promedio de sus homólogos de la OCDE en las áreas de lenguaje, matemáticas y ciencias (OECD, 2016). Diferentes autores han determinado que parte del desempeño académico de los estudiantes se puede explicar mediante el involucramiento parental y los recursos.

Metodología: Con el fin de explorar la relación que existe entre las prácticas de monitoreo, la comunicación familia-escuela y la realización de actividades recreativas y culturales entre padres e hijos con el logro educativo de los estudiantes, se utilizó un modelo de ecuaciones estructurales (MES). El desarrollo metodológico siguió un enfoque de dos pasos. Primero, se confirmó un modelo bidimensional para las prácticas de monitoreo y la comunicación familia-escuela mediante el Análisis Factorial Confirmatorio (AFC). Segundo, se estimó un MES evaluando la asociación directa entre las dos variables latentes derivadas del AFC y el índice de actividades padres-hijos con el desempeño en las pruebas del TERCE de matemáticas y lenguaje. Adicionalmente, se agregó un conjunto de variables de control (características de estudiantes, familia, docentes y escuelas) para reducir el sesgo por variable omitida. Finalmente, para determinar si existe otro modelo que se ajuste mejor a los datos que el modelo primario, se estimaron dos modelos anidados, teniendo en cuenta los índices de modificación recomendados por el software (en este caso Stata. Los MES se llevaron a cabo implementando un estimador de máxima verosimilitud, con análisis multigrupo por sexo y con errores estándar robustos.

Datos Icfes / Pruebas internacionales: El Tercer Estudio Regional Comparativo y Explicativo (TERCE)

Otros datos: N/A

Resultados: Los resultados de la presente investigación muestran que, para Colombia, existe una relación positiva entre el monitoreo y el logro educativo de estudiantes de tercer grado, para las pruebas de lenguaje y matemáticas tanto en hombres como en mujeres. Este resultado es consistente con estudios y revisiones recientes que confirman la existencia de una relación positiva entre monitoreo y logro académico (Bellon, Ngware y Admassu, 2017). Como se observa en las gráficas 5 y 6, las magnitudes más grandes se dan en el modelo de lenguaje. Esto puede ocurrir porque los padres posiblemente sientan una mayor confianza en sus habilidades parentales y cognitivas, las cuales facilitan el acompañamiento en los procesos de aprendizaje relacionados con la asignatura, teniendo mayor incidencia en el desempeño de los niños y niñas (Kin y Min Kin, 2017). Los resultados encontrados van acordes con la literatura internacional y sugieren la existencia de una relación positiva entre el involucramiento de los padres a través de las actividades recreativas y culturales con el desempeño académico

Resumen: La investigación en el campo de la economía de la educación ha mostrado que el involucramiento parental influye sobre el rendimiento académico de los estudiantes. Por lo anterior, el objetivo de este trabajo es identificar la magnitud y dirección de las asociaciones entre monitoreo parental, comunicación familia-escuela y actividades recreativas y culturales con el logro escolar de los estudiantes en su etapa de preadolescencia. Para esto se construyó un índice de actividades extracurriculares realizadas entre padres e hijos, y se realizó un análisis factorial confirmatorio con el que se construyeron dos variables latentes (monitoreo y comunicación familia-escuela). Posteriormente se estimó un modelo de ecuaciones estructurales para calcular las relaciones entre las covariables de interés y el desempeño en las pruebas del TERCE de matemáticas y lenguaje de grado tercero. Los resultados encontrados sugieren que el monitoreo y el desarrollo de actividades extracurriculares entre padres e hijos se asocia positivamente con el logro escolar en ambas pruebas. En el caso de la comunicación familia-escuela, no se encontró evidencia estadística que relacione esta variable con el desempeño escolar.

Link de la publicación: Clic aquí para ver el artículo