Formación y Evaluación de Resultados de Aprendizaje

¿Qué son los objetivos educacionales (O.E.)?

Son enunciados que muestran los logros que se espera que los profesionales graduados de una carrera, hayan alcanzado después de pocos años de su graduación. La carrera define este lapso de tiempo (de 3 a 7 años). Usualmente son 3 ó 4 enunciados.  En conjunto constituyen el perfil profesional de la carrera. Como tal, deben ser coherentes con la misión de la institución y de la carrera, así como tomar en cuenta las necesidades de los constituyentes (graduados, empleadores, comité consultivo, profesionales del ramo, sociedad en general y prospectiva de la carrera).

Los O.E. deberían revisarse como mínimo cada 5 años (o cuando hay reforma curricular), considerando que las necesidades de la sociedad son dinámicas. Deben pasar por un proceso de reformulación (por parte de los docentes) y validación por el comité consultivo de la carrera.

¿Qué es un resultado de aprendizaje (R.A.)?

Es una competencia, habilidad, saber, o destreza, que el estudiante, al terminar su instrucción (o sea, al graduarse), debe poder evidenciar.  El conjunto de resultados de aprendizaje, a nivel de carrera, es lo que se conoce como perfil de egreso.  Todos los resultados de aprendizaje de la carrera deben reflejarse o tener relación directa con uno o más enunciados del perfil profesional.

En ESPOL existen 7 resultados de aprendizaje, que son comunes a todas sus carreras (o programas). Por consiguiente, son de carácter institucional (o RAIs):

  • RAI # 1: Habilidad para comprender la responsabilidad ética y profesional. Guía   Rúbrica  Introducción  Vídeo 
  • RAI # 2: Habilidad para comunicarse efectivamente en español.  Guía   Rúbrica   Vídeo
  • RAI # 3: Habilidad para comunicarse en inglés. Guía   Rúbrica    Vídeo
  • RAI # 4: Reconocimiento de la necesidad del aprendizaje continuo y desarrollo de habilidades para aprender.  Guía   Rúbrica    Vídeo
  • RAI # 5: Habilidad para conocer temas contemporáneos. Guía   Rúbrica    Vídeo
  • RAI # 6: Habilidad para trabajar como integrante de un equipo multidisciplinario. Guía   Rúbrica   Vídeo
  • RAI # 7: Reconocimiento de la necesidad de emprender, y las habilidades para convertirse en emprendedor.  Guía   Rúbrica   Vídeo

Adicionalmente, cada carrera en ESPOL posee resultados de aprendizaje, intrínsecos o inherentes a la misma. Estos son conocidos como resultados de aprendizaje disciplinares (RADs). Ambos tipos de R.A. son a nivel de carrera (están por encima de cualquier objetivo particular de curso por ej). La única diferencia radica en que los RAIs son comunes a todas las carreras de ESPOL, mientras que los RADs sólo aplican a una carrera en particular (o a un grupo de carreras afines entre sí, ej: ciertas ingenierías).

Similar a los objetivos educacionales o perfil profesional, el perfil de egreso debe revisarse como mínimo cada 5 años, o cuando hay reforma curricular.

¿Qué implica el formar un resultado de aprendizaje?

Formar es acompañar al estudiante durante todo un término académico hacia una competencia, habilidad, saber, o destreza determinada (en otras palabras, hacia un resultado de aprendizaje de carrera). El programa o carrera define qué asignaturas o cursos contribuirán significativamente a la formación de un R.A. determinado. Esto se conoce como ruta o esquema de formación, la cual se modifica usualmente cuando hay reforma curricular, porque está ligada a los syllabi de curso.

¿Qué implica el medir y evaluar un resultado de aprendizaje?

Medir implica registrar cuantitativamente el avance de los estudiantes hacia un resultado de aprendizaje. Es hacer las veces de “prueba de diagnóstico” o “periodista”. La medición vía rúbricas es el paso previo a la evaluación del R.A. La distribución de cursos a lo largo de la carrera, encargados de medir este avance, de cada uno de los R.A. se denomina ruta o esquema de evaluación (a veces llamada también ruta de medición). Este esquema de medición puede variar año a año, si la carrera lo estima conveniente, y está ligado a la planificación académica anual.

Por consiguiente, la evaluación del alcance de los estudiantes frente a un R.A. implica:

  1. Medir el R.A. (análisis cuantitativo).
  2. Detectar problemas de desempeño de los estudiantes mediante el análisis cualitativo de sus posibles causas, ya sea ocurridas durante el proceso de formación (del cual el profesor que mide no es responsable ciertamente), o en medición (de la cual el profesor que mide sí lo es); y,
  3. Proponer acciones de mejora concretas para formación y medición, que sean factibles, específicas, en cuanto a tiempo, cursos, recursos, etc.

Es necesario clarificar que tanto los RAIs y los RADs deben ser formados a lo largo de la carrera, y evaluados en distintas instancias de la misma (a fin de poder identificar falencias y corregirlas a tiempo).  Es incorrecto asumir que los RADs sólo deben ser formados o evaluados en materias técnicas o profesionalizantes y que los RAIs deben ser formados o evaluados sólo en materias básicas, humanísticas, o cuyo nombre coincida en gran medida con el RAI (ej. “Emprendimiento”, “Ética”, o “Comunicación”). La responsabilidad de asegurar que los graduados evidencien todo el perfil profesional es de todos los estamentos de la carrera. De ahí la importancia de que las rutas de formación y evaluación estén adecuada y oportunamente asignadas, equilibradas, y socializadas con los docentes de la misma.

Estos procesos, ¿en qué le ayudan a la carrera? ¿Cuándo se llevan a la práctica?

Las instancias ulteriores del proceso de evaluación de resultados de aprendizaje son la validación (vía plenarias de profesores de la carrera) y la ejecución de las acciones de mejora.  La validación es crucial, porque en ella intervienen no sólo aquellos profesores que midieron los R.A. sino todo el cuerpo docente. Allí se perfecciona el análisis de los problemas identificados (“se validan” en base a experiencias de otros docentes, observación de estudiantes, testimonios, etc), y se afina la formulación de las acciones de mejora propuestas (¿qué? ¿por qué? ¿cómo? ¿dónde? ¿cuándo? ¿con quiénes?).

Toda la documentación a recogerse (portafolios, informes de pasantías, comités consultivos) sirve para delinear el mejoramiento continuo del programa. Desde luego, las medidas sugeridas por los propios profesores deben ser llevadas a la práctica, en favor de los estudiantes. Aquí se requiere el apoyo mancomunado del cuerpo docente (no sólo de los que están a tiempo completo o no son titulares).

Esta adecuada evaluación del alcance de resultados de aprendizaje es muy útil cuando se requieren formular planes de mejora para la carrera (ej. los requeridos por el CES), o plan anual de compras, o plan operativo. En tal virtud, las acciones propuestas y puestas a ejecución se convierten en la base o insumo principal para estos efectos. Llevados adecuada y sistemáticamente, los procesos de formación y medición de R.A. simplifican notablemente el trabajo de los docentes, y son factor de cambio positivo para la carrera y sus estamentos.

A efectos operativos, ESPOL, a través del Vicerrectorado Académico ha dispuesto que los procesos de medición de RAIs y RADs sean cada 2 años (2016, 2018, 2020, etc.).  La formación, por otra parte no se detiene, es continua. En ese sentido, los años impares (2017, 2019, 2021, etc.) se emplean para ejecutar (y evidenciar) las acciones de mejora propuestas luego de la evaluación del año inmediato anterior.  Si las acciones de mejora fueron implementadas activamente, toda carrera debería mostrar mejoría en la siguiente medición.

¿Qué es una Rúbrica?

Es un instrumento de medición, en los cual se establecen criterios y estándares por niveles, mediante la disposición de escalas, que permiten determinar la calidad de la ejecución de los estudiantes en tareas, competencias, o destrezas específicas. En ese ámbito, las rúbricas permiten registrar o cuantificar el alcance de los estudiantes en cuanto a un resultado de aprendizaje. Si se considerase a la rúbrica como una matriz, las filas serían los criterios, que pueden ser uno o varios (holística o analítica), las columnas son los niveles de desempeño (usualmente, 3, 4 ó 5), y las celdas corresponden a los descriptores (explicación del alcance de un criterio, según el nivel de desempeño). Para efectos de registrar el alcance o nivel de desempeño general y específico de los estudiantes con respecto a un resultado de aprendizaje, se usan rúbricas analíticas.

Las siete rúbricas Institucionales, las guías para el uso de las rúbricas y los formatos de portafolios de formación y medición (evaluación) se encuentran en el portal web: www.stac.espol.edu.ec/rais.

Con respecto a los RADs, cada carrera es responsable de formularlos. De igual manera, la carrera deberá elaborar, así como socializar y validar las rúbricas para los procesos de formación o evaluación de sus RADs.

Preguntas frecuentes (FAQs) sobre el proceso de formación:

1) ¿Cuántas veces debo formar al semestre? En lo posible, continua y sistemáticamente (hay que recordar que para alcanzar un R.A. existen varios criterios o “pasos” a formar). No obstante, a partir de 2017, la evaluación docente exige al (a la) profesor(a) describir en detalle al menos 4 instancias de formación por cada R.A. asignado: 2 en el 1er parcial, y 2 en el 2do parcial.  Esto constituye la evidencia principal del portafolio de formación.  Para las carreras que apuntan a acreditación internacional, esto constituye, en sí mismo, lo que algunas acreditadoras conocen como “Display Materials”.

2) ¿Socializo la rúbrica? Sí, es su obligación, sobretodo desde el inicio, a fin de que los estudiantes sepan a dónde llegar al final del mismo.

3) ¿“Ciertas materias se prestan para formar RAs”? Sí. Evidentemente, materias que son totalmente de corte teórico mal pueden ayudar a formar experimentación o laboratorio. Cursos donde la instrucción sea en español no pueden ayudar a formar la comunicación en inglés.  En general, la carrera debe seleccionar cuidadosamente la ruta de formación, evitando que haya un R.A. donde muy pocos o ningún curso contribuya a su formación.

4) ¿Puedo usar la rúbrica para calificar? Sí, pero primero ubique a los estudiantes en un nivel (según su desempeño), luego transforme eso a nota (eso depende de cada docente). ¡NO AL REVÉS! (de lo contrario se puede caer en la tentación de asignar un “Excelente” a quien tiene 100, cuando eso no es necesariamente verdad, ej: trabajo en grupo, o comunicación efectiva). Recordemos que aquí se está formando un R.A. no simplemente calificando un examen.

5) Si estoy ayudando a formar un R.A., ¿debo evaluar ese R.A.? La única manera de que el docente se dé cuenta si ha hecho un buen trabajo en cuanto a formación es evaluando dentro de su propio curso. Puede ser comparando 2 momentos: ej. el primer día de clases, vs. el último día de clases). Esa evaluación “interna” del profesor, es también evidencia para su portafolio de formación, y le permite mostrar (en plenaria de la carrera) que él (ella) sí ha cumplido su labor de apoyo a la formación de un determinado R.A.  Hay que aclarar que a esta medición “interna” (o no oficial) no se refiere el proceso general de medición de R.A. (ruta de evaluación). Esta última la realizará otro docente, en otro curso diferente, para asegurar la objetividad del proceso.

6) Si me toca formar 2 R.A. distintos en un semestre, para la evaluación docente, ¿cuántos portafolios debo subir?  Los dos.

7) Si tengo que formar 1 R.A. pero enseño en 2 o más paralelos de la misma materia en un semestre, para la evaluación docente, ¿cuántos portafolios debo subir?  Uno sólo. Escoja el curso con el mayor número de estudiantes.

8) Si tengo que aportar con soluciones de mejora en mi portafolio de medición, ¿son para aplicar a mi curso o no?  Por supuesto, y valen también para todo curso donde se forme este R.A. Pero tenga en cuenta que: en un portafolio de formación, no le están preguntando si los estudiantes saben su materia, sino que Ud comente cómo ha sido el proceso formativo del R.A. respectivo, y qué propone para mejorar este proceso.

Preguntas frecuentes (FAQs) sobre el proceso de medición:

1) ¿Cuántas veces debo medir al semestre? Al menos una, de cada criterio de la rúbrica pertinente.

2) ¿Debo medir todo “de golpe”? Preferiblemente no, sino paso a paso. Un error común en varios docentes es el querer forzar a una herramienta de medición para medir varios criterios. Si la herramienta lo puede hacer, bien. Pero si no, es mejor no forzar las cosas, porque puede ocasionar resultados equivocados y llevar a conclusiones irrealistas.  Existen casos en los cuales se usa un tema de examen para medir varios criterios, donde incluso el tiempo (que usualmente es corto) lleva a los estudiantes a responder lo que puedan y no a responder según sus reales competencias.

3) Si me toca medir un R.A., ¿socializo la rúbrica? A diferencia del proceso de formación, aquí no debería hacerlo, porque sesga sus resultados. Recordemos que en medición, el docente hace las veces de “periodista” o “muestreador”. Si comunica con antelación la rúbrica respectiva, o liga la actividad con el R.A. a medir, predispone a los estudiantes a mostrar un desempeño “mejor” que el real, lo cual puede llevar asimismo, a resultados no verdaderos, y a acciones de mejora muy tenues o ligeras.  Lo que usualmente sucede en estos casos, es que los resultados son muy altos (pero que no reflejan el nivel verdadero de los estudiantes).

4) ¿“Ciertas materias se prestan para MEDIR RAs”? En principio no, porque aquí no se trata de formar todo un semestre a los estudiantes, sino de tomar un muestreo.

5) ¿Puedo usar la rúbrica para calificar? Igual que en el caso de la formación, sí. No es lo más recomendable (para evitar sesgos); pero primero ubique a los estudiantes en un nivel (según su desempeño), luego transforme eso a nota (eso depende de cada docente). ¡NO AL REVÉS! (de lo contrario se puede caer en la tentación de asignar un “Excelente” a quien tiene 100, cuando eso no es necesariamente verdad, ej: trabajo en grupo, o comunicación efectiva). Recordemos que aquí se está midiendo un R.A. no simplemente calificando una prueba.  Evidentemente, los estudiantes querrán ver una rúbrica para ese trabajo / examen / taller, etc. Puesto que anteriormente se ha recomendado no socializar la rúbrica del R.A. para efectos de medición, lo que el docente puede hacer es elaborar otra rúbrica para aquel trabajo /examen / taller, y esa sí socializarla (con el fin de transparentar el proceso de calificación de esa actividad).

6) ¿Puedo usar las herramientas de medición que yo quiera? Sí, siempre y cuando garanticen que midan adecuadamente y que al final TODOS los criterios de la rúbrica sean medidos.

7) ¿Me tengo que reunir con otros profesores que miden el mismo RA? Sí. La razón principal es que, sobretodo cuando uno o más profesores no tienen mucho recorrido midiendo R.A., es justamente intercambiar experiencias previas, estrategias, casos, de colegas que ya hayan medido ese R.A. No se trata de que todos los colegas midan con la misma herramienta (aunque podría darse ese caso), sino de que todos estén conscientes de que, con las herramientas a emplearse según la naturaleza y nivel de la materia (100, 200, 300, etc), se garantice una adecuada medición y evaluación de todos los criterios de la rúbrica.  Esta reunión debería ser antes o a inicios del semestre, e idealmente debería haber otra al final (para evaluar resultados).

8) ¿Es posible que coincida que deba yo formar y medir un mismo R.A. en el mismo semestre? Sí. Lo ideal es que tal caso no se dé, porque uno sería juez y parte del proceso (se mencionó anteriormente que para garantizar la objetividad, la medición oficial de un R.A. debe ser realizada en un curso diferente al que correspondió la formación).  Sin embargo, es posible que en los niveles superiores de la malla (500 especialmente), la menor cantidad de cursos obligue a la carrera a escoger cursos que estén en ambas rutas de formación y medición con el mismo R.A.

9) Si me toca formar un R.A. en una materia, y medir otro en otra materia, ¿qué evidencia debo subir para la evaluación docente?. Y si no me toca medir, ¿no subo nada? La tarea de formar, la tienen todos los docentes todos los semestres que imparten materias, pues cada materia está ligada a uno o dos R.A. para formación (eso está en el syllabus respectivo).  Por otro lado, la ruta de medición es menos densa que la de formación, por lo que no son todos los profesores a quienes se les asignan ambas tareas en un semestre determinado. En aras de aligerar la carga académica, a aquellos docentes que tienen ambas tareas en un mismo semestre sólo se les solicita (para efectos de evaluación docente), la evidencia del portafolio de medición del R.A correspondiente. Nuevamente, no significa que dejen de formar, sino que quedan exentos de presentar la evidencia de formación correspondiente. Pero aquellos docentes a quienes no les fue asignada la tarea de medir un R.A., deberán presentar el portafolio de formación respectivo.

10) Si me toca medir 2 R.A. distintos en un semestre, para la evaluación docente, ¿cuántos portafolios debo subir? Los dos. Cada resultado de aprendizaje que le toque medir en un semestre requiere un portafolio separado porque estos serán, no sólo subidos al sistema de evaluación docente por Ud. mismo(a), sino que deberán ser entregados a los colegas docentes que hacen las veces de “coordinadores” de ese R.A. para su procesamiento posterior (que es por separado), y socialización en plenaria.

11) Si tengo que medir 1 R.A. pero enseño en 2 o más paralelos de la misma materia en un semestre, para la evaluación docente, ¿cuántos portafolios debo subir? Uno sólo. Escoja el curso con el mayor número de estudiantes, para que la muestra sea representativa.

12) Y si en el paralelo que tomo para la muestra tengo estudiantes de varias carreras (materia transversal), ¿qué hago? Depende. Si su curso es de los niveles iniciales de la malla (ej. 100, 200 o incluso 300), y el R.A. es institucional (RAI) entonces proceda incluyendo a todos los estudiantes sin ningún inconveniente. Al fin y al cabo, el RAI es comparable para toda la ESPOL. Si su materia es común para varias carreras (usual incluso en nivel 300 o hasta 400), que tienen afinidad entre ellas (ej. varias ingenierías), puede usar todos los estudiantes, inclusive si se trata de un RAD.  Para casos en los cuales su materia es de corte profesionalizante y avanzada (lo cual se da comúnmente a partir de los niveles 400 y 500), se pueden seleccionar a aquellos estudiantes que pertenezcan a una misma carrera. Por supuesto, escoja Ud paralelos donde la muestra final, pese a esta pre-selección de estudiantes, siga siendo representativa.

13) Si tengo que aportar con soluciones de mejora en mi portafolio de medición, ¿son para aplicar a mi curso o no?  No, salvo que sean acciones de mejora para medición (en cuyo caso, aplica para su curso y todo curso donde se mida este R.A.). Recuerde: en un portafolio de medición, no le están preguntando si los estudiantes saben su materia, sino si alcanzan o no el R.A. respectivo y por qué. Ud está muestreando nada más.  Por ello, no caben soluciones de mejora como “continuar con la misma metodología de trabajo”.

14) Para efectos de medición, ¿cuál es la meta que certifica el cumplimiento de los RAs? La meta que ESPOL se ha trazado es que al menos el 70% de los estudiantes de cada muestra de medición estén en uno de los 2 niveles superiores de la rúbrica respectiva (desarrollado o excelencia). Esto rige para todos los RAIs, excepto el correspondiente a “comunicación en inglés” (RAI 3), atendiendo al efecto de que en Ecuador y ESPOL el lenguaje materno es el español. En ese único caso, la meta actual está en 45%.  En cuanto a los RADs (Disciplinares), cada carrera establece sus propias metas, aunque pueden tomar el 70% como primer objetivo, si no tienen alguna experiencia previa.  Este valor de meta puede subir o bajar, dependiendo del desempeño y condiciones de mediciones previas o históricas y consenso de los docentes.  En todo caso, el profesorado será informado oportunamente, tanto por STAC (en el caso de RAIs), como la coordinación de carrera (para los RADs).  Finalmente, recuerde lo siguiente: si Ud está midiendo, debe reportar sus resultados tal cual salen. Ud., si le toca medir/evaluar, está haciendo las veces de “periodista”, no de formador. No piense que si Usted logra en su curso porcentajes de cumplimiento de RAs que no llegan a la meta, eso es imputable a su evaluación docente, o causal de sanción”, etc  salvo el caso en que la medición no haya sido efectuada adecuadamente, en cuyo caso Ud debe mostrar el problema de medición y proponer también acciones de mejora en cuanto a ello).

 

Importante:

La explicación de las Rutas de Formación y las Rutas de Medición, así como, el uso de las Rúbricas se encuentra en este   Link 

La explicación del Portafolio de Formación, y del Portafolio de Medición, así como la forma de elaborarlos se encuentra en este   Link