ESTUDIOS

 

PROCESOS DE ACREDITACIÓN DE PEDAGOGÍAS: UN ESTUDIO DEL QUEHACER DE LAS AGENCIAS¹

ACCREDITATION PROCESSES IN PEDAGOGIES: STUDY ABOUT THE AGENCIES' PERFORMANCE

 

Macarena Domínguez, Martín Bascopé, Carlos Carrillo, Estíbaliz Lorca, Gabriel Olave, María de los Ángeles Pozo²

---

RESUMEN

Esta investigación estudió los procedimientos de la acreditación de pedagogías por parte de las agencias. El análisis describió los procedimientos concretos de los procesos de evaluación de programas de las agencias para observar si son confiables o si dependen del criterio de la agencia. Los resultados muestran que si bien las agencias cumplen la normativa vigente, los aspectos que están normados y que cuentan con descripciones precisas del modo de proceder son muy pocos con relación a la enorme cantidad de procedimientos y decisiones que deben llevar a cabo estos organismos y que, por tanto, su quehacer tiene mucho de discrecional.

Palabras clave: acreditación, agencias, FID, confiabilidad, accountability.

---

ABSTRACT

This paper reports results from a research on procedures for accreditation of ITT programs that Accreditation agencies follow in Chile. It analyzes whether the specific procedures for program evaluation are reliable or whether they depend on the judgment of the agency. Results show that despite agencies comply with current regulations, aspects that are regulated and have accurate descriptions about how to proceed are very few in relation to the huge number of procedures and decisions to be made by agencies, and so their work is much discretionary.

Key words: accreditation, agency, ITT, reliability, accountability.

---

 

Introducción

La acreditación de las pedagogías en Chile

Desde el 2006 la acreditación de carreras de pregrado es obligatoria para las carreras y programas conducentes al título profesional de profesor. Desde que entró en vigencia la Ley N° 20.129, esta función fue delegada a agencias privadas. Hasta la fecha, cuatro agencias han sido autorizadas por la Comisión Nacional de Acreditación (CNA) para acreditar programas del área Educación³.

El proceso de acreditación de carreras y programas chileno define tres etapas consecutivas a las que deben someterse las unidades académicas. (1) La autoevaluación de la carrera que concluye con la emisión de un informe con declaración cuantitativa, cualitativa y de opinión. (2) La evaluación externa realizada por un comité -conformado por tres pares evaluadores más un profesional de la agencia sin funciones evaluadoras que actua como ministro de fe- que visita la unidad académica y finaliza con un informe oral dirigido al directivo máximo de la carrera y un informe escrito, que no es vinculante. El comité de pares debe (a) evaluar el grado en que la carrera o programa se ajusta a los criterios y parámetros establecidos; (b) evaluar el grado de cumplimiento de los propósitos que la carrera o programa se ha definido; y, (c) validar el informe de autoevaluación. (3) El juicio de acreditación realizado por el Consejo de Educación de la agencia. Este debe tener a lo menos cinco miembros, y "contar con idoneidad académica, representatividad e independencia de juicio, tanto respecto de la institución acreditada como de las instancias directivas de las agencias" (Resolución exenta de la CNA N° 165-3, 2007, art. 4).

A modo de resumen del proceso se presenta un diagrama del mismo en la siguiente figura.

Las carreras pueden acreditarse hasta por 7 años o no acreditarse. En el caso de aquellas impartidas en más de una sede, jornada o modalidad, estas se acreditan por un mismo numero de años, aunque si una sede no cumple con los criterios puede resultar no acreditada (CNA, 2010a).

Respecto de los resultados de las acreditaciones, de acuerdo con datos de la CNA, el área de educación presenta menor cantidad de años de acreditación comparada con las demás áreas. De las carreras acreditadas informadas hasta 2010 por la CNA, 62,8% tiene tres o menos años de acreditación y solo 7% tiene seis o más años de acreditación.

Además, el área de educación presenta el segundo porcentaje más alto de programas no acreditados (4,3% correspondiente a 18 carreras)⁴, y sin embargo, el bajo numero de carreras no acreditadas (solo 18 de 517 carreras que se han sometido al proceso de acreditación) da razones para suponer que la mera acreditación no es garantía de calidad de un programa. Si se considerara la propuesta hecha por el Panel de Expertos para una Educación de Calidad (2010) de exigir 4 años de acreditación, la mayor parte de las carreras acreditadas no cumpliría con lo que se espera, por eso en la actualidad existen dudas de que el sistema esté cumpliendo con su principal cometido, cual es garantizar la calidad de un programa de Formación Inicial Docente (FID).

Las senales que muestran falencias en la FID son considerables. Los egresados chilenos han mostrado los peores resultados en el estudio comparativo sobre conocimientos para ensenar matemática (TEDS-M) (Ávalos y Matus, 2010), se ha observado un aumento explosivo de la matrícula y de la oferta de programas de FID acompanado de la disminución en su selectividad (Cox et al., 2011), y expertos internacionales (OCDE, 2004) y nacionales (Comisión sobre FID 2005; Consejo Asesor Presidencial, 2006; Panel de expertos, 2010; Sotomayor et al., 2010; Felmer et al., 2008) han enfatizado la distancia observada entre la formación ofrecida y los requerimientos del sistema escolar, con lo que la calidad de nuestra FID ha sido puesta en tela de juicio y junto con ello el sistema de acreditación de pedagogías.

No obstante que la CNA ha entregado una memoria de su gestión entre los años 2007 y 2010 (CNA, 2010b), no existe ningun dato publico acerca del quehacer de las agencias y ningun análisis de su gestión en términos comparativos. Esta falta de evidencias es especialmente crítica para un área en que la acreditación es obligatoria, más aun si se cuestiona su efectividad.

Para que la acreditación sea la piedra angular de un sistema nacional de aseguramiento de la calidad de la FID, se debe asegurar que el sistema sea confiable y, en ese sentido, que las evaluaciones de las agencias sean comparables y consistentes entre sí, es decir, que estas sean imparciales y no una variable que influya en los resultados de la acreditación. Este es un desafío reconocido por la CNA⁵.

La presente investigación se pregunta por el grado de estandarización y confiabilidad del proceso de acreditación de carreras de pedagogía -analizando los procedimientos concretos que se llevan a cabo- para proveer evidencias que aporten a la disminución de la discrecionalidad en el quehacer de las agencias y contribuir al fortalecimiento del sistema.

Antecedentes teórico-empíricos

La literatura senala que los sistemas nacionales de acreditación surgen principalmente asociados a (Mihailescu, 2004 en Scheele, 2009): (1) la emergencia de nuevas universidades independientes del Estado que tensionan la capacidad de los gobiernos de regularlas, y (2) la masificación de la educación superior. Lo anterior es concordante con el caso de Chile (Zapata y Tejeda, 2009).

Debido a la importancia que en los ultimos años ha probado tener -en el ámbito escolar- la calidad de un profesor sobre los resultados de los alumnos (Bravo, et al., 2008; León, et al., 2009; Kukla-Acevedo, 2009; Hanushek, et al., 2005; Rivkin et al., 2005; Hanusheck, 2004; Barber and Mourshed, 2008), es importante que el mecanismo que puede regular la calidad de la formación de profesores en Chile sea capaz de garantizar la calidad de los programas de FID.

Aseguramiento de la calidad docente

La evidencia comparada (OCDE, 2005; Barber y Mourshed, 2008; Wang, et al., 2003) identifica como uno de los puntos estratégicos en el aseguramiento de la calidad (QA por sus iniciales en inglés) de la preparación de los profesores de un país, la acreditación y monitoreo de la calidad de los programas FID. Ingvarson et al., (2011) encontraron que en los países que tienen sistemas robustos de QA, la acreditación de la FID está a cargo de una agencia independiente con atribuciones para implementar fuertes consecuencias para los programas no acreditados (cierre de los programas o suspensión de su financiamiento), estar referida a estándares de proceso que son específicos para las pedagogías y en algunos casos también a estándares de resultados que deben ser alcanzados por los graduados (Ingvarson et al., 2011).

En contraste, los países como Chile (con sistemas de QA más débiles y desregulados) se caracterizan por una acreditación voluntaria u obligatoria, pero que no se basa en estándares nacionales para los programas ni tampoco en estándares mínimos de resultados para los graduados, y que tiene débiles consecuencias.

Es posible aseverar que esta caracterización del sistema de QA del 2008 sigue vigente, pues aun no se presta mayor atención a los mecanismos de regulación o monitoreo de la oferta de FID, particularmente a la acreditación de los programas, que será precisamente nuestro objeto de análisis.

Funciones de los procesos de acreditación fomento o accountability?

Si bien en Chile se enfatizó inicialmente un propósito formativo de la acreditación⁶, sin duda la publicación de los resultados y la obligatoriedad en el caso de la acreditación de las pedagogías incorpora con fuerza el propósito de rendición de cuentas (accountability). Aunque el sistema de acreditación ha traído beneficios para el mejoramiento de las instituciones (Scharager y Aravena, 2010), resulta imprescindible examinar en qué medida su diseno es consistente con sus propósitos, pues los procedimientos de evaluación con propósitos de rendición de cuentas (accountability) y con consecuencias⁷ deben responder a exigencias distintas que las evaluaciones que tienen propósitos formativos, de mejoramiento continuo y sin consecuencias.

"Las evaluaciones utilizadas para accountability requieren, entre otras cosas, asegurar su validez e imparcialidad, contar con un referente o marco (estándares de contenido y de desempeno de aquello que se está evaluando), incluir medidas diversas o muestras de disímiles complejidades, "puntos de corte" que distingan niveles de desempeno, mecanismos para eliminar o disminuir los sesgos y errores de medición, mecanismos de control del cumplimiento de las condiciones estandarizadas de las evaluaciones" (Domínguez y Meckes, 2011; Fuhrman, 2003; Ravela, et al, 2008). Estos mecanismos necesitan de un sistema disenado para garantizar la independencia y neutralidad del evaluador y la estandarización de los procedimientos, instrumentos y criterios para asegurar la comparabilidad de los resultados. El cumplimiento de estos requisitos por parte del sistema de evaluación de programas para la acreditación es una cuestión que deberá probarse.

En ultima instancia, será necesaria una metaevaluación de la evaluación de las pedagogías, entendida como aquella investigación sistemática cuyo objetivo es emitir un juicio acerca de la calidad o los méritos de una evaluación (Stufflebeam, 1995; Scriven, 1967). Este estudio pretende contribuir en ese sentido.

La acreditación de programas de pedagogía: requisitos de rigor de una evaluación para la rendición de cuentas

La acreditación de las pedagogías constituye un proceso de evaluación y, en ese sentido, se puede encuadrar en la tradición de la investigación evaluativa y sus aplicaciones, evaluación de instituciones y evaluación de programas. En este contexto, Suchman (1967) vio la evaluación como la utilización de los métodos y técnicas de investigación científica utilizados con el propósito de evaluar. La evaluación de programas aparece como una modalidad de investigación aplicada en la educación y las ciencias sociales, donde las herramientas de la investigación social se ponen al servicio del ideal consistente en hacer más preciso y objetivo el proceso de juzgar (Correa, Puerta y Restrepo, 1996).

Segun Borouch y Wortman (1979), no existe un modelo generalizado de investigación evaluativa.

Sin embargo, de acuerdo a Correa, Puerta y Restrepo (1996), por diferentes que sean las maneras de concebir el fin y los métodos de la evaluación, todas se refieren a la investigación y la apreciación de la eficiencia, eficacia y relevancia social de una institución, programa o proyecto, para lo cual se requiere disponer de información sobre los insumos, los procesos y los productos o resultados. Cuanto más válidas, confiables y representativas sean estas informaciones, mayor será la posibilidad de reorganizar los fines y los medios de un programa o proyecto, de tal manera que este arroje resultados óptimos.

Stufflebeam y Shinkfield (1995) indican que cualquiera sea la intencionalidad de la evaluación esta debería encuadrarse en algunas de las normas del Joint Committee (1981): debe ser util, factible, ética y exacta.

La Government Accountability Office de los Estados Unidos (2009) precisa que una evaluación confiable de resultados requiere de experticia en investigación, pero puede ser optimizada con entrenamiento y protocolos detallados y, además, que se beneficiaría de evaluaciones mejor disenadas e implementadas y reportes más detallados.

De acuerdo con Correa, Puerta y Restrepo (1996), la investigación evaluativa "establece criterios claros y específicos que garantizan el éxito del proceso, reune sistemáticamente información, pruebas y testimonios de una muestra representativa de las audiencias que conforman el programa u objeto para evaluar, traduce dicha información a expresiones valorativas y las compara con los criterios inicialmente establecidos y finalmente saca conclusiones".

Estos autores proponen los siguientes criterios científicos para la evaluación:

1. Validez: debe reflejar una correspondencia inequívoca entre la información y el aspecto de la realidad que se evalua, lo que implica que en el diseno de la evaluación:

• Se elimine o controle la interferencia de variables extranas (validez interna).

• Se garantice que los instrumentos de medición midan lo que se quiere medir.

• Se permita cierto grado de generalización de la información (validez externa) seleccionando muestras de informantes representativas de la población al azar y controlando factores ambientales ajenos.

2. Confiabilidad: la evaluación debe ser consistente. Esto es, si los instrumentos se utilizan más de una vez para evaluar la misma calidad, los resultados obtenidos deben ser muy parecidos.

3. Objetividad: debe minimizar las apreciaciones personales en el momento de emitir juicios valorativos, empleando instrumentos que recojan hechos verificables, de modo que si distintos evaluadores aplican el mismo instrumento obtengan resultados similares.

Existen varias maneras de abordar la validez, desde el "juicio de expertos" que juzgan el grado en que un proceso de evaluación o medición representa el dominio o propiedad que pretende representar; la capacidad de una evaluación o medición de relacionarse positivamente (de la manera esperada) con otras medidas de la misma propiedad o con los criterios que se usan para medirla; o la capacidad de la evaluación de predecir un desempeno futuro o tener consecuencias consistentes con sus resultados (Prieto y Delgado, 2010).

La confiabilidad de una investigación se concibe como la posibilidad de repetir la misma investigación con idénticos resultados. Esta tiene por objeto asegurarse de que un investigador, siguiendo los mismos procedimientos descritos por otro investigador, puede llegar a los mismos resultados y conclusiones (Martínez, 2006). En los estudios cualitativos la confiabilidad está orientada hacia el nivel de concordancia interpretativa entre diferentes observadores, evaluadores o jueces del mismo fenómeno (opsit). Se necesita la confiabilidad para poder hablar de resultados válidos, por eso se dice que es una condición necesaria, pero no suficiente para la validez (Prieto y Delgado, 2010).

Evidencias de validez y confiabilidad del proceso de evaluación de programas de pedagogía para su acreditación

La acreditación de las pedagogías en Chile es un proceso de evaluación que busca garantizar la calidad de los programas que conducen al título de profesor, calificando su calidad en una medida de 0 a 7. Para ello se han definido procedimientos, criterios y herramientas para objetivar y estandarizar el proceso. Los expertos manifiestan que se aspira a que los procesos de acreditación cumplan con exigentes requerimientos de rigor y calidad, "ya que la información resultante de la evaluación, en especial si se va a utilizar para toma de decisiones, debe ser confiable, válida y pertinente" (CINDA, 1990).

La evidencia que se tiene sobre la validez de la evaluación de las pedagogías es escasa y negativa. Un panel de expertos (Panel de Expertos para una Educación de Calidad, 2010) juzgó que el sistema no cumplía con su misión de garantizar la calidad de los programas acreditados, puso en duda que el proceso esté asegurando una FID de calidad, y cuestionó la medida del sistema chileno, proponiendo consecuencias para todos los programas que obtuvieran menos de 4 años de acreditación.

Adicionalmente, se ha estudiado la relación entre los resultados de los egresados en la prueba INICIA y los años de acreditación de los programas en que estudiaron (Bascopé, San Martín, Domínguez, Meckes, 2011), encontrándose que la correlación es extremadamente débil, que las relaciones entre INICIA y acreditación dependen de la agencia que acreditó, y que aun cuando se controla por las habilidades académicas de entrada (medidas por la PSU), la acreditación no predice los resultados de los egresados. Se encontró, además, que la métrica de la acreditación (0 a 7) provoca problemas en su validez, por cuanto, dependiendo de la agencia, no se encuentran diferencias en los resultados en INICIA entre carreras no acreditadas y las acreditadas por 2 años y, al contrario, cuando hay diferencias son en el sentido opuesto al esperado (peores para egresados de programas con mejor acreditación) (Bascopé, San Martín, Domínguez, Meckes, en prensa, 2011). Estas evidencias son alarmantes.

Con respecto de la confiabilidad del sistema, el proceso de evaluación de programas sería confiable si los criterios y procedimientos que implica son entendidos del mismo modo por las agencias (y los pares), si efectuaran la acreditación basadas en criterios y procedimientos que no dependan del arbitrio de cada cual.

Uno de los factores que afectan la confiabilidad es la objetividad del proceso de asignar puntuaciones, mientras más objetivo es el proceso para determinar las puntuaciones, mayor es la confiabilidad. La objetividad del proceso de asignar puntuaciones dependerá, en el transcurso de la acreditación, de la claridad y ajuste de los instrumentos con que cuenten los jueces para hacerlo (criterios, guías, rubricas y formularios) y de la estandarización de los procedimientos de aplicación de dichos instrumentos, es decir, que se apliquen siempre en las mismas condiciones.

Existen dudas de si el proceso de acreditación cuenta con los mecanismos e instrumentos para asegurar estas condiciones (Domínguez y Meckes, 2011) y cumple con los requisitos de un sistema de evaluación obligatorio, con resultados publicos y con consecuencias.

Otro estudio (Domínguez et al., 2012) se preguntó si existen patrones en el tipo de carrera que acredita cada agencia, encontrando que existen preferencias en la selección de agencia por parte de la carrera (o en la selección de carrera por parte de la agencia, pues la dirección es desconocida). Mediante un análisis gráfico descriptivo con todas las características de las carreras y su relación con las seis agencias acreditadoras históricas (Gower y Hand, 1996; Greenacre, 2006) y luego de un análisis multivariado de varianza (MANOVA), se comprobó que existen diferencias entre las agencias segun las características de las carreras que acreditan. Tres agencias se especializan en acreditar carreras más selectivas que las otras, además dos de ellas tienden a acreditar carreras pertenecientes a facultades con mayor matrícula. Tres agencias han acreditado preferentemente pedagogías del Consejo de Rectores (CRUCH). Dos agencias se especializan en carreras con baja matrícula y baja o nula selectividad. Una agencia ha acreditado solamente a carreras de pedagogía media de la misma universidad. Dos agencias se especializaron en realizar procesos de acreditación a carreras con varias sedes, el 90% de las carreras acreditadas con 3 o más sedes lo fueron por estas agencias. Estos resultados muestran que este proceso de elección de agencia (o sea, la asignación del juez para efectos de este proceso de evaluación) está lejos de ser aleatorio.

Para avanzar en la evaluación de la validez y confiabilidad del proceso hacen falta muchas más iniciativas de observación, análisis y comparación de este con otros, sin embargo antes, debe contarse con una mejor descripción de cómo se lleva a cabo el procedimiento. Esta investigación se planteó el desafío de describir y comparar los procedimientos concretos y normas seguidas en los procesos de evaluación de carreras de pedagogía, para su acreditación por parte de las diferentes agencias acreditadoras y apreciar si son homogéneos o dispares, para colaborar con esta tarea.

Metodología

Las agencias analizadas son todas aquellas que están autorizadas para acreditar carreras del área Educación, es decir, Qualitas S. A.; Akredita QA; Acreditacción, Acreditadora de Chile A&C.

Para resguardar el tratamiento confidencial de los datos, se decidió nombrar el total de agencias que históricamente han acreditado carreras de pedagogía (incluyendo a la CNAP y a la CNA) como Gama, Delta, Épsilon y Zeta.

Al describir los procedimientos seguidos por las agencias y por sus pares evaluadores, se usó una metodología cualitativa basada en:

1. Un análisis documental (Sandoval, 1996) de las leyes y las normativas que norman la acreditación. Para saber cómo las agencias deberían realizar el proceso de acreditación desde el punto de vista de la normativa, se analizaron todos los documentos oficiales vigentes⁸, tanto los jurídicos (Ley N° 20.129, resoluciones exentas, etc.) como aquellos normativos (manuales, criterios) u orientadores (rubricas, etc.). El análisis documental, siguiendo a Sandoval (1996), consiste en distinguir "patrones, tendencias, convergencias y contradicciones" (Sandoval, 1996, p. 138), para luego realizar "una lectura cruzada y comparativa de los documentos en cuestión" (Sandoval, 1996, p. 138), con el fin, en este caso, de reconstruir el proceso de acreditación de una carrera de pedagogía tal cual lo establece la normativa, poniendo especial énfasis en detectar conflictos (coherencia) o vacíos (imprecisiones) entre los documentos. En este análisis fue importante apreciar la claridad y precisión de los procedimientos que aparecen en ellos.

2. Entrevistas semiestructuradas para estudiar la puesta en práctica de estos procedimientos por parte de las cuatro agencias privadas autorizadas actualmente para acreditar carreras de pedagogía. Esta información se recolectó mediante entrevistas a: (a) un profesional de alto cargo técnico de cada agencia, y (b) 3 o 4 pares evaluadores por agencia. Estos se seleccionaron aleatoriamente-entre los que viven en Santiago- de las bases de datos disponibles en las páginas web de cada agencia. En total se realizaron 15 entrevistas a pares y 4 a profesionales de alto cargo técnico de las 4 agencias. Estas fueron examinadas siguiendo un análisis descriptivo (Corbin y Strauss, 1990; Strauss y Corbin, 2002), y una matriz de vaciado para ir situando las respuestas de las entrevistas en distintas categorías previamente definidas, las que en este caso se extrajeron de las etapas que se deben realizar en un proceso de acreditación de acuerdo a la normativa. Por ultimo, se compararon las categorías previstas y emergentes por agencia y con la normativa vigente.

Resultados⁹

Primero se presenta una breve descripción de vacíos, imprecisiones y contradicciones de las normas del proceso de acreditación. Luego, se expone una selección de los procedimientos descritos por las agencias.

1. Análisis documental de la normativa para la acreditación de carreras de pedagogía¹⁰

En el análisis documental se observó la coherencia¹¹ entre los contenidos de los documentos y la precisión¹² de estos con respecto a cómo se desarrolla el proceso de acreditación y se toman decisiones en este.

Una primera conclusión es que casi todos los documentos revisados se basan exclusivamente en los criterios y procedimientos con los que trabaja la CNA, habiendo pocos documentos que normen explícitamente el funcionamiento de las agencias. Para estas ultimas, los criterios y procedimientos de evaluación y funcionamiento deben ser "equivalentes" a los de la CNA.

Sobre la coherencia de los documentos, se pudo observar que prácticamente no existen incoherencias, sin embargo, se observó una contradicción respecto de la cantidad mínima de años de acreditación, pues existen dos documentos vigentes: "Operacionalización criterios de evaluación en procesos de educación" (CNA, 2010 c) y "Normas y procedimientos acreditación de pregrado" (CNA, 2010 a), que permiten una acreditación mínima de un año¹³, mientras que otro documento ("Manual de pares evaluadores", de 2008), también vigente, menciona que la acreditación se entrega por un mínimo de dos años. Esta diferencia puede ser grave, pues nuestro sistema de acreditación posibilita rankear las carreras de acuerdo con la cantidad de años con que se acreditan.

Sobre la precisión de los documentos, se encontró que si bien existe un manual de funcionamiento exclusivo para las agencias (Resolución exenta de la CNA N°165-3), este deja aspectos del proceso de acreditación de carreras de pedagogía no regulados. A continuación se mencionan algunas de las imprecisiones o vacíos observados:

a) Se establecen capacitaciones obligatorias, pero no se menciona explícitamente su contenido, su frecuencia, ni su oportunidad.

b) Faltan orientaciones sobre cómo conformar el comité de pares evaluadores en el caso de las agencias. Se exige representatividad en el registro de pares evaluadores de las agencias, pero no para la conformación del comité de pares. Por otro lado, tampoco se establece una definición operativa del criterio de representatividad. Además, en la normativa vigente existe una orientación para la conformación de este, pero que se refiere solo a la CNA¹⁴.

c) No existe claridad acerca de lo que pasa cuando una carrera ya ha vetado tres veces el comité de pares evaluadores que ha propuesto la agencia. El procedimiento se define para la CNA, pero no para las agencias.

d) No aparece información acerca de cómo realizar la visita a la unidad en el caso que haya distintas sedes o distintas jornadas.

e) Falta una explicación más detallada acerca de lo que significa idoneidad académica y representatividad en la conformación del Consejo de Educación.

f) No existe una explicación acerca de cómo el Consejo de Educación debe considerar los antecedentes: Informe de autoevaluación, Informe del comité de pares y los criterios de evaluación para programas de pedagogía.

g) El documento "Operacionalización criterios de evaluación en procesos de acreditación" define tramos de años de acreditación, constituyéndose en una guía para la definición de un rango, no obstante no orienta sobre cantidades exactas de años de acreditación, es decir, no diferencia explícitamente a las carreras dentro de cada tramo.

h) No existe ningun documento que permita valorar o ponderar cuál de las dimensiones o criterios de evaluación tiene un mayor peso en la decisión de acreditación.

2. Procedimientos descritos por las agencias¹⁵

Esta es una selección de los resultados que emanan del análisis de contenido de las entrevistas con pares y ejecutivos de las cuatro agencias estudiadas.

a) Convocatoria y selección del registro de pares Respecto de la selección de pares evaluadores para su registro, todas las agencias cumplen los requisitos establecidos en la normativa, superando el mínimo establecido. Incluso, se menciona que la experiencia en gestión y en otros procesos de acreditación, así como el compromiso con la busqueda de calidad de las pedagogías, es valorado. Respecto del método de convocatoria para el registro de pares, dos agencias utilizan el registro publico de los pares evaluadores de instituciones que tiene la CNA. En tres agencias los pares llegan por recomendación de otro par. En dos agencias se han reclutado pares por haber participado en procesos de autoevaluación de carreras evaluadas por estas agencias y en una agencia se reclutan conocidos, se le piden recomendaciones al Consejo de Educación de la misma agencia y se consultan las páginas web de instituciones reconocidas, para invitar a los directivos de esas unidades.

Por su parte, el profesional entrevistado de la agencia Zeta senala que un criterio de selección es que los pares evaluadores tengan un modo de pensar afín a la agencia.

b) Capacitación a los pares evaluadores

Todas las agencias realizan capacitaciones a sus pares, pero hay divergencias en la forma, oportunidad y contenido de estas. La agencia Gama realiza jornadas de capacitación previas a cada visita del comité, en la que se les remarca a los pares que deben ir sin una actitud de superioridad, deben evitar los juicios de valor y "aplicar el estándar con criterio", es decir, contextualizar la evaluación a la realidad propia de la carrera. La agencia Delta, en cambio, ofrece a sus pares dos jornadas de capacitación separadas entre sí por tres meses. En estas se les indica qué es la acreditación, qué hacen los pares evaluadores y qué se espera de ellos. Además, se les senala que deben evaluar en función de los propósitos de la carrera, y no considerar su visión de cómo debería ser esta. Por su parte, la agencia Épsilon realizó una capacitación masiva cuando comenzó a funcionar, en la que se instruyó a los pares sobre qué es la acreditación, qué significa ser par evaluador y qué se espera de su trabajo. Asimismo, se han realizado talleres previos a las visitas en los que se les recuerda a los pares evaluadores los elementos mencionados. No obstante lo anterior, uno de los pares entrevistados en esta agencia mencionó que participó de un proceso de acreditación sin haber sido capacitado. Por ultimo, el profesional entrevistado de la agencia Zeta declara haber realizado 10 capacitaciones a pares, en las que se revisa la normativa, las dimensiones y criterios de evaluación, y se les repite "hasta el cansancio que tienen que ser tipos simpáticos".

c) Conformación del comité de pares

Los comités de pares en todas las agencias son conformados por tres pares evaluadores. Uno de ellos oficia de presidente, el que usualmente es designado por la agencia por tener más experiencia, pero puede ser seleccionado por el propio comité. El presidente está encargado de la redacción y entrega a la agencia del informe del comité de pares.

Todas las agencias envían un secretario técnico que acompana al comité en su visita, coordina la misma y vela porque se cumplan los procedimientos dispuestos por la agencia, tal como lo senala la normativa vigente. En este punto se presentan algunas diferencias: mientras que en la agencia Épsilon se menciona que los secretarios no necesariamente son personas estables de la agencia, sino que pueden ser profesionales jóvenes, a los que la agencia entrena en los criterios, y acompanan a los pares segun su disponibilidad; en la agencia Zeta se senala que son personas con experiencia que trabajan de manera estable en la agencia. Además, las cuatro agencias senalan que los secretarios evaluan, de uno u otro modo, el trabajo de los pares. Por ultimo, un par de la agencia Delta menciona que sus visitas, especialmente a regiones, son acompanadas por un coordinador general.

Respecto del veto al comité de pares, cada agencia tiene sus métodos de selección del comité que reducen los vetos. Las agencias Gama y Épsilon le solicitan a la carrera un perfil de par evaluador que esta considere como el más adecuado considerando su realidad, y segun este perfil las agencias le proponen un comité. Además, la agencia Épsilon evalua el desempeno previo de los pares evaluadores, viendo si respetó la cultura de la institución. A los que tuvieron un mal rendimiento, no se les invita otra vez, aunque permanezcan en el registro de pares de esta agencia. En el mismo sentido, la agencia Delta conforma los comités de pares basada en una lista propia, donde se los cataloga segun su desempeno. Lo anterior significa tener un grupo estable de pares para cada área de acreditación. En la agencia Zeta se propone a la carrera una lista de pares, cuando es rechazada tres veces, la agencia le pide a esta una nómina de cinco personas, para, luego de estudiar sus antecedentes, elegir a tres.

Para las agencias Delta, Épsilon y Zeta es importante que haya heterogeneidad en los comités de pares. Como afirma el profesional entrevistado de la agencia Delta: "Nosotros siempre tratamos de tener un poquito de diversidad (...) que los curriculum sean diversos", es decir, pares con experiencia en gestión (administración, recursos humaños), curricular o docencia y en investigación. En la agencia Épsilon, buscan lograr esta diversidad, seleccionando siempre un par profesional de la carrera para acreditar (profesor básico, por ejemplo), pero también pares externos a ella. Además, se intenta que haya pares evaluadores que trabajen en colegios. Por otro lado, para las agencias Delta y Zeta es relevante considerar la diversidad de instituciones de educación superior. Los pares de la agencia Zeta senalan que en el comité hay personas de instituciones privadas, publicas y de regiones.

En todas las agencias es fundamental que se considere la realidad de los institutos profesionales (IP) al acreditar las carreras de pedagogía que estos ofrecen. En las agencias Gama, Épsilon y Zeta se menciona que el comité debe estar integrado por, al menos, un par de un IP. Mientras que en la agencia Delta se senala que al menos un par debe tener experiencia con "estudiantes con déficits de entrada".

d) Visita a la carrera, acreditaciones conjuntas y multiples sedes No se encontraron diferencias significativas entre lo dispuesto en la normativa y lo realizado por las agencias durante la preparación de la visita. En general, se disponen entre 15 y 30 días para que los pares lean los antecedentes y realicen las reuniones preparatorias. Sin embargo, en la agencia Gama las reuniones de preparación no son obligatorias, debido a que "en educación los pares están bien preparados". En la agencia Delta sostienen que en estas reuniones se pueden repartir los énfasis en la revisión de criterios para que cada par solo tome nota de una dimensión o criterio, o decidir que todos tomen nota de todas las dimensiones. Todas las agencias realizan reuniones de coordinación.

Con respecto de la realización de una visita típica (a una carrera unica de una sola sede), en todas las agencias se cumple este paso tal como está dispuesto en la normativa, en términos del tiempo de la visita, el horario de cada día, las reuniones con los principales actores de la carrera, los recorridos por las instalaciones y las reuniones del comité de pares al final de cada día de visita. Además, los pares evaluadores de las cuatro agencias que operan hoy, establecieron que los documentos dispuestos por la CNA para este paso son utiles y suficientes. Sin embargo, un par evaluador de la agencia Zeta senala que estos documentos no son utiles para la reacreditación de las carreras. Con relación a las percepciones de los entrevistados en torno a esta fase, los pares de la agencia Gama afirman que el tiempo de visita a las carreras no es suficiente. En la misma lógica, los pares evaluadores de la agencia Épsilon dicen que las reuniones no dejan mucho tiempo para interactuar con las personas de la unidad ni con los otros pares. Por otro lado, el profesional entrevistado de la agencia Zeta sostiene que las reuniones con los distintos actores no son muy confiables, ya que las carreras pueden seleccionar a las personas que más les convenga, y por eso en esta agencia les dicen a los pares que no consideren con mucha seriedad estas reuniones, porque "estas son las mentiras que tiene este proceso".

En el caso de la visita a carreras con multiples sedes, en las agencias Gama y Delta se asiste, a lo menos, a la mitad de las sedes. En la agencia Gama se selecciona siempre una de las sedes con más alumnos, y se busca abarcar todas las zonas geográficas donde haya sedes. Además se incorpora a la selección alguna sede con características distintas al resto, si es que las hay. En las agencias Delta y Épsilon se elijen las sedes de forma aleatoria. Particularmente en la agencia Épsilon, dentro de las sedes seleccionadas, se visita una que esté en óptimas condiciones, en condiciones regulares y en malas condiciones, segun el informe de autoevaluación. Esta agencia observa con mayor detención la sede en peores condiciones, y segun lo que se observa se decide si la carrera se acredita o no, y por cuántos años. En la agencia Zeta se visitan tres sedes que estén distantes unas de otras. Se considera que sean similares en calidad y que haya interacción entre estas. "Bueno, la acreditación es una sola. Nos fijamos que sean más o menos de la misma calidad (.) que sean parecidas, que haya un intercambio, un control, que no sea un gallinero una y un palacete otra".

Sobre los aspectos prácticos de la visita a distintas sedes, en la agencia Gama se afirma que su duración depende de los acuerdos con la carrera y de la cantidad de sedes (en un caso fueron nueve días, en tres semanas). Se da la opción de que los pares realicen la visita por separado, aunque siempre acompanados del secretario técnico de la agencia, y deben reunirse al final de la visita para evaluar en conjunto. En la agencia Delta, los pares visitan juntos la sede más grande, el ultimo día se dividen para ir a las otras sedes. En todas las sedes que se visitan se efectuan las mismas actividades contempladas por la normativa. En las agencias Épsilon y Zeta se senala que los pares deben estar juntos en la visita. La agencia Épsilon establece que esto es para controlar el posible sesgo de los pares. En las agencias Delta y Zeta se indica que las visitas no pueden durar más de cuatro días en total.

Por otro lado, en todas las agencias se menciona la opción de la acreditación conjunta que consiste en acreditar simultáneamente un conjunto de carreras, especialidades, o menciones distintas pero relacionadas. Por ejemplo, en educación se puede solicitar la acreditación conjunta de las carreras de educación básica, educación de párvulos y educación diferencial, o las diferentes menciones de una carrera¹⁶. Para esto, a cada carrera se le asigna un comité de pares conformado por dos o tres integrantes y un presidente. En la agencia Gama y Delta agregan que los comités van acompanados por un solo secretario técnico para todas las carreras, que participa de las reuniones que se realizan en las diferentes menciones o carreras. Además, en algunos casos existe una persona que cumple un rol denominado par transversal que, segun la agencia Gama, preside todos los comités, entrega el informe de salida y vela porque se realicen las preguntas comunes a distintas carreras o menciones. En la agencia Épsilon establecen que el par transversal realiza la "metaevaluación" de todo el proceso general. Por otra parte, en las agencias Delta y Zeta se menciona que los comités de pares se reunen primero con las autoridades máximas de la institución, y luego se separan de acuerdo con la carrera o mención, para entrevistarse con autoridades, profesores y alumnos de cada una. Por ultimo, en la agencia Delta no se senala la presencia de un par transversal, sino que hay un coordinador general, que se encarga de organizar la visita, juntar a los pares, relacionarlos con la carrera, hacerles sugerencias del proceso y entregar documentos.

e) Informe del comité de pares

La elaboración del informe de salida se efectua en las cuatro agencias vigentes tal como se encuentra establecido: se realiza al final de la visita, es oral -lo da a conocer el presidente del comité- y consiste en comunicarle a la carrera las fortalezas y debilidades que el comité de pares encontró en la visita, respecto de los criterios de evaluación. "En el fondo es como un feedback que se le da a la carrera". Con relación a la elaboración del informe, existe concordancia entre la normativa y lo hecho por las agencias acreditadoras, en términos del contenido y formato. Sin embargo, en dos agencias hay divergencias con la normativa en aspectos específicos: en la agencia Gama, el presidente del comité de pares redacta el informe, recibiendo aportes de todos los pares, pero no siempre se exige que los demás integrantes lo aprueben. Como indica un par: "en estricto rigor, el presidente del comité debe enviarle a los pares evaluadores ese informe con el objeto de que uno diga si está de acuerdo. Eso no siempre ocurre. Hay informes en donde yo nunca supe lo que terminó siendo el informe". Esto contrasta con la normativa, ya que esta establece que es necesaria una discusión entre los pares evaluadores y que estos lleguen a un consenso para la redacción del informe. En la agencia Épsilon, algunos pares establecen que se pueden hacer recomendaciones tanto en la cantidad de años de acreditación como en el plan de mejoramiento de la carrera, y esto se aleja de la normativa, la que establece que los pares solo pueden hacer recomendaciones con respecto del plan de mejoramiento.

Respecto de la elaboración del informe de salida y del informe del comité de pares, tiene sus particularidades cuando se trata de acreditaciones conjuntas. En el caso de la agencia Gama se menciona que se elabora un informe de salida entre todos los comités, que se prepara a partir de sus aportes, y su exposición depende del par transversal. Respecto del informe, esta agencia indica que cada comité de pares envía el propio, y para su redacción el par transversal hace llegar su mirada global entre las carreras a los presidentes de cada comité, para que luego estos elaboren el informe de su carrera. Por otro lado, en la agencia Delta, que no presenta la figura del par transversal, se menciona que para la elaboración del informe del comité de pares, cada uno elabora su informe a partir de lo que observó.

Con excepción de la agencia Delta, se observa que todas las agencias realizan una revisión de la forma y completitud del informe del comité de pares antes de enviárselo a la carrera y al Consejo de Educación de la agencia. Observan si todas las dimensiones y criterios de evaluación están mencionados y "si entregan evidencia que justifique el juicio que están haciendo", de lo contrario, se envía este informe de vuelta al comité para que lo complete.

f) Criterios de evaluación y rúbricas orientadoras Para la evaluación de las carreras de pedagogía, todas las agencias consideran las tres dimensiones y los nueve criterios de evaluación dispuestos en la normativa. Con respecto de la ponderación de criterios, cada agencia declara poner énfasis diferentes. La agencia Gama, en general, centra su evaluación en el Perfil de Egreso: "Si tú me preguntas , ¿de las tres dimensiones, cuál es la que tiene mayor peso? la uno, lejos". En la agencia Delta encontramos diversas opiniones entre los entrevistados. Por un lado, se senala que el énfasis está en el Perfil de Egreso y la Estructura Curricular, por otro, se dice que se observa con mayor atención la calidad de los docentes. Incluso un par senala que todos los criterios son igualmente importantes y están interrelacionados. En la agencia Épsilon, indican que todas las dimensiones y criterios son igualmente importantes y están mutuamente relacionados. En la agencia Zeta, el profesional entrevistado senala que la atención se dirige al plan de mejoramiento senalado en el informe de autoevaluación: "Si tú me preguntas ¿qué es lo determinante en la acreditación? Es lo que la propia carrera ha senalado como debilidades (.) los consejeros se van al área de remedios que la propia carrera ha incluido en el informe para superar esas debilidades", no obstante, los pares indican que lo más relevante es observar el perfil de egreso, puesto que todas las demás dimensiones y criterios apuntan a él.

Además, en la agencia Zeta se pone énfasis en la investigación que produce la carrera, la cantidad de profesores con jornada completa, "ese tipo de cosas que son más de verdad".

Por otro lado, entrevistados de todas las agencias afirman que elaboran rúbricas propias para la evaluación en terreno de las pedagogías, que se entregan a los pares para que las usen en la visita y puedan comparar más fácilmente el contenido del informe de autoevaluación con lo que observan en la unidad. Sin embargo, según informan los entrevistados, estas rúbricas deben seguir los estándares de la CNA, y se diferencian en términos de formato y de precisión.

g) Conformación del Consejo de Educación

Con relación a la conformación del Consejo de Educación, en todas las agencias se sigue lo dispuesto por la normativa: lo integran cinco miembros, los cuales se caracterizan por tener idoneidad académica y representatividad. Ahora bien, los profesionales de las agencias hacen precisiones que permiten entender los criterios anteriores, los cuales no son definidos por la normativa vigente. La idoneidad académica se relaciona con que los consejeros deben ser profesionales de reconocida trayectoria. Además, en la agencia Épsilon se considera que los consejeros tengan experiencia en el sistema antiguo de acreditación (CNAP), o que sean recomendados por consejeros anteriores. La representatividad se entiende de distintas formas en las agencias. Por ejemplo, en la agencia Delta es importante que haya personas con experiencia en administración, en investigación, además, los miembros deben representar las distintas áreas de las pedagogías (educación diferencial, parvularia, básica, etc.). En la agencia Épsilon también es importante que los consejeros representen al tipo de instituciones que hay en la educación superior (privada, pública, laica, católica, regional). Se puede apreciar que no existe regularidad en la interpretación de los criterios para seleccionar consejeros.

h) Decisión de años de acreditación y redacción del acuerdo Respecto de quienes participan en las reuniones para tomar la decisión de acreditación, además del Consejo de Educación, las agencias Épsilon y Zeta incluyen otros actores. La primera incluye a la directora ejecutiva, que modera la reunión, y al coordinador a cargo del proceso. A su vez, ambos pueden aportar información nueva si fuera necesaria, pero no tienen derecho a voto en la decisión final. La agencia Zeta, por su parte, invita al presidente del comité de pares para complementar los contenidos del informe; y al decano o director de carrera para describir el contexto de esta durante veinte minutos.

Con relación a los antecedentes relevantes para la decisión de acreditación, tres de las agencias investigadas cumplen con lo definido por la normativa. Pero en la agencia Zeta se menciona solo uno de los documentos que la normativa establece: el informe escrito del comité de pares (no los criterios, ni el informe de autoevaluación). Además, en la agencia Épsilon el organismo técnico de la agencia entrega información adicional a los consejeros referida al contexto de la carrera, a partir de bases públicas (Índices, SIES, página web de la CNA). En esta información de contexto, se sitúa la carrera que se está evaluando en función del puntaje PSU, su matrícula y su estado de acreditación, respecto de carreras similares.

Por último, sobre la decisión de años de acreditación, en las agencias Gama, Delta y Zeta se utiliza el documento "Operacionalización criterios de evaluación en procesos de acreditación" para definir el tramo de años, y luego de seleccionado este, los consejeros establecen el periodo de acreditación en función de su juicio. Si bien estas agencias consideran, por distintas razones, que este no es un documento perfecto, igual lo utilizan. Además, el profesional entrevistado de la agencia Delta afirma que el documento no es suficiente, que hay elementos que no son considerados y que se limita el juicio experimentado de los consejeros: "Los consejos de acreditación son, de cierta forma, tribunales de consciencia, entonces bajo su consciencia, bajo su experiencia ellos terminan evaluando. Cuando a ti te dicen 'usted tiene que catalogar y dar puntaje a estos criterios y a esta área bajo esta escala', tú estás eliminando eso. No estoy diciendo que sea malo, pero convengamos que por el bien de homogenizar, tú estás eliminando, muchas veces, los criterios de los consejeros, que pueden tener mucha experiencia". La agencia Gama y Zeta mencionan que el documento ayuda a encauzar la decisión de acreditación, pero no es de tanta ayuda para determinar una cantidad exacta de años dentro de un tramo seleccionado.

En la agencia Épsilon, no se ocupa la rúbrica definida por la CNA, ya que, como afirma el profesional entrevistado de esta agencia, "(...) porque si se fijan el máximo de años es lo mínimo que se le puede exigir a una institución". Ellos han elaborado rúbricas propias, sin embargo se menciona que los Consejos de Educación no necesitan de estas rúbricas, porque, debido a su experiencia, pueden reconocer sin su ayuda la cantidad de años de acreditación. Por su parte, los pares evaluadores de esta agencia afirman que la cantidad de años depende de la rigurosidad de cada agencia en la aplicación de los procedimientos y de los criterios, y un par evaluador dice que dos años es como no acreditarse, ya que el proceso de preparación para la acreditación demora un año a lo menos.

Otros aspectos que se consideran son: (1) cuál es el apoyo institucional que la carrera tiene para llevar a cabo el plan de mejora que se ha propuesto. "(.) Entonces, una carrera que se acredita por dos años es porque cumple con el estándar básico, con lo mínimo para acreditarse y cuenta con un apoyo institucional que le permita sustentarse y poder realizar las mejoras (.). Ahora, si nos encontramos con una carrera que cumple con lo mínimo, pero que está en una institución que no tiene ningún apoyo, y la pobre carrera, en verdad, no tiene cómo hacerse cargo de su plan de mejora, lo más probable es que la carrera no se acredite"; y (2) en los casos de reacreditación, también se observa si la unidad ha sido capaz de hacerse cargo de las debilidades detectadas, y cómo las ha superado.

Para evaluar y tomar la decisión de acreditación de carreras de pedagogía ofrecidas por IP, todas las agencias concuerdan en que no hay criterios específicos. De modo que para reconocer la realidad de esto, todas mencionan que la investigación no es tan importante, y consideran más relevante revisar cómo se articulan los propósitos de cada carrera con la forma en que se llevan a cabo. Incluso, la agencia Delta menciona que observa con mayor detención el perfil de egreso. "Hay una enorme deuda por parte de la CNA respecto de los IP y CFT (centros de formación técnica) en términos de los criterios. Porque los criterios efectivamente, y sobre todo los de educación, están pensados para universidades, incluso para un tipo de universidades (.) por ejemplo piden investigación".

Por último, la agencia Épsilon menciona que el acuerdo de acreditación es redactado por el coordinador del proceso en cuestión, a partir de sus añotaciones realizadas durante la sesión del Consejo de Educación, en las que recoge los principales argumentos para fundar la decisión de acreditación. Luego, el encargado revisa el informe en conjunto con el director ejecutivo de la agencia. En el resto de las agencias no se hace referencia a este punto.

Vale agregar sobre el mínimo de años de acreditación, que en las agencias Gama, Épsilon y Zeta no se permite acreditar por menos de dos años. En cambio, la agencia Delta sí ha acreditado pedagogías por un año.

Conclusiones y discusión final

El proceso de acreditación de pedagogías en tanto es obligatorio y tiene consecuencias, requiere que se sostenga en un proceso de evaluación de programas que asegure su validez y confiabilidad. Se necesitan evidencias de la imparcialidad, independencia y neutralidad de los evaluadores (pares y agencias acreditadoras), y del cumplimiento de condiciones estandarizadas de evaluación. Esto supone que las agencias acreditadoras lleven a cabo este proceso basadas en criterios y procedimientos que no dependan del arbitrio de cada una, sino que se entiendan y apliquen de igual modo universalmente. Este estudio pretende avanzar hacia la reunión de evidencias en ese sentido.

Con respecto de la enorme sucesión de actividades, procedimientos y decisiones que involucra el proceso de acreditación se puede afirmar que la evidencia apunta en contra de su confiabilidad. En aquellos procedimientos que están normados de modo suficientemente preciso (se indica qué hacer y cómo hacerlo), las agencias realizan procedimientos similares y cumplen con la ley y la normativa. Por ejemplo, todas las agencias seleccionan y capacitan a los integrantes del comité de pares y realizan las visitas a carreras de una sola sede de modo similar. El problema radica en que la cantidad de procedimientos que está normada por ley u orientada con documentos específicos es minima. Los aspectos no prescriptivos difieren bastante y los documentos cuyo uso no es imperativo (por ejemplo, "Operacionalización de criterios de evaluación en procesos de acreditación") no se usan siempre, ni del mismo modo o con el mismo sentido. Respecto del grado de precisión, se puede decir que la normativa no regula de forma adecuada procedimientos importantes del proceso de acreditación, tales como la aplicación de criterios de evaluación, selección y capacitación a los pares evaluadores, conformación del Consejo de Educación y decisión de años de acreditación, entre otros.

Aun cuando las agencias funcionan desde 2007, el proceso de acreditación parece estar orientado por el trabajo de acreditación de carreras que realizaba la CNA. Esto puede explicar la falta de documentos especificos que precisen el trabajo de las agencias, y que algunos documentos esenciales para el desarrollo de este (por ejemplo, el manual de pares evaluadores) no hagan ninguna referencia a ellas. Esto obliga a suponer que las normas seguidas por la CNA son válidas también para las agencias, lo que es inadecuado en la medida en que estas son organismos que, aunque cumplen una función similar, tienen características distintas a la Comisión (las agencias son privadas y están reguladas por el mercado).

El sistema deja sin regular una gran cantidad de procedimientos, entonces, donde la normativa vigente no se pronuncia respecto de qué hacer o cómo, cada agencia efectúa procedimientos bajo su propio criterio. En consecuencia, la mayoria del quehacer concreto de las agencias está abierto a interpretación o discernimiento. Por ejemplo, la escasa normativa y los documentos existentes orientan la acreditación para un caso prototipo, la acreditación de una única carrera de pedagogía impartida en una sola sede, en una sola jornada, pero no se refiere a todos aquellos casos -que no son una minoria- en que estos supuestos no se cumplen, entre ellos, quizás los más importantes, la acreditación de carreras con varias sedes, la acreditación conjunta, y la acreditación de carreras de pedagogía de IP¹⁷. Asimismo, se permite que algunas agencias realicen procedimientos únicos que no están estipulados, como el seguimiento de la elaboración del informe de autoevaluación. Y uno se pregunta, cada vez que un actor del sistema dice que "es importante considerar la realidad de cada carrera" al evaluarla, si esto no es exactamente lo contrario al establecimiento de estándares mínimos de calidad para los programas.

Los resultados de esta investigación indican que resta bastante para tener un sistema de acreditación estandarizado, confiable y válido y que, en consecuencia, dé garantia de calidad de los programas de FID. Esto lleva a pensar en la necesidad de actualizar y mejorar la normativa, los instrumentos y documentos orientadores de la acreditación, especialmente, contemplar la diversidad de situaciones que se presentan con las acreditaciones: carreras con múltiples sedes, pedagogías dictadas por IP, por universidades con diferente selectividad, entre otros. Si lo que se espera es contar con un sistema estandarizado de evaluación que no permita la divergencia en la aplicación de los criterios y la consecuente decisión de acreditación; los criterios y procedimientos debieran estar mejor definidos y más focalizados en características especificas de los programas de pedagogía y en estándares para ellas. La reciente publicación de los estándares para la FID, permite adoptar nuevas formas de evaluación relacionadas con contenidos minimos de ensenanza en cada área, revelando un ámbito que hasta el momento se ha mantenido ausente o poco claro. Seria recomendable asimismo, que existieran estándares para las carreras de pedagogía, tanto asociados a los procesos formativos (por ejemplo, cantidad y momento de las prácticas profesionales) como a los resultados de la formación.

Notas

¹ Este estudio se realizó con el financiamiento y apoyo del Consejo Nacional de Educación (CNED) y del Centro de Estudios de Políticas y Prácticas en Educación, GRANT CIE01-CONICYT.

² Centro de Estudios de Políticas y Prácticas en Educación, CEPPE, UC. Santiago, Chile. Contacto: macarena.dominguez.lazcano@gmail.com

³ Las agencias que acreditan carreras y programas de pregrado deben estar acreditadas por la CNA en el área que desean acreditar. Para lograr dicha autorización las agencias deben a) definir sus objetivos de funcionamiento b) en donde el aseguramiento de la calidad debe ser una actividad central, c) estar compuestas por un consejo de acreditación por cada área a la que postulen y d) con mecanismos que aseguren su independencia de juicios de acreditación. Asimismo, e) deben presentar una lista de, al menos, 15 pares evaluadores por área a acreditar; f) idoneidad de recursos tanto humaños como financieros; g) indicar el monto de sus aranceles, los que deben ser públicamente conocidos, h) al igual que las decisiones de acreditación de las carreras y los criterios con los que se realiza la acreditación, los que deben ser, en lo substancial, equivalentes a los de la CNA. Además, i) la acreditación debe constar de, al menos, una instancia de autoevaluación y otra de evaluación externa, las que deben ser replicables y verificables. Por último, las agencias j) deben indicar sus mecanismos de publicidad y transparencia en páginas web actualizadas periódicamente, k) sus métodos de revisión periódica de funcionamiento, e l) indicar los mecanismos de colaboración con las otras agencias.

⁴ Sin considerar a derecho, que tiene 6,7%, que equivale solamente a una carrera sin acreditación, en comparación con las 18 carreras de educación.

⁵ Tal como lo ha declarado el presidente de la Comisión Nacional de Acreditación, Ínigo Díaz, "dentro de las tareas prioritarias se encuentran el desarrollo de los procesos de acreditación y el mejoramiento de los criterios y procedimientos aplicados. Asimismo, para CNA-Chile resulta indispensable fortalecer los procesos de supervisión de las agencias acreditadoras, de modo de asegurar equivalencia de criterios y procedimientos, así como la idoneidad de las decisiones de acreditación" (http://www.cnachile.cl/2011/02/conferencia/). La División de Educación Superior, por su parte, anunció que el 2011 se realizará una auditoría internacional al sistema.

⁶ Tal como lo expresara Eugenio Díaz, expresidente de CNA Chile, en el Seminario del Consejo Nacional de Educación, "El aseguramiento de la calidad: ¿práctica ritual o efectos reales?" (2010): "El propósito del sistema es ayudar a las instituciones de la educación superior a mejorar la calidad de su gestión y de los servicios que entregan", "el sentido del sistema [es] instalar una cultura de autorregulación de la calidad". Obtenido en: http://www.cned.cVpublic/Secdones/SecdonSeminario/doc/69/cse_articulo941.pdf

⁷ Aunque para los expertos nacionales (Panel de Expertos para una Educación de Calidad, 2010) e internacionales (Ingvarson et al., 2011), las consecuencias son muy débiles aun.

⁸ Se obtuvieron los documentos mencionados del sitio web de la Comisión Nacional de Acreditación (CNA-Chile).

⁹ Para un informe más detallado, vea el Informe Final publicado en la página web del CNED.

¹⁰ Cabe destacar que la descripción de las etapas de evaluación externa y juicio de acreditación se han extraído fundamentalmente a partir de la lectura del "Manual de pares evaluadores", elaborado por la CNA el año 2008, pero que están referidos al trabajo que realiza la CNA, no el de las agencias, y por tanto, se tuvo que asumir que también se aplican al trabajo de estas. No se ha encontrado ningun documento que precise esta información para las agencias.

¹¹ Por coherencia se entiende la no contradicción entre los contenidos establecidos en los documentos.

¹² Por precisión se entiende la definición de los procedimientos a realizar y cómo realizarlos, evitando la libre interpretación de los responsables de realizar este proceso.

¹³ Los datos muestran que existen acreditaciones por un año.

¹⁴ Este procedimiento consiste en proponer un comité de pares evaluadores y un ministro de fe de la CNA, a la institución en proceso de acreditación. Esta ultima tiene la capacidad de vetar el comité propuesto, sin expresión de causa, hasta por tres veces. Después de esto, el CNED impone un comité final.

¹⁵ Para más detalles de los criterios y procedimientos comparados revise el informe final de esta investigación en la página web del CNED. Especial interés puede tener revisar los procedimientos no regulados.

¹⁶ En el contexto chileno, las menciones (mención en lenguaje y comunicación o mención en matemática, o mención en segundo ciclo básico) también constituyen objeto de acreditación.

¹⁷ Se puede pensar en el impacto de esta falta de normativa si se considera que estas acreditaciones probablemente afectan a una cantidad de estudiantes muy superior al caso prototipico de carreras universitarias de una sola sede.

Referencias bibliográficas

Anderson, T. (2003). An Introduction to Multivariate Statistical Analysis. 3^a ed. New York: Wiley.

Ávalos, B. y Matus, C. (2010). La Formación Inicial Docente en Chile desde una Óptica Internacional. Informe Nacional del Estudio IEA TEDS-M. Santiago: Ministerio de Educación.

Barbier, J. M. (1993). La evaluación en los procesos de formación, Barcelona, Paidós.

Barber, M. y Mourshed, M. (2008). Cómo hicieron los sistemas educativos con mejor desempeho para alcanzar sus objetivos. PREAL.

Bascopé, M.; San Martín, E.; Domínguez, M.; Meckes, L. (2011). Correlación de la acreditación con exámenes de egreso (INICIA), en prensa.

Borouch, R. F.; Wortman, P. M. (1979). Implications of educational evaluation for evaluation policy. En D. C. Berliner (1979), Review of Research in Education, 7. pp. 309-361.

Bravo, D.; Falck, D.; González, R.; Manzi, J.; Peirano, C. (2008). La relación entre la evaluación docente y el rendimiento de los alumnos: Evidencia para el caso de Chile, Centro de Microdatos y MIDE UC, Santiago (en línea). Obtenido en: http://www.microdatos.cl/docto_publicaciones/Evaluacion%20docentes_rendimiento%20escolar.pdf

Carmena, L. G.; Asensio, A. M.; De la Cuesta, G. J.; Doncel, A. D; Rodríguez, L. M. (2005). Criterios y procedimientos de evaluación de la investigación educativa, Ministerio de Educación y Ciencia, Centro de Investigación y Documentación Educativa (CIDE). Madrid.

CINDA (1990). Calidad de la Docencia Universitaria en América Latina y El Caribe; CINDA; Santiago de Chile.

Comisión sobre Formación Inicial de Docentes (2005). Informe Comisión sobre Formación Inicial Docente, Santiago: Ministerio de Educación y Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI).

Comisión Nacional de Acreditación (CNA) Chile (2009). Criterios de evaluación de carreras de educación. Comisión Nacional de Acreditación Chile, Comité Técnico de Educación 2007-2009, Santiago, Chile.

Comisión Nacional de Acreditación (CNA) Chile (2010a). Normas y procedimientos acreditación depregrado. Versión 2007 actualizada 2010. Santiago: CNA-Chile.

Comisión Nacional de Acreditación (CNA) Chile (2010b). Aseguramiento de Calidad en la Educación Superior: Cuatro ahos de CNA-Chile. 2007-2010 Memoria. Santiago: CNA-Chile.

Comisión Nacional de Acreditación (CNA) Chile (2010c). Operacionalización criterios de evaluación en procesos de acreditación. Santiago: CNA-Chile.

Congreso Nacional de Chile (2009). Ley 20.129. Sistema Nacional de Aseguramiento de la Calidad de la Educación Superior.

Consejo Asesor Presidencial para la Calidad de la Educación (2006). Informe Final. Santiago.

Correa, S; Puerta, A.; Restrepo, B. (1996). Investigación Evaluativa (Módulo 6). En: Instituto Colombiano para el Fomento de la Educación Superior, ICFES (1996). Especialización en teoría, métodosy técnicas deinvestigación social. Bogotá: Programa de Especialización en Teoría, Métodos y Técnicas de Investigación Social.

Cox, C; Meckes, L; y Bascopé, M. (2011). La institucionalidad formadora de profesores en Chile en la década del 2000: velocidad del mercado y parsimonia de las políticas. Pensamiento Educativo (46-47), pp. 205-245.

Creswell, J. W. (2009). Research Design: qualitative, quantitative, and mixed methods approaches (3^a ed.). Londres: Sage.

Domínguez, M.; Meckes, L. (2011). Análisis y propuestas para la acreditación de pedagogías en Chile. Calidad en la educación n.° 34, julio 2011, pp. 165-183.

Domínguez, M.; Bascopé, M.; Carrillo, C.; Lorca, E.; Olave, G.; Pozo, M.A. (2012). Procesos de acreditación de pedagogías: un estudio del quehacer de las agencias. Informe Final de Investigación. Consejo Nacional de Educación, Santiago: CNED. Obtenido en: http://www.cned.cl/public/Secciones/SeccionInvestigacion/investigacion_estudios_ documentos.aspx

Esparza, E.; Blum B. (2009). Evaluación del programa para optimizar la formación del psicólogo clínico. En Revista de Educación Superior (38), (152) pp. 97-112. Disponible en: http://www.scielo.org.mx/scielo.php7script=sci_arttext&pid=S0185-27602009000400006&lng=es &nrm=iso

Felmer, Lewin, Schwarze, Varas (2008). Oportunidades de adquirir el conocimiento pedagógico de la matemática en las carreras de educación general básica. Informe final. Consejo Superior de Educación.

Fuhrman, S. (2003). Redisehando los Sistemas de Accountability para la Educación. Consortium for Policy Research in Education (CPRE). Policy Brief RB-38.

Greenacre (2006). From simple Multiple Correspondence Analysis and Related Methods. Boca Raton, FL: Chapman & Hall.

Greene, W. H. (2008). Econometric Analysis. 6^a ed., Upper Saddle River, NJ: Prentice-Hall.

Gower, J. C., and D. J. Hand. (1996). Biplots. London: Chapman & Hall.

Hanushek, E.; Kain, J.; O"Brien, D.; Rivkin, S. (2005). The market for teacher quality, NBER. Working Paper n.° 11154.

Hanusheck, E.A. (2004). Some simple analytics of school quality. Working Paper n.° 10229, National Bureau of Economic Research, Cambridge, MA.

Ingvarson, L.; Schwille, J.; Rowley, G.; Tatto, M.T.; Senk, S.; Peck, R. (2011). National Policies and Regulatory Arrangements for the Preparation of Teachers in TEDS-M Countries. Amsterdam: International Association for the Evaluation of Educational Achievement (IEA), en prensa.

Joint Committee on Standards for Educational Evaluation (1981). Standards for Evaluations of Educational Programs, Projects and Materials. New York, McGraw-Hill.

Kukla-Acevedo, S. (2009). Do teacher characteristics matter? New results on the effects of teacher preparation on student achievement. Economics of Education Review. 28: 49-57.

León, M.G.; Manzi, J.; Paredes, R. (2009). Calidad docentey rendimiento escolar en Chile: evaluando la evaluación. Manuscrito Universidad Católica de Chile.

Martínez, M. (2006). Validez y confiabilidad en la metodología cualitativa. Paradìgma, dic., vol. 27, n. ° 2, pp. 07-33.

Morrison, D. F. (2005). Multivariate Statistical Methods. 4th ed. Belmont, CA: Duxbury.

OCDE (2004). Revisión de políticas nacionales de educación: Chile. Santiago: OCDE.

OCDE (2005). Teachers matter: attracting, developing and retaining effective teachers, Paris: OCDE.

Panel de expertos para una educación de calidad (2010). Informe final. Propuestas para fortalecer la profesión docente en el sistema escolar chileno. Santiago: Ministerio de Educación. Obtenido en: http://www.mineduc.cl/biblio/documento/201007091211380.Informe%20final.pdf

Prieto G.; Delgado. A. (2010). Fiabilidad y Validez. Papeles del Psicólogo. Vol. 31(1), pp. 67-74.

Ravela, P.; Arregui, P.; Valverde, G.; Wolfe, R.; Ferrer, G.; Martínez, F.; Aylwin, M.; Wolff, L. (2008). Las evaluaciones educativas que América Latina necesita. Documento n.° 40. Santiago: PREAL.

Rivkin, S.; Hanushek, E; Kain, J. (2005). Teachers, schools and academic achievement Econometrica, vol. 73, n.° 2.

Sandoval, C. (1996). Investigación Cualitativa (Módulo 4). En: Instituto Colombiano para el Fomento de la Educación Superior, ICFES (1996). Especialización en teoría, métodos y técnicas de investigación social. Bogotá: Programa de Especialización en Teoría, Métodos y Técnicas de Investigación Social.

Scharager, J; Aravena, T. (2010). Impacto de las políticas de aseguramiento de la calidad en programas de educación superior: un estudio exploratorio. Calidad en la Educación. Consejo Nacional de Educación, n.° 32, pp. 15-42.

Scheele, J (2009). Procesos de acreditación: información e indicadores.Centro de Políticas Comparadas de Educación.

Scriven, M. S. (1967). The Methodology of Evaluation. En: Tyler, R.; Mills Gagné, R.; Scriven M. (1967), Perspectives of Curriculum Evaluation, AERA Monograph Series on Curriculum Evaluation, 1, Chicago: Rand McNally.

Sotomayor, Parodi, Coloma, Ibánez, Cavada, (2010). La formación inicial de docentes de educación general básica en Chile: ¿Quése espera que aprendan los futuros profesores en el área de Lenguaje y Comunicación? Centro de Investigación Avanzada en Educación (CIAE) Universidad de Chile -Pontificia Universidad Católica de Valparaíso.

Strauss, A.; Corbin, J. (1990). Basics of qualitative research. Newbury Park: Sage.

Strauss, A.; Corbin, J. (2002). Bases de la investigación cualitativa. Antioquia: Editorial Universidad de Antioquia.

Stufflebeam, D.L.; Schiklield. A. (1995). Evaluación sistemática. Guía teóricay práctica. Madrid: Paidós/MEC.

Suchman, E. A. (1967). Evaluative Research: Principles and Practice in Public Service and Social Action Programs. New York: Russell Sage Foundation.

United States Government Accountability Office (GAO) (2009). Program Evaluation. A Variety of Rigorous Methods Can Help Identify Effective Interventions. GAO-10-30, nov. 23, 2009.

Wang, Aubrey H.; Coleman, Ashaki B.; Coley, Richard J.; Phelps, Richard P. (2003). Preparing Teachers around the World. Princeton: Educational Testing Service.

Zapata, G.; Tejeda, I. (2009). Informe Nacional Chile Educación Superior y Mecanismos de Aseguramiento de la Calidad. Proyecto ALFA "Aseguramiento de la calidad, políticas y gestión universitaria". Santiago: CINDA.

---

Recibido: 29/04/2012, Aceptado: 22/06/2012.