Indicadores de calidad en educación superior

Capítulo 1
Indicadores de calidad en educación superior: Un debate abierto

El problema que se abordó para realizar esta investigación está relacionado con la necesidad de disponer de un sistema de indicadores de calidad para evaluar y mejorar programas académicos colombianos de administración de empresas. Al respecto es preciso anotar que los indicadores que se usan actualmente en Colombia fueron propuestos por el CNA en los lineamientos de la acreditación para programas 2006; sin embargo, estos se perciben como desconectados o independientes, sin evidenciar sus mutuas interdependencias o influencias mutuas. Asimismo, se observa la combinación de indicadores esenciales con otros considerados triviales o inútiles, sin jerarquización o sin énfasis en indicadores cruciales como los de investigación y responsabilidad social universitaria (Cruz, 2009). También se ha señalado que estos indicadores fueron construidos sin suficiente participación de los principales actores universitarios (Misas, 2004), o que resultan excesivos debido a que complican la percepción (Aneca, 2005), desaniman a los actores (Scheele, 2009) y producen ruido (Schepelmann, 2007). Además, se han considerado descontextualizados y sin relación con las buenas prácticas de acreditación (Cruz, 2009), ni con los resultados en las pruebas ECAES o Saber Pro (Rudnykh, 2007; Bagamery, Lasik y Nixon, 2005).

De manera que la carencia de un sistema de información con datos relevantes obtenidos de indicadores cruciales hace difícil el monitoreo o seguimiento a la evolución y el mejoramiento de la calidad de los programas académicos en educación superior. Además, así se dificultan la toma de decisiones, la transparencia y el mejoramiento. Por consiguiente, se consideró identificar, analizar y proponer un sistema de indicadores asociados a los resultados en los exámenes ECAES y a buenas prácticas en acreditación con miras a contribuir a mejorar la calidad de los programas universitarios de administración y su correspondiente responsabilidad y compromiso social.

En este orden de ideas se evidencia que la mayoría de las IES colombianas carecen de información de calidad expresada en un sistema de indicadores esenciales y en un marco de referencia sistémico3, emergente y alternativo al estructuralista y funcionalista, que les permita una adecuada medición, análisis y evaluación para mejorar la calidad de los programas académicos, así como los resultados de las pruebas ECAES, su certificación, la acreditación y el impacto social y económico. Esta realidad afecta la calidad de la educación superior que se les ofrece a los estudiantes de las regiones y a la sociedad entera por cuanto se están formando profesionales con serias deficiencias en los procesos académicos y de investigación, que no se detectan o cuantifican de manera apropiada a través de indicadores que permitan tomar mejores decisiones. En consecuencia, hay una clara necesidad de contar con un sistema de indicadores de calidad asociado a los mejores resultados en las pruebas estandarizadas ECAES y a los aportes de la acreditación de alta calidad, que se constituya en fuente de información importante para mejorar el aprendizaje de los estudiantes, la evaluación de programas y la responsabilidad social pública universitaria en Colombia.

Frente a la situación de la educación superior colombiana es claro que se requiere mejorar la calidad, y para este propósito resulta muy importante configurar un sistema de indicadores cruciales de desempeño. En el contexto de los Estados Unidos, Banta y Borden (1994) mencionan que los indicadores de desempeño derivan su significación de su habilidad para relacionar efectos (outcomes) con propósitos y procesos, y de este modo plantean que “un propósito claro es esencial para el éxito de un sistema de indicadores de desempeño”. Estos autores consideran que una pregunta esencial para configurar un sistema de esta clase es: ¿cómo serán usados los indicadores?

En el presente libro el propósito de los indicadores es mejorar el aprendizaje como principal expresión de la calidad de un programa en educación superior. También se asume que al mejorar el nivel de aprendizaje aumenta la responsabilidad social universitaria pública y su pertinencia. En este sentido, Banta y Borden (1994), ahora frente al contexto europeo, señalaron que los académicos no eran capaces de identificar indicadores con capacidad para satisfacer, en esa época, el doble propósito de responsabilidad social pública universitaria y mejoramiento, algo que podría plantearse hoy para América Latina en general y para Colombia en particular.

Borrero (2001), refiriéndose a los sistemas de evaluación y acreditación, afirma que

En todos ellos subsiste la dificultad de precisar los indicadores de desempeño que no obedezcan a reducidos y estrechos criterios ni pequen por ser de tendencias cuantitativas más que cualitativas; que sean inmunes a prejuicios y componendas —como acontece con los rankings de reputación— y adaptables a cada medio cultural, y que garanticen suficiente validez y credibilidad más allá de los linderos regionales y nacionales (p. 44).

Chacón, Pérez-Gil, Holgado y Lara (2001) por su parte señalan que se ha “avanzado poco en el desarrollo de sistemas de información sobre las universidades, no encontrándose una metodología evaluativa ni objetiva, ni sistemática” (p. 295). Para ellos es necesario evaluar y medir la calidad mediante sistemas de indicadores válidos y fiables “con el objetivo de orientarse hacia la mejora continua” (p. 295).

Según Carot (2011)4,

La sociedad demanda información y por tanto hay que proporcionársela, pero una información adecuada, sin sesgos, adaptada a los perfiles y objetivos de cada institución y que finalmente valore la calidad dentro de cada perfil, dentro de cada área y dentro de cada entorno. Es un objetivo complicado, pero absolutamente necesario en una sociedad de la información y en un mundo globalizado. No es posible avanzar en un Área Común de Educación Superior ni en Europa ni en América Latina ni entre los dos continentes si no hay herramientas transparentes de información (p. 25).

En este sentido, Colombia ha estado mejorando a través del Sistema Nacional de Información en Educación Superior (SNIES), aunque todavía requiere avances en cuanto a brindar información detallada y específica sobre la calidad de los programas académicos ofrecidos a los estudiantes colombianos. Es importante mencionar, por ejemplo, que el SNIES no presenta indicadores de calidad específicos de los programas académicos; por lo tanto, la presente investigación asume que en las universidades colombianas la información relevante es escasa, desconocida o pobremente analizada. Además, dichos indicadores no se han interconectado sistémicamente ni relacionado con las perspectivas de actores universitarios claves, y tampoco se han asociado con los resultados que se obtienen en las pruebas ECAES ni con otros requisitos, buenas prácticas de gestión y acreditación, procesos y resultados que puedan dar cuenta de la calidad de las IES.

Tanto en la perspectiva de Cleary (2001) como en la de la Norma ISO 9000 (2005), una IES es de calidad cuando ofrece programas académicos de calidad identificados a través de indicadores esenciales y cruciales de su realidad. Al respecto puede apreciarse por ejemplo la definición dada por la Norma ISO 9000 (2005) a “Evidencia objetiva: Datos que respaldan la existencia o veracidad de algo” y a “Validación: Confirmación mediante el suministro de evidencia objetiva de que se han cumplido los requisitos para una utilización o aplicación específica prevista”.

En suma, mejorar la calidad es optimizar el aprendizaje, la creatividad y la capacidad de innovación de los estudiantes, así como el desempeño de los profesores y la calidad de vida de los actores universitarios y sociales. Este mejoramiento puede sintetizarse y apreciarse en indicadores de calidad de los programas académicos, en los resultados de las pruebas ECAES5 y en el logro de la acreditación.

Las características a través de las cuales se expresa la calidad de los programas académicos de pregrado en la educación superior colombiana se pueden reflejar en indicadores cualitativos y cuantitativos. Es posible relacionar estos, por un lado, con los insumos, los procesos, los productos o los resultados, los efectos y los contextos, según la perspectiva del modelo CIPP de Stufflebeam, o con el aprendizaje, los procesos, los clientes y las finanzas, de acuerdo con el modelo balanced scorecard de Kaplan y Norton (2001). Además, los indicadores pueden ser usados por los directivos de los programas para mejorar su calidad en términos del aprendizaje que se genera en el programa académico.

Por las razones señaladas, la investigación que dio origen a este libro asumió que los indicadores de planeación, enseñanza, aprendizaje, investigación, gestión, proyección social, bienestar universitario, internacionalización y recursos de los programas colombianos de pregrado en administración de empresas no se encuentran interconectados. Asimismo, se supuso que estos no están asociados a buenas prácticas educativas, experiencias en acreditación de alta calidad y resultados satisfactorios en las pruebas ECAES y Saber Pro que permitan mejorar la evaluación y la calidad en beneficio de los estudiantes, sus familias y el desarrollo social y económico de Colombia.

En ese orden de ideas, es preciso anotar que los indicadores que se utilizaron como guías o lineamientos en los procesos de autoevaluación y acreditación por alta calidad propuestos en el año 2006 por el CNA en Colombia fueron referentes desconectados6, con insuficiente definición, evaluación, jerarquización, validación y articulación dentro de un sistema de información. Adicionalmente, en ellos se mezclaban indicadores cruciales, prioritarios o esenciales para el mejoramiento de la calidad con indicadores secundarios, triviales o inútiles que opacaban a los primeros, e incluso estos también eran percibidos como descontextualizados por cuanto ignoraban las diversas condiciones del ambiente interno y externo en el que operan los programas en un país multicultural como el colombiano, donde en muchas ocasiones los directivos (rectores, vicerrectores, decanos y miembros de consejos directivos o máximos órganos de gobierno) no cuentan con una suficiente preparación en gestión7. Sin embargo, los indicadores tenían un valor relativo en el análisis de la calidad de los programas, por lo cual la solución no era eliminarlos, como ocurrió en la versión 2013 de los lineamientos del CNA, sino mejorarlos, jerarquizarlos y conectarlos en un sistema de indicadores cruciales.

Desde la perspectiva del CNA existen, dentro de los 183 indicadores referidos a 42 características y ocho factores, algunos que son esenciales o centrales8 a la característica a la que están asociados y otros que son complementarios. La tabla 1 muestra el número de factores, características e indicadores en los lineamientos de acreditación del CNA de 2006.

Tabla 1. Número de indicadores y características por factor del CNA

Fuente: elaboración propia. Información tomada de CNA (2006).

Es claro que no todos los 183 indicadores del CNA son considerados cruciales, relevantes y esenciales para el mejoramiento de la calidad expresada en mejores resultados en los ECAES y para el impacto de la acreditación en el desempeño de los estudiantes. No obstante, no se pudo establecer tal distinción entre los de mayor jerarquía y los secundarios o incluso triviales o inútiles, a pesar de que esta claridad permitiría a los directivos, docentes y estudiantes de los programas académicos tomar mejores decisiones ya que podrían dedicar más tiempo y recursos a lo esencial y menos tiempo a lo trivial (principio de Pareto), lo que incidiría significativamente en el aprendizaje, el desarrollo de competencias, el mejoramiento de la responsabilidad social pública, los resultados en los ECAES o Saber Pro y el mejoramiento de la calidad de la educación superior y la calidad de vida de los profesionales colombianos.

Los indicadores del CNA de 2006 fueron determinados de manera preestablecida, habiéndose estudiado parcialmente la situación real de los programas académicos sin avanzar en los últimos años en su revisión, evaluación, ajuste o replanteamiento hacia indicadores pertinentes para la época (siglo XXI). A su vez, no hubo participación profunda de los actores universitarios claves, por ejemplo, en cuanto a los indicadores que conducen a mejores resultados en las pruebas ECAES o a los que generan personas más éticas y con proyectos de vida cimentados y consolidados desde los programas de pregrado. En consecuencia, esta investigación cobra un importante sentido, que, de todos modos, no desconoce la relevancia de la propuesta del CNA.

Según Misas (2004):

La construcción de un conjunto de indicadores sobre la calidad de la educación superior en Colombia debe ir acompañado de una amplia discusión, dentro de las universidades y demás establecimientos de la educación superior, sobre los conceptos de calidad y de eficiencia del quehacer universitario que permita cimentar las bases para crear una cultura de la evaluación del trabajo docente e investigativo (p. 47).

La discusión amplia que plantea Misas (2004) no ocurrió para el caso de los 183 indicadores propuestos por el CNA en el 2006. Ahora bien, en el caso de los lineamientos elaborados y presentados por el CNA en el 2012, se realizaron algunos eventos de carácter informativo durante el año, en diferentes regiones del país, donde además escucharon algunos puntos de vista que condujeron a la incorporación de los indicadores a los aspectos, aumentando el número de indicadores-aspectos a más de 200.

Corvalán (2000) señala que

El estado de desarrollo de los indicadores en educación es aún incipiente, aunque se está avanzando en forma más integral, más participativa y a mayor velocidad que en la década pasada. Se están superando las dificultades encontradas para concebir y construir y usar indicadores comparables en ese campo. Hay mayor voluntad política para desarrollarlos (p. 160).

En relación con el número de indicadores, Scheele (2009) manifiesta que “se supone que el número de estándares e indicadores no puede ser demasiado grande para no desanimar a las instituciones en su decisión de mantener un sistema efectivo de aseguramiento de la calidad” (p. 13). Así pues, los 183 indicadores del CNA de Colombia resultan excesivos al compararlos con los 38 de España, los 12 propuestos por Cruz (2009), los 40 de Sudáfrica, los 52 de Egipto, los 27 deen India, 68 en México, 24 en los Países Bajos y 27 de la Global University Network for Innovation (GUNI). Frente al número excesivo de indicadores, “el CNA invita a las propias instituciones y a las asociaciones de Facultades, a elaborar y precisar indicadores más específicos” (CNA, 2006, p. 5), es decir, a identificar los que son realmente cruciales para cada tipo de programa académico. En varios apartados del documento de lineamientos del CNA se insiste adicionalmente en que las instituciones construyan sus propios indicadores para evaluar las características de calidad de los programas de pregrado según su naturaleza.

Luhmann, citado por Schepelmann (2007), afirma:

Una característica constituyente de la diferenciación funcional es la selección funcional de información. Solamente la información relevante a la función de un sistema diferenciado es seleccionada. Cualquier otra información es ruido innecesario, que disminuye la eficiencia definida funcionalmente de un sistema y en consecuencia necesita ser suprimida (p. 5).

Según la Agencia Nacional de Evaluación de la Calidad y Acreditación de España (Aneca, 2005):

La generación de una multitud de índices no supone, necesariamente, la obtención de una imagen más completa de la realidad, sino que más bien suele complicar la percepción de la misma. Es preciso por tanto llevar a cabo una clasificación de aquellos indicadores que proporcionen la información relevante. […] Para poder llevar a cabo esta selección, el sistema debe estar presidido por un marco estratégico que constituya la guía básica que determine cuáles son los principales objetivos a alcanzar y cuáles las mejores medidas de su logro (p. 440).

De manera que, en resumen, un número excesivo de indicadores trae consecuencias negativas para la evaluación y el mejoramiento de la calidad educativa universitaria por cuanto complican las percepciones de los actores universitarios (Aneca, 2005), los desaniman (Scheele, 2009) y producen ruido innecesario que disminuye la eficiencia del sistema (Luhmann, citado por Schepelmann, 2007).

Asimismo, según Aneca (2010):

En la actualidad es ineludible revalorizar el papel de la información como instrumento para la toma de decisiones en el ámbito universitario. Sin un conocimiento profundo de la realidad actual es difícil orientar con eficiencia las actuaciones de mejora de las instituciones. […] La información es un instrumento de sensibilización que promueve la autocrítica y contribuye a aprovechar la capacidad de autorregulación del sistema universitario. Con ello se fortalece, al mismo tiempo, la autonomía universitaria y el necesario rendimiento de cuentas a la sociedad. […] La selección de un número reducido de indicadores pretende que la reflexión de las Universidades sobre sus enseñanzas se concentre en unos pocos elementos críticos comunes a todos los títulos. Ello sin menoscabo de otros datos, derivados de la implantación de los sistemas de garantía de la calidad de los títulos, en los que las Universidades pueden fundamentar dicha reflexión (pp. 105-106).

En este orden de ideas, la presente investigación adopta la necesidad de seleccionar un número reducido de indicadores críticos o cruciales para que la reflexión se concentre en unos pocos elementos críticos comunes, es decir imprescindibles y vitales.

Por otra parte, no se han producido, identificado, analizado ni propuesto indicadores asociados a los resultados de las pruebas ECAES creadas mediante el Decreto 1781 de junio 26 de 2003. Según Rudnykh (2007) y Rudnykh y Barraza (2009), la información resultante de su implementación ha sido poco analizada desde una perspectiva global, a pesar de que es muy valiosa para evaluar y mejorar la calidad y tomar decisiones en relación con el uso de indicadores claves.

El Decreto 3963 de octubre de 2009 convirtió los ECAES en pruebas obligatorias para estudiantes que hayan completado el 75% de sus estudios y definió, entre otros, los siguientes objetivos:

b) […] proporcionar información para la comparación entre programas, instituciones y metodologías, y mostrar su evolución en el tiempo. c) Servir de fuente de información para la construcción de indicadores de evaluación de la calidad de los programas e instituciones de educación superior y del servicio público educativo, que fomenten la cualificación de los procesos institucionales y la formulación de políticas, y soporten el proceso de toma de decisiones en todos los órdenes y componentes del sistema educativo (p. 1).

Según lo anterior, en los objetivos de los ECAES queda clara su relación con la construcción de indicadores de valor agregado y el suministro de información para la evaluación de la calidad de los programas, su evolución y la comparación entre ellos.

La relación entre indicadores de los programas y los resultados en ECAES de Colombia no se ha investigado y en consecuencia es preciso conocerla con mayor profundidad. Sin embargo, puede afirmarse que la ausencia de un sistema de indicadores está impidiendo que la sociedad colombiana evalúe y mejore de manera pertinente y justa la calidad de la educación superior. Es posible que no se estén detectando tanto los aciertos como las deficiencias en los procesos de planeación, enseñanza, aprendizaje, investigación, gestión, bienestar universitario y compromiso social que permitan tomar mejores decisiones dentro de los programas académicos para entregar a la sociedad profesionales con mejores competencias y aprendizajes reflejados en los resultados ECAES, así como con mayor y mejor preparación e idoneidad para transformar favorablemente las condiciones sociales, políticas y económicas de la nación.

Toda esta problemática enunciada se suma al vacío existente en la literatura de un sistema alternativo de indicadores cruciales para evaluar y mejorar programas universitarios colombianos en administración. Así pues, y dado que las instituciones sólidas se construyen de abajo hacia arriba, es decir, a partir de sus actores protagonistas y de sus bases o pilares, es importante investigar, desde las perspectivas de los egresados, directivos, profesores y pares evaluadores, cuál es el sistema de indicadores de calidad asociado a los resultados de ECAES 2004-2010 y a los aportes de acreditación por alta calidad teniendo como referente principal la siguiente tesis: Un sistema de indicadores de calidad basado en la comprensión de los factores fundamentales que determinaron los resultados de las pruebas estandarizadas ECAES 2004-2010, aportes de la acreditación de alta calidad en cuanto a indicadores, y perspectivas de egresados, directivos, profesores y pares evaluadores, contribuye a mejorar el aprendizaje, la evaluación y la calidad de los programas universitarios en administración de empresas.

3. El marco de referencia que existe no es sistémico, tipo balanced scorecard o cuadro de mando integral, pues se trata de una lista de 183 indicadores que no muestra las interacciones o conexiones que existen entre ellos o, en caso de que se haga, se trataría de una racionalidad sistémica clásica o tradicional desconocida por el autor de esta investigación .

4. Director del proyecto de creación de un sistema integral de indicadores para América Latina.

5. Existe un debate mundial sobre si las pruebas estandarizadas tipo ECAES o Saber Pro en Colombia, o SBER en Estados Unidos, reflejan niveles de calidad y hasta qué punto lo hacen. Después de examinar los pros y los contras es posible concluir que los primeros son significativos en cuanto a la información que proveen para mejorar los niveles de aprendizaje, metodologías de enseñanza, actualización de contenidos y otras decisiones relacionadas con el desempeño de los egresados en las áreas curriculares de estudio de sus programas académicos. Por lo tanto, en esta investigación se consideran los resultados en ECAES 2004-2010 como un referente de especial importancia.

6. Desconectados por cuanto fueron propuestos como listas de indicadores asociados a aspectos y características sin evidenciar las relaciones o interacciones que podrían existir entre ellos.

7. En relación con los perfiles de los directivos de las IES, Restrepo, Trujillo y Guzmán (2012) manifiestan que “Una clara definición de los perfiles de aquellos cargos determinantes para el éxito de las IES constituye una necesidad apremiante: es necesario profesionalizar aún más la administración de la educación superior en Colombia”. En relación con los perfiles de cargos mencionan que deben establecerse “unos mínimos respecto a la formación específica para la administración de las IES, así como reclamar una experiencia que garantice un conocimiento profundo” para “garantizar juicio moral y capacidad de asesorar, evaluar y discernir respecto a asuntos trascendentales de las IES”. Finalmente, hacen referencia a unos mínimos que “garanticen excelencia académica y profesional lo cual permitirá el establecimiento de una democracia más calificada y llevará a reemplazar elementos políticos de carácter nocivo por elementos meritocráticos”. Bajo una dirección o gestión de mayor idoneidad (así como no basta leer un manual de aviación para pilotar un avión, no es suficiente hacer un diplomado para dirigir una organización), competencia, formación, ética, moral y experiencia, los indicadores resultan trascendentales como medios para tomar mejores decisiones y realizar mejor monitoreo o seguimiento a planes, programas, proyectos, actividades y recursos.

8. “Los indicadores que construye la institución y con los que se quiere establecer el cumplimiento de cada una de las características han de apuntar, unos, a aspectos centrales de la característica, otros, a aspectos complementarios” (CNA, 2006, p. 52).