Indicadores de calidad en educación superior

Capítulo 2
Razones que justifican investigar en indicadores de calidad en educación superior

La investigación en indicadores de calidad en educación superior proporciona beneficios para directivos, estudiantes y profesores ya que desde ella se puede proponer un sistema de indicadores cruciales para evaluar y mejorar la calidad de programas colombianos de pregrado y para optimizar además los indicadores existentes. Este sistema a su vez permite identificar el grado de calidad alcanzado por los programas académicos mediante la valoración de indicadores cualitativos y cuantitativos. Adicionalmente, aporta conocimiento para tomar decisiones de acuerdo con la magnitud de los indicadores y permite emprender acciones correctivas, preventivas y de mejoramiento que soportan o apoyan el logro de la acreditación por alta calidad, la certificación ISO 9001 y, en consecuencia, una mayor responsabilidad social pública de las IES.

Para medir o evaluar los procesos que hacen parte de los programas académicos, tanto desde la perspectiva de la autoevaluación como desde la de acreditación del CNA y certificación con la Norma ISO 9001, es necesario utilizar indicadores que permitan enfocar la mirada hacia aspectos relevantes, críticos, pertinentes y necesarios que favorezcan la toma de decisiones y el mejoramiento de la calidad en educación superior, expresada entre otras medidas por los resultados de las pruebas ECAES. Estos indicadores no pueden ser excesivos, reduccionistas, desenfocados, ni irrelevantes; tampoco pueden dejar de reflejar o medir lo que es esencial. Por lo tanto, es necesario integrar lo normativo en calidad en cuanto a sistema y sus procesos con la práctica y la cultura de la calidad en las instituciones educativas mediante un sistema de indicadores conveniente, pertinente, adecuado y eficaz.

Un sistema de indicadores cruciales permite comprender mejor los programas académicos de pregrado en la educación superior colombiana y emplear metodologías o acciones para optimizarlos. En esta investigación se profundiza cómo se perciben los indicadores de calidad de los programas académicos de pregrado en administración desde la subjetividad de egresados, profesores, directivos y pares evaluadores.

Corvalán (2000), por ejemplo, menciona la situación crítica de la investigación en América Latina y el Caribe y subraya la necesidad de disponer de indicadores claves en materia de educación, investigación, ciencia y tecnología. En palabras de este autor, “es preciso crear un marco conceptual adecuado y amplio sobre el impacto social de la educación que permita el diseño conceptual y metodológico de indicadores pertinentes y factibles de construir” (p. 160).

En relación directa con los indicadores de calidad, Corvalán (2000) señala que:

La preocupación principal de las actuales políticas de educación se centra en asegurar su calidad y equidad en una concepción amplia y diversa. No obstante, su medición está aún poco explorada. Lo que comúnmente se considera dentro de esta categoría es el logro académico expresado como resultados de pruebas estandarizadas y comparables (p. 152).

El autor también afirma además que “La multiplicidad de iniciativas de generación de indicadores da cuenta del actual interés en el tema tanto de parte de los países como de los organismos internacionales” (Corvalán, 2000, p. 157). Este interés no es gratuito o simplemente instrumental, sino que corresponde a una necesidad imperiosa de información y conocimiento relevante, cierto y sintético que dé cuenta de lo que está ocurriendo en la educación. Con dicho fin, “los sistemas de estadística e indicadores educativos internacionalmente comparables deberían dar cuenta tanto del funcionamiento y desempeño del sistema educativo como del impacto de la educación en la sociedad” (p. 150).

Según Gutiérrez (2009), los indicadores son importantes para el proceso de conocer un fenómeno ya que posibilitan una teorización del objeto de estudio, permiten definir metodologías pertinentes para su estudio y representan la determinación de unidades de medición a partir de los contenidos teóricos del objeto. Igualmente, este investigador destaca la importancia de los indicadores por cuanto la producción de nuevos conceptos o de la teoría resignificada (al modo propuesto por Zemelman) depende no solo de los datos, sino de la reflexión que se hace de los resultados producto de la medición de los indicadores (p. 28). En sus palabras,

La cuestión de los indicadores en ciencias sociales constituye un problema fundamental en el proceso de generar explicaciones y conocimientos sobre fenómenos que se dan en el acontecer social […] los indicadores adquieren un sentido y una función de conocimiento, además de su utilidad como elementos para la medición y cuantificación (p. 23).

La importancia de los indicadores para la teorización, la resignificación y la relación de lo empírico con lo teórico, en forma de círculo hermenéutico virtuoso, es descrita magistralmente por Gutiérrez (2009) en los siguientes términos:

Los indicadores representan la apertura a lo indeterminado, a lo dándose, a la posibilidad de nuevas teorizaciones sobre y a partir de la información, datos y elementos empíricos producto de la aplicación de metodologías; es decir, teorizar a partir de los resultados de la medición, el análisis y sistematización de los indicadores. Esto es, pasar de lo abstracto a lo concreto y elevarse a lo abstracto, produciendo nuevos conceptos, resignificándolos (pp. 27-28).

Los indicadores tanto cuantitativos como cualitativos se utilizan para la comprensión y el análisis de características presentes en las categorías u objetos de estudio. Siguiendo con Gutiérrez (2009):

Los indicadores permiten mediciones matemáticamente precisas o análisis cualitativos, en tanto que lo que se mide o analiza, el dato o la opinión, tendencia, actitudes, etcétera, se plantea a partir de los indicadores. En otras palabras, lo que se cuantifica y analiza son los indicadores. […] Los indicadores le aportan orden al proceso de producir información y datos. Es decir, la realidad empírica se reconstruye a partir de los indicadores. Entonces hay una conexión epistemológica y metodológica entre lo abstracto-concreto, teórico-empírico al momento de reconstruir la realidad en su modo morfológico de presentarse. Esta es otra razón para destacar la importancia de los indicadores en el proceso de construir conocimiento (p. 27).

Los indicadores le aportan orden al proceso de producir información y datos con los cuales se toman decisiones de mejoramiento. Su éxito depende entonces de una adecuada definición, estructuración, validación, análisis y uso. Este manejo de la información mediante indicadores sistémicos se constituye entonces como un valioso aporte en las actividades y metodologías de autoevaluación, acreditación y certificación de la calidad en educación superior.

Gutiérrez (2009) afirma que “Necesariamente habrá que ver, entonces, a los indicadores y su construcción desde una lógica de ruptura-reorganización del pensamiento del sujeto” (p. 27). Esta ruptura-reorganización es importante para resignificar indicadores pues, si no existe, se caería en una situación conformista en la cual lo que existe como indicadores del CNA es “bueno” y no habría nada que mejorarles. Por supuesto que tal posición negaría o invalidaría la realización de cualquier investigación y llevaría a considerar lo existente como dogmatismo en contra de los estudiantes y de la sociedad en general, que espera una educación superior reflejada en indicadores cruciales y sistémicos. No obstante, tampoco se trata de anular las ventajas que tienen los indicadores del CNA y, desde una posición sectaria, ignorar sus bondades.

En síntesis, Gutiérrez (2009) plantea que los indicadores son importantes y útiles para: 1) conocer un fenómeno; 2) crear teorías, generar explicaciones y conocimientos o producir nuevos conceptos; 3) desarrollar metodologías; 4) determinar unidades de medición, cuantificación y cualificación; 5) reflexionar para teorizar sobre los resultados de la medición de los indicadores; 6) abrir perspectivas hacia lo indeterminado, a lo dándose, a la posibilidad de nuevas teorizaciones; 7) realizar mediciones matemáticamente precisas o análisis cualitativos; 8) dar orden al proceso de producir información y datos relevantes, y 9) reconstruir la realidad empírica. Adicionalmente, manifiesta que la construcción de indicadores requiere una lógica de ruptura-reorganización del pensamiento para lograr resignificación.

Precisamente la investigación descrita en este libro también se justificó por la necesidad de resignificar los indicadores con los cuales se evalúa la calidad de los programas académicos de pregrado en Colombia. Al respecto Misas (2004) afirma:

Infortunadamente, en Colombia la experiencia existente en construcción de indicadores de calidad para la educación superior es muy reducida, tanto por el limitado número de trabajos llevados a cabo sobre el tema como por la baja calidad de los mismos. Se hace necesario, a mediano plazo, construir un conjunto de indicadores sobre la calidad de la educación superior, dada su importancia para el futuro del país; […] un país claudica cuando sus universidades no representan instituciones de excelencia (p. 47).

Desde otro punto de vista, la investigación en indicadores de calidad de programas académicos en educación superior se justifica por las dificultades que se presentan en las IES en el momento de entender los indicadores, la elaboración de sus fórmulas cuando son indicadores cuantitativos, el establecimiento de sus metas y el análisis que permita su mejoramiento.

En términos prácticos, los indicadores contribuyen a mejorar la calidad y el desempeño de las organizaciones y, en consecuencia, el nivel de la calidad de sus procesos y resultados. Dicho mejoramiento ocurre por cuanto la definición, la medición, el análisis y la optimización de indicadores permite establecer prioridades y enfocarse en lo importante en organizaciones en las que por lo general hay excesiva información de situaciones, fenómenos y eventos que impiden diferenciar lo trivial de lo esencial.

Por lo demás, Fontalvo y Vergara (2010) indican que

Para que las organizaciones mantengan una ventaja competitiva es necesario contar con unos indicadores que permitan establecer la medida de la calidad en los servicios suministrados. Pero medir la calidad en los servicios no es fácil, por lo que la correcta gestión de la calidad del servicio consiste en saber medirlo. Para esto es importante apoyarse permanentemente en la retroalimentación del servicio prestado […] en la que los efectos generen información sobre las causas; de esta forma existirá retroacción entre acción y conocimiento en la prestación del servicio (p. 25).

Siguiendo esta línea, el presente libro también se justifica por la necesidad de conocer la retroalimentación que pueden entregar los propios actores universitarios y mantener relaciones de cooperación, para lo cual se requieren indicadores que permitan establecer la medida de la calidad de programas académicos. Igualmente, mediante los indicadores es posible hacer un manejo racional de los recursos y alcanzar con mayor efectividad los propósitos, lo cual genera mayor armonía, responsabilidad y bienestar entre los miembros de la organización y sus beneficiarios, mientras se obtiene mayor progreso individual y colectivo.

Dentro de los argumentos institucionales9 que dan cuerpo a esta investigación se encuentra que, después de 16 años de aplicación de los lineamientos para la acreditación del CNA, el principal escollo en términos de apreciación del estado real de la calidad de los programas académicos de educación superior podría ser la ausencia de información asociada a indicadores cruciales de cumplimiento, eficiencia, eficacia, efectividad, impacto, contexto y calidad. En consecuencia, este trabajo profundiza en el conocimiento que sobre indicadores de calidad tenemos en la educación superior colombiana.

Además, desde la perspectiva institucional trazada por el plan decenal de educación (2008-2017) y el plan de gobierno 2010-2014, donde los avances en la calidad de las instituciones de educación son una de las prioridades para el mejoramiento de la calidad de vida de la población colombiana, resulta preciso poder diagnosticar con indicadores cruciales la situación en la materia como punto de partida. La calidad ocurre de manera concreta dentro de cada programa académico y dentro de cada área académica de cada institución educativa, por lo cual es sine qua non el uso de un sistema de indicadores cruciales o esenciales, cuantitativos y cualitativos, que en la actualidad no existe en Colombia y que se da como producto de la presente investigación.

Como un argumento desde el punto de vista institucional, Carot (2011), director del reciente proyecto sobre creación de un sistema integral de indicadores para América Latina, señala que un sistema de indicadores

Pretende dar respuesta a una demanda social cada vez más creciente: la necesidad de transparencia y de información sobre cómo son y qué hacen las Instituciones de Educación Superior en las que una familia va a enviar a su hijo o hija, o de las que un empleador va a contratar un egresado (p. 25).

Cruz (2009) por su parte enfatiza la importancia de los indicadores para dar cuenta del compromiso social de las universidades al indicar que

Los criterios e indicadores son la piedra angular de los procesos de acreditación. Sobre ellos se construye todo un sistema, no solo el de garantía de la calidad, sino también el de educación superior. Un sistema de criterios e indicadores inadecuados traerá consigo un sistema de educación superior de baja calidad y por tanto inadecuado para solventar las necesidades sociales. En conclusión, será un sistema de educación superior NO pertinente que habrá dejado de lado su compromiso social (p. 161).

La calidad de la educación superior en un país es consecuencia de lo que ocurre en cada una de sus instituciones. Al respecto, Cleary (2001) menciona:

Los indicadores de desempeño pueden ayudar a que una institución identifique problemas, diseñe soluciones, mejore los programas y servicios, ejerza influencia política, y haga cambios en la política organizacional. El uso sumativo de indicadores de desempeño puede ayudar a dar evidencia de la calidad de una institución, la dirección de fondos públicos, y el nivel de efectividad a legisladores, organismos de acreditación, agencias del Estado, estudiantes, padres, egresados, donantes y el público en general. Los indicadores de desempeño también pueden asistir en la toma de decisiones estratégicas. Sin embargo, ellos no son substitutos de juicios de expertos quienes están íntimamente involucrados en las operaciones diarias y en la Administración de los campus. Los indicadores son señales de calidad, no medidas estadísticas absolutas (pp. 19-28).

Adicionalmente, Cleary (2001) manifiesta que, cuando los sistemas de indicadores de calidad son diseñados y usados efectivamente, los profesores y administradores pueden usarlos para fortalecer y probar el valor de sus programas y construir políticas.

En un sentido similar, Borden y Botril (1994) afirman que, si los indicadores son cuidadosamente construidos y coordinados en las IES, pueden ser usados para enfocar y fortalecer los esfuerzos de mejoramiento de una organización, ayudando a comunicar una misión y unos objetivos institucionales comunes entre sus unidades constituyentes y a reducir la complejidad a proporciones manejables, sin perder de vista la amplitud de los servicios ofrecidos y sus efectos. Asimismo, los indicadores de desempeño comunican las prioridades institucionales y establecen estándares para el desempeño y la responsabilidad social.

La formación de profesionales de calidad es un asunto de responsabilidad y compromiso social de parte de los programas académicos existentes en las IES y de confianza por parte de la sociedad en el trabajo realizado dentro de los procesos educativos para que la educación brindada sea eficaz en los resultados requeridos. Estos procesos y resultados deben ser expresados en forma de indicadores cualitativos y cuantitativos, tal como lo han venido sugiriendo Borden y Botril desde 1994, y como luego lo reafirman y complementan Cleary en el 2001 y Cruz en el 2009. En especial, Cleary resalta la importancia de la utilización de los indicadores para el fortalecimiento de decisiones estratégicas.

Igualmente, como se mencionó en este capítulo, los indicadores son necesarios para el mejoramiento de la gestión y la calidad de la educación (Borden y Botril, 1994; Corvalán, 2000). Corvalán (2000), Misas (2004) y Cruz (2009) se refieren de manera explícita a indicadores de calidad, y sobre la necesidad de su construcción se pronuncian Misas (2004) y Gutiérrez (2009). En cuanto a la asociación o relación estrecha entre indicadores y sistemas de información, se encuentran posturas como la de Corvalán (2000), quien afirma que se necesita conocer qué está ocurriendo, y la de Gutiérrez (2009), que considera que los indicadores dan orden al proceso de producir información y datos relevantes. Asimismo, Fontalvo y Vergara (2010) manifiestan la necesidad de que los indicadores de efectos generen información sobre las causas que los produjeron, y Carot (2011) estima que un sistema de indicadores debe pretender dar respuesta a la necesidad de transparencia e información a la sociedad.

Cruz (2009) y Carot (2011) ya hacían referencia a la necesidad de un sistema de indicadores adecuados para que las universidades sean pertinentes, no dejen de lado su compromiso social y sean de alta calidad en función de las necesidades y expectativas de estudiantes, familia y sociedad. Por otro lado, Corvalán (2000), Gutiérrez (2009) y Fontalvo y Vergara (2010) resaltan la importancia de la medición de la calidad a través de los resultados de los indicadores, los cuales a su vez permiten crear teorías, generar explicaciones y conocimientos o producir nuevos conceptos.

Finalmente, la intención de este proyecto de contribuir al mejoramiento de la calidad de la educación superior a través de la configuración de un sistema de indicadores se enmarca en la perspectiva del Doctorado en Educación en el Contexto de la Calidad de Rudecolombia y la Universidad del Atlántico. Igualmente, la investigación representa una contribución para la línea de investigación en administración y desarrollo de los sistemas educativos del Doctorado en Educación de la Universidad del Magdalena. Además, este trabajo guarda relación directa con los cursos en 1) sistemas de autoevaluación, acreditación y aseguramiento de calidad de las instituciones educativas y 2) universidad y desarrollo, del plan de estudios del Doctorado de la Universidad del Magdalena. Así, es claro que la calidad educativa es uno de los ejes fundamentales del programa de doctorado tanto en la Universidad del Atlántico como en la del Magdalena.

9. El nicho o contexto institucional de la presente investigación corresponde a programas de administración de empresas de IES colombianas y a los organismos que guardan relación con su calidad y evaluación tales como el MEN, el CNA, Conaces y el ICFES.

Capítulo 3
Ruta metodológica para la configuración de un sistema de indicadores de calidad en educación superior

Como consecuencia del problema de investigación, la ruta metodológica para la configuración de un sistema de indicadores de calidad en educación superior, seguida por Sánchez-Quintero (2013) contribuyó a responder la siguiente pregunta:

¿A partir de la comprensión de las perspectivas de directivos, egresados, profesores y pares evaluadores en relación con las razones fundamentales que determinaron los mejores resultados en las pruebas ECAES 2004-2010 y la acreditación por alta calidad, además del análisis de los indicadores del CNA y las interacciones entre indicadores, ¿cuál es el sistema de indicadores cruciales que se requiere configurar para mejorar la calidad integral de los programas académicos en administración de empresas? (p. 41)