Читать книгу: «Indicadores de calidad en educación superior», страница 4

Шрифт:

Posición teleológica de la investigación

Con la respuesta a la anterior pregunta, Sánchez-Quintero (2013) logró el objetivo general de:

Configurar un sistema de indicadores de calidad que potencialmente puede contribuir al mejoramiento de programas en administración de empresas10 a partir de la comprensión de los factores que determinaron los mejores resultados en las pruebas ECAES 2004-2010, la acreditación de alta calidad y las perspectivas de directivos, egresados, profesores y pares evaluadores. (P. 41)

Los objetivos específicos que permitieron el logro del objetivo general y se constituyeron como referentes metodológicos fueron:

1.Identificar y caracterizar los programas de administración de empresas colombianos que obtuvieron anualmente mejores resultados en el periodo 2004-2010 en la prueba estandarizada ECAES.

2.Elaborar una construcción conceptual sobre sistemas de indicadores de calidad en el contexto de la evaluación de programas de pregrado en administración de empresas.

3.Identificar, comprender y jerarquizar los indicadores más relevantes a partir del análisis de los 183 indicadores propuestos por el CNA.

4.Interpretar y comprender los aportes de la acreditación de alta calidad de cuatro programas acreditados en administración de empresas a la identificación de indicadores cruciales de calidad.

5.Interpretar y comprender las perspectivas de egresados, profesores y directivos de cinco programas y de tres pares evaluadores sobre los resultados obtenidos en las pruebas estandarizadas ECAES en el periodo 2004-2010 y su relación con indicadores cruciales que puedan dar cuenta de la calidad de cada programa.

6.Establecer las relaciones e interacciones entre indicadores cruciales que permiten configurar un sistema de indicadores de calidad a partir de los resultados en ECAES 2004-2010, las perspectivas de egresados, profesores, directivos y pares evaluadores, y los aportes en materia de indicadores de la acreditación de alta calidad de programas universitarios colombianos en administración de empresas.

Gracias a estos objetivos específicos se lograron en la investigación los siguientes resultados: una propuesta de sistema de indicadores cruciales para evaluar y mejorar la calidad de programas en administración de empresas; un nuevo marco conceptual de lineamientos en cuanto a indicadores para la acreditación de programas colombianos; una caracterización de programas colombianos en administración de empresas acreditados y con resultados favorables en pruebas estandarizadas colombianas ECAES 2004-2010; un análisis de los indicadores del CNA 2006; un estudio de propuestas de indicadores para la educación superior en el contexto de diferentes países, y un examen de los indicadores asociados a resultados en las pruebas ECAES 2004-2010 de programas de administración de empresas.

Posición ontológica de la investigación

La posición ontológica adoptada en la investigación, y que se ilustra en la figura 1, asume que la realidad es dinámica y cambiante en un continuum histórico y prospectivo, donde el presente es traducido o interpretado para poderse conocer y transformar y el conocimiento es comprensión personal, provisional, colectiva y dialéctica. Esta posición supone entonces que los programas académicos de pregrado en administración de empresas hacen parte de un escenario en permanente cambio, construido por actores que a su vez se transforman y que, a través de la historia y diferentes perspectivas y dimensiones, les van dando a sus actividades connotaciones de mayor o menor calidad según las decisiones que tomen a partir de los indicadores que conciban como cruciales y prioritarios.

En este contexto, los hechos y las características de los procesos y resultados son interpretados y traducidos en acciones que conducen al mejoramiento o al empeoramiento de la calidad educativa. Estas interpretaciones, asumidas por actores claves (stakeholders) o grupos de interés, se sostienen de manera provisional11, en forma personal o colectiva, y en ambientes democráticos o autocráticos. Así se posibilitan el progreso y la transformación en beneficio o perjuicio de todos los actores universitarios y de la sociedad en general.

Figura 1. Posición ontológica de la investigación

Nota: la figura que representa la realidad multidimensional es conocida en geometría algebraica como Calabi-Yau múltiple o Calabi-Yau espacio y es asociada a la teoría de cuerdas. Esta imagen de Calabi-Yau manifold apareció en la portada 2007 de Scientific American.

Fuente: elaboración propia.

Posición epistemológica de la investigación

Platón, en el libro V de La República, distinguía episteme (conocimiento) de doxa (opinión). Esta última era concebida como algo distinto del saber y con diferente potencia, mientras que la primera permitiría alcanzar sin engaño la verdad (“la esencia de las cosas”) y organizar el conocimiento caótico proveniente de los estímulos sensoriales para darle el logos u orden racional. Así pues, gracias a la epistemología como estudio del conocimiento científico, es posible complementar la doxa y el conocimiento cotidiano y común. Según Silva (2004), “La epistemología estudia los procesos según los cuales el ser humano obtiene el conocimiento de la verdad sobre ese mundo existente, así como el modo de evaluar la fiabilidad de dicho conocimiento” (p. 9).

Con los aportes de la epistemología el ser humano ha podido satisfacer sus intereses de construir, comprender, explicar y transformar la realidad a través de las ciencias. De acuerdo con González (2008), según la posición epistemológica que se aborde en una investigación, existirá una concepción particular de la realidad (ontológica) y se asumirá una manera de abordarla y crear conocimiento válido y validado, lo que a su vez determinará la teleología (fines), la axiología (valores), la metodología de investigación y el papel de la teoría en esta.

Dada la naturaleza simbólica e interpretativa de las categorías que se utilizaron en la investigación, el enfoque epistemológico más pertinente correspondió al hermenéutico cualitativo. Esta posición, que es posible considerar emergente y complementaria con otros enfoques, determinó las consideraciones metodológicas explicitadas en este apartado. Asimismo, sigue la línea del CNA (2006), el cual ratifica la naturaleza hermenéutica cuando expresa que “la evaluación de la calidad en el campo de la acreditación en Colombia implica un ejercicio complejo que, a pesar de apoyarse en indicadores cuantitativos y objetivos, no puede renunciar a su carácter cualitativo y hermenéutico” (p. 22). De esta manera se privilegia el conocimiento como interpretación o comprensión dentro de un contexto histórico e intersubjetivo.

Manteniendo esta posición epistemológica, la investigación logró expandir o ampliar los horizontes de comprensión de los indicadores de calidad sistémicos y cruciales que contribuyen al mejoramiento de los programas universitarios en administración. Como resultado, los horizontes del investigador se fusionaron con los de los autores examinados y con las perspectivas de los actores universitarios entrevistados.

Figura 2. Posición epistemológica hermenéutica

Fuente: elaboración propia.

Adicionalmente, se asumió que el conocimiento se crea por la comprensión provisional del sentido individual y colectivo, sistémico y dialéctico, que los actores de los programas académicos en forma intersubjetiva dan a su realidad y a su transformación. Es clave considerar que para ello se sirven de un lenguaje de indicadores que sintetiza los aspectos esenciales que dan significación a la calidad de su desempeño y, en consecuencia, a los procesos y a los resultados que obtienen a través del tiempo, bajo sus condiciones particulares en el contexto social, cultural, económico, histórico, tecnológico y político al cual pertenece cada programa académico, tal y como lo ilustra la figura 2.

Para la posición epistemológica y metodológica de esta investigación se adoptó un enfoque “perspectivista”, pues como bien lo plantea Gadamer, citado por Campos (1999): “ninguna interpretación podrá sobreponerse a otra en nombre de la verdad y, por tanto, una perspectiva no podrá ser nunca reflejo de una realidad objetiva” (pp. 8-9). Por esta razón se acudió al diálogo con múltiples perspectivas teóricas y con la experiencia de actores universitarios significativos, en busca de las perspectivas e interpretaciones más completas, éticas y creíbles de la realidad de los programas universitarios de administración. Asimismo, según Madison, citado por Schwandt (1994), en la hermenéutica ontológica12 el método es menos la aplicación de reglas y más la actividad de usar principios éticos para guiar la elaboración de interpretaciones en una situación concreta. En consecuencia, en esta investigación se asumió un compromiso ético y moral enmarcado por principios de honestidad, franqueza, integridad y transparencia.

Según Schwandt (1994), el círculo hermenéutico en la hermenéutica ontológica, de Heidegger, Gadamer y Taylor, es un requisito para la comprensión que da la conexión entre teoría y práctica. Siendo este el tipo de hermenéutica adoptado en esta investigación, los momentos del diseño partieron desde la realidad empírica de los programas de administración de empresas, la conceptualización de indicadores de calidad, la comprensión y jerarquización de los 183 indicadores del CNA y el entendimiento de los aportes de la acreditación de alta calidad en materia de indicadores, para luego comprender la praxis de egresados, directivos, profesores y pares evaluadores a través de sus perspectivas, hasta finalmente establecer las relaciones e interacciones de los indicadores relevantes que permitieron configurar un sistema para mejorar el aprendizaje de los estudiantes como mejor expresión de la calidad universitaria en un nuevo horizonte de comprensión.

Los momentos empíricos o prácticos y teóricos (abstractos) se realimentaron sucesivamente, lo que brindó mejores comprensiones debido a los datos que suministraron para el logro de los objetivos específicos y, en consecuencia, del objetivo general. En este sentido, la investigación consideró que tanto los datos empíricos como los abstractos tienen la misma importancia: los primeros se obtuvieron a través de entrevistas y de la vivencia personal y experiencial del autor como profesor y directivo universitario, mientras que los segundos, datos teóricos, corresponden a los obtenidos en la revisión de antecedentes y de literatura nacional e internacional.

El círculo hermenéutico también se puede entender en esta investigación como la trayectoria que permitió ir de la realidad del todo (el programa) a sus partes constituyentes (los procesos y los actores), y de estas a un nuevo todo constituido por una nueva configuración teórica de programa, representado en una propuesta de sistema de indicadores cruciales y prioritarios de calidad que constituye a su vez un nuevo horizonte de comprensión. Finalmente, el “círculo hermenéutico” de Gadamer, que en la perspectiva hermenéutica heideggeriana sería más bien una espiral, puede entenderse como un camino que va de lo previo, derivado de la tradición del investigador, a las revisiones y avances en comprensión, producto de los datos obtenidos en la literatura, para luego ir a los datos empíricos obtenidos en las entrevistas y trascender a una comprensión más completa de lo que constituiría una nueva teoría sustantiva13; en este caso, una teoría de indicadores cruciales y prioritarios de calidad para la evaluación y el mejoramiento de la calidad de programas en administración de empresas y, por extensión e isomorfismo, de otros similares en educación superior.

La figura 3 representa la aplicación del “círculo hermenéutico” que llevó a una propuesta de sistema de indicadores, donde ocurre la llamada “fusión de horizontes” de Gadamer desde las perspectivas de los actores universitarios entrevistados y los autores revisados y analizados en la literatura nacional e internacional.

Figura 3. El círculo hermenéutico en la investigación sobre indicadores

Fuente: elaboración propia.

Posición metodológica de la investigación

Consistente con las posiciones ontológica y epistemológica anteriormente mencionadas, el diseño metodológico correspondió al de una investigación cualitativa hermenéutica, en la que los datos se obtuvieron a partir de fuentes documentales, bases de datos del Icfes y entrevistas individuales a profundidad dentro del plan o procedimiento investigativo, constituido por los momentos hermenéuticos que más adelante se presentan.

Sobre el enfoque hermenéutico, González (2008) considera que:

El investigador recauda información de variadas fuentes cuya organización y disposición (notas crudas) da lugar a un texto (Corpus) que ha de ser intervenido a fin de desvelar los sentidos y significados que los autores del discurso registrado en el mismo atribuyen a las acciones a las que se refieren en dicho texto (p. 106).

Como resultado de esta investigación se originaron cinco productos: 1) los indicadores propuestos desde antecedentes y referentes teóricos nacionales e internacionales; 2) el análisis y comprensión de los indicadores del CNA mediante el uso del software ATLAS.ti; 3) los indicadores relacionados con el desempeño en las pruebas ECAES 2004-2010; 4) los indicadores asociados a buenas prácticas de acreditación, y 5) un esquema de propuesta de sistema de indicadores. Los tres últimos textos en particular fueron posibles gracias a la identificación de sentidos y significados de los egresados, profesores, directivos y pares evaluadores de programas académicos de pregrado en administración de empresas, obtenidos mediante entrevistas individuales a profundidad. Así, con la integración de los cinco documentos se obtuvo un gran corpus final que permitió, después de su análisis, identificar 34 indicadores y configurar un sistema de indicadores de calidad para evaluar y mejorar programas de administración de empresas.

Los hallazgos de una investigación cualitativa hermenéutica naturalista (en su ambiente natural, es decir, el de los programas de administración para el caso de esta investigación) deben validarse por algún medio, entendiéndose por validar “dar fuerza o firmeza a algo, hacerlo válido”; en otras palabras, se trata de garantizar que el resultado del trabajo es aceptable, firme, riguroso, creíble, robusto, fuerte, confiable, efectivo, soportado, corroborado, sustentado, bien fundamentado en la lógica o la “verdad” (esencia) y que vale o debe valer por la argumentación, las evidencias, la posición y el acuerdo intersubjetivo de los actores involucrados internamente y en su contexto. Esta posición metodológica se deriva de la posición epistemológica que se asumió, esto es, la hermenéutica cualitativa, de manera que se realizó triangulación de perspectivas, fuentes, teorías, métodos y análisis para ganar en atributos tales como credibilidad, autenticidad, transferibilidad, fiabilidad y confirmabilidad (Guba y Lincoln, 2001).

La dimensión temporal de este trabajo está comprendida entre julio de 2009 y julio de 2013. Además, el tiempo de análisis de los datos teóricos y empíricos coincide con el tiempo en que se desarrolló la investigación, por cuanto, en forma similar a lo que ocurre en los enfoques de teoría fundamentada, el análisis es simultáneo a la elaboración del proyecto investigativo debido a los aportes valiosos que se generan no solo en las prácticas de los actores universitarios entrevistados y la literatura explorada, sino en las prácticas del autor, que en este caso también es un actor universitario. En cuanto al trabajo de campo, este se realizó mediante un cuestionario de entrevista individual semiestructurada14 a profundidad, cuyas respuestas fueron grabadas y complementadas con notas de campo registradas durante las entrevistas.

Los cinco programas de administración de empresas que se estudiaron (con resultados opuestos en ECAES durante el periodo 2004-2010) permitieron conocer los indicadores de desempeño y calidad asociados a buenas prácticas y efectividad en cuanto a planeación, investigación, enseñanza, compromiso social, gestión, bienestar universitario y disponibilidad de recursos. Respecto a mejores prácticas, se seleccionaron intencionalmente los programas que obtuvieron los resultados más positivos en las pruebas ECAES cada año durante el lapso analizado. Estos programas debían estar acreditados por alta calidad, y el desempeño de sus estudiantes en las pruebas debía hallarse por encima del promedio nacional.

Como programas contrastantes se seleccionaron aquellos que obtuvieron resultados cada vez peores durante el periodo 2004-2010 y que no se habían acreditado por alta cantidad, además de un desempeño por debajo del promedio nacional entre sus estudiantes. Estos sirvieron para confrontar perspectivas, hacer triangulación15 y facilitar el análisis en relación con lo que se hace en los programas con buenas prácticas y los resultados favorables tanto en acreditación como en pruebas ECAES 2004-2010. En estos programas con resultados insatisfactorios se hicieron las mismas preguntas, pero enfocadas a la comprensión de los resultados negativos obtenidos en su variación cada vez peor en el promedio de las pruebas ECAES y en su ausencia de acreditación por alta calidad.

Con la anterior base de programas se realizó un análisis holístico16, en el cual se describieron detalladamente cada programa y los temas o procesos relacionados con los indicadores de desempeño que permiten juzgar su calidad (planeación, investigación, enseñanza, responsabilidad social, bienestar universitario, gestión, internacionalización y manejo de recursos). De este modo se pudo llevar a cabo posteriormente un análisis transversal17 con afirmaciones e interpretaciones derivadas de los cinco programas.

El análisis de los cinco programas siguió lo planteado por Yin (2003), esto es, aproximándose desde explicaciones rivales o antagónicas (lo que contribuye a la validez externa o transferibilidad y a la comparabilidad), descripciones, lógica de coincidencias entre programas (esto aporta a la validez interna o credibilidad) y síntesis transversal de hallazgos específicos. También se contemplaron las posturas de Dowd, Sawatzky y Korn (2011), quienes afirman que la validez es “el grado al cual la evidencia acumulada soporta o apoya la interpretación intencionada” (p. 23), y de Bonilla-Castro y Rodríguez (2000), para quienes “la validez hace referencia al grado de coherencia lógica interna de los resultados de otras investigaciones o estudios bien establecidos” (p. 150). Finalmente, se asumió, de acuerdo con Bonilla-Castro y Rodríguez (2000), que la validez interna corresponde al “grado en el cual los resultados reflejan la situación estudiada [y la validez externa] al nivel de aplicación de las conclusiones a grupos similares” (Bonilla et al, 2000, p. 150).

En cuanto a fuentes secundarias se utilizaron bases de datos del Icfes, documentos del CNA y de antecedentes nacionales e internacionales en forma de artículos científicos, libros resultantes de investigación y documentos de los sitios web de los programas de administración de empresas analizados. Por otro lado, como fuentes primarias se hicieron entrevistas a directivos, profesores, egresados y pares evaluadores. En cuanto a estrategias metodológicas de investigación que también contribuyeron a la validez de los resultados de la investigación se encuentran: triangulación, confrontación de perspectivas rivales, análisis de coincidencias entre programas, identificación de indicadores de buenas prácticas y análisis holístico o integrador de la totalidad de los datos obtenidos en la investigación. Por último, con la validación de 28 expertos mediante un cuestionario diligenciado en la Conferencia 2013 de la Asociación de Facultades de Administración (Ascolfa), se logró la confirmabilidad, que permitió dar mayor validez a los resultados obtenidos.

Como dimensión espacial de la investigación se consideran programas académicos de administración18 con resultados opuestos o contrarios en ECAES, seleccionados por conveniencia19, de cinco IES: cuatro privadas, de las cuales tres contaban con buenas prácticas en acreditación, y una oficial, también con buenas prácticas en acreditación y resultados satisfactorios en ECAES 2004-2010. Esta universidad oficial y dos de las universidades privadas se localizan en Medellín, otra universidad privada se encuentra en Bucaramanga, y la última universidad privada se ubica en Barranquilla (en el programa de esta se realizaron las entrevistas piloto).

A partir de lo anterior, se puede afirmar que (1) la presente investigación sobre indicadores de calidad universitaria trata de un objeto de estudio abstracto, simbólico, imaginado, razonado o construido por la mente humana (sistema de indicadores de evaluación de la calidad) que no se puede aislar del contexto de los programas académicos de pregrado en Colombia; (2) no se realizó control de variables pues se permitió que jugaran la intencionalidad y las categorías elegidas y resultantes del estudio; (3) el énfasis se hizo en la interpretación de los datos tanto teóricos como empíricos (obtenidos en las entrevistas) a través del sentido que les daban los autores y actores universitarios a los indicadores que consideraban cruciales y prioritarios, y (4) predominó la reflexión necesaria para el mejoramiento de la calidad de la educación superior desde la perspectiva del investigador (recordando que la reflexión es considerada como una categoría central para la comprensión y transformación de la realidad tanto por Gadamer como por Habermas, citado por Campos, 1999). Así se desarrollaron cada uno de los cinco momentos dinámicos20 de la investigación.

Con base en lo anterior, se realizaron inicialmente tres entrevistas piloto: una a un director, otra a un egresado y la tercera a un profesor. Estas primeras indagaciones permitieron hacer ajustes en las preguntas del cuestionario y determinar el tiempo apropiado de duración de cada entrevista. Así pues, adicionalmente se acordaron 21 entrevistas más en cuatro programas: uno de naturaleza oficial (cuatro entrevistas), y tres de naturaleza privada (17 entrevistas). La tabla 2 muestra la distribución de las entrevistas realizadas.

Tabla 2. Distribución de entrevistas individuales a profundidad

Fuente: elaboración propia.

Para lograr la colaboración de los entrevistados, se envió una carta a los directivos de los programas seleccionados solicitando el apoyo para llevar a cabo las entrevistas individuales. En síntesis, se realizaron entrevistas a 24 actores universitarios, entre los que se encuentran directivos, profesores, egresados y pares evaluadores en administración. Estos últimos fueron seleccionados a través de contactos de las mismas universidades, dos de ellos por su condición de ser o haber sido consejeros del CNA, y un tercer par evaluador muy prominente en la disciplina (administración), con título de posdoctorado. Las entrevistas fueron grabadas y luego se procedió a la transcripción correspondiente utilizando el software gratuito Audacity y, en algunos casos, un software de reconocimiento de voz. De este modo se generaron más de 450 páginas.

Las entrevistas semiestructuradas contenían preguntas a las cuales se llegó como consecuencia de la revisión y análisis de antecedentes y referentes teóricos y de la coherencia necesaria entre las tareas metodológicas y el logro de los objetivos, es decir, las respuestas a las preguntas del cuestionario de entrevistas semiestructuradas debían tributar al logro de los objetivos específicos y del objetivo general para responder la pregunta de investigación ligada al objeto de estudio. En consecuencia, se buscó que las preguntas estuvieran vinculadas a información relacionada con indicadores cruciales y prioritarios que dieran cuenta de los factores o procesos que se consideran en los programas académicos de pregrado, los resultados en ECAES 2004-2010, las buenas prácticas en acreditación y, finalmente, las perspectivas de los actores universitarios protagonistas en los programas de pregrado de universidades de Medellín, Bucaramanga y Barranquilla.

En ese orden de ideas, el contenido de la entrevista utilizada fue el siguiente:

Con el propósito de configurar un sistema de indicadores cruciales de calidad a partir de las experiencias en acreditación de alta calidad y de los resultados en ECAES 2004-2010, comedidamente solicito su colaboración contestando las siguientes preguntas:

1.Según la literatura y la experiencia, se han establecido los principales factores asociados a la calidad de un programa académico: la planeación, la investigación, la enseñanza, el aprendizaje, la proyección social, el bienestar universitario, la gestión y los recursos. Dentro de los anteriores factores, ¿qué indicadores cruciales (los que no pueden faltar) o prioritarios evidencian mejor la calidad de un programa en administración de empresas? En cuanto a planeación… etc., ¿qué otros factores e indicadores agregaría?

2.De este listado de indicadores, ¿cuáles considera más decisivos para que un programa de administración de empresas alcance la acreditación? ¿Qué indicadores cruciales tuvieron mayor influencia en el logro de (o en no haber logrado) la acreditación de alta calidad?

3.Al observar los datos obtenidos por su programa en las bases de datos del Icfes se encontró una variación positiva (o negativa). De acuerdo con los resultados en ECAES 2004-2010 en su programa, ¿qué indicadores cruciales tuvieron mayor influencia positiva y negativa en esos resultados?

4.4. ¿Qué indicador(es) crucial(es) considera que deberían interconectarse para configurar un sistema que permita evaluar y mejorar la calidad del programa y cómo o cuál sería ese esquema?

5.¿Desea comentar algo más?

Dado que el problema y las preguntas conciernen a constructos elaborados por comunidades académicas, la investigación trabajó con categorías preestablecidas desde indicadores del CNA, indicadores de certificación ISO 9001 e indicadores de países como España, México, Sudáfrica, Egipto, India y Estados Unidos, mencionados en los antecedentes y en los referentes teóricos, que se refinaron y mejoraron con el análisis de la perspectiva de los actores entrevistados. Dichas percepciones fueron registradas gracias a las entrevistas semiestructuradas que se llevaron a cabo, y los datos obtenidos en estas consultas se procesaron y analizaron mediante el uso del software ATLAS.ti 5. En conclusión, y siguiendo lo propuesto por Dawson (2007), puede afirmarse que en esta investigación se realizó análisis temático, comparativo y de contenido, como podrá corroborarse en los siguientes capítulos.