Osasunkume > Presentación > Evaluación
Volver a Evaluación 2002Ir a Conclusiones
DISEÑO DE LA EVALUACIÓN
1. Un modelo mixto

Esta evaluación pretende captar la elaboración cognitiva que los educadores hacen del desarrollo del programa en el aula, y objetivar su efectividad con los escolares participantes. Si para el primer objetivo un modelo cualitativo era el adecuado, el segundo requería un acercamiento cuantitativo. Distintas dimensiones del programa, cuya captación permitirá una más cabal comprensión de su desarrollo real, para lo que se requiere la utilización de distintas estrategias evaluativas.

La utilización de distintas vías es lo que se conoce como triangulación, un procedimiento que, según Bergh (1989), permite revelar "facetas ligeramente diferentes de la misma realidad simbólica. Cada método es una línea diferente de visión dirigida hacia el mismo punto, la observación de la realidad social y simbólica. Al combinar varias de estas líneas, los investigadores obtienen una visión de la realidad mejor y más sustantiva, un conjunto más rico de símbolos y de conceptos teóricos, y un medio de verificar muchos de estos elementos".

2. Evaluación cualitativa
Objetivo

Conocer en profundidad la interpretación que, acerca del funcionamiento y la eficacia del programa, hacen aquellos educadores definidos como "especialmente motivados" . (quienes lo consideran una iniciativa valiosa y lo aplican de manera satisfactoria).

Hipótesis
Los educadores consideran OSASUNKUME un programa útil para materializar la educación para la salud, la educación en valores y el entrenamiento en habilidades para la vida de sus escolares.
Los educadores se sirven de la observación continuada como estrategia de evaluación preferente para determinar los cambios derivados del desarrollo del programa.
Diseño
Entrevista en profundidad a una muestra intencional de educadores activamente implicados en el desarrollo del Programa.
Metodología
Son varios los propósitos en los que el objetivo señalado se concreta, siendo los fundamentales los siguientes:
Ahondar en la percepción que el profesorado participante tiene de un programa en el que voluntariamente decide participar durante varios años consecutivos.
Captar en toda su riqueza las dinámicas que en los centros educativos genera la implicación en un programa que, nacido en los aledaños del sistema escolar, sostiene una voluntad de integración normalizada en su dinámica interna.
Reconstruir el sentido pedagógico que el programa adquiere en el contexto de la elaboración de los proyectos educativos de los centros escolares.

Optamos por una metodología cualitativa que nos permitiera una aproximación cabal al significado que los educadores atribuyen al programa, y a la manera en la que construyen tal significado. Significado que, tal y como señala Blumer (1969), "no emana del interior de las cosas mismas, ni procede de los elementos psicológicos de las personas, sino que brota de la manera como unas personas actúan con otras frente a las demás cosas". En este sentido, la relación de cada educador con OSASUNKUME, La Aventura de la Vida es una relación singular que cada maestro y cada maestra interpretan de una manera particular. Acercarnos a esta construcción personal es el propósito de este momento de la evaluación.

De acuerdo con Ruiz Olabuénaga (1999), "los métodos cualitativos parten del supuesto básico de que el mundo social es un mundo construido con significados y símbolos, lo que implica la búsqueda de esta construcción y de sus significados". En el caso que nos ocupa, la búsqueda se dirige a responder preguntas como las siguientes:

¿Qué valoraciones hacen los educadores de la propuesta educativa que representa OSASUNKUME, La Aventura de la Vida para decidir cada año sumarse al programa?
¿Cómo se materializa para cada educador la aplicación del programa?
¿De qué manera recrean la metodología propuesta para integrarla en su particular modo de conducir el encuentro educativo con sus alumnos?
¿Para qué les sirve el programa y a través de qué técnicas determinan la idoneidad de ese uso?

Estos son algunos de los interrogantes a las que esta evaluación trata de responder. Preguntas que trascienden las posibilidades de un acercamiento cuantitativo, al centrarse en el modo en que se produce la particular apropiación por parte de cada educador de una propuesta general.

Si llamamos "programa" al encuentro educativo singular e irrepetible que se produce entre cada educador y cada grupo de alumnos, dinamizado por las propuestas didácticas de OSASUNKUME, La Aventura de la Vida, la metodología cualitativa constituye la vía más adecuada para desentrañar las claves con las que los educadores construyen esa intervención.

La entrevista en profundidad sería, por tanto, el instrumento elegido para esta evaluación. Con ella, a través de un guión predefinido, intentaríamos profundizar en los entresijos de las construcciones simbólicas que los educadores hacen del programa. Entrevistas semiestructuradas, en la medida en que el guión permitiría acotar el campo de reflexión, pero dejando en manos de cada educador la forma de expresión y la naturaleza de su elaboración simbólica. El entrevistador intervendría para recordar, si fuera necesario, el sentido de las preguntas, y para apurar al máximo el significado construido por cada entrevistado.

Cada educador hará un relato diferente de su participación en el programa, acorde con el conjunto de significados que dan cuenta de su desarrollo. Para captar la riqueza simbólica de estos relatos, el entrevistador ejercerá la función de guía que orienta con sus preguntas y desbroza rutas que el entrevistado decidirá si emprende o no. El conjunto de caminos entrelazadas constituyen el mapa cognitivo de cada sujeto que, posteriormente, el evaluador tendrá que reconstruir. Contrastar las respuestas, subrayar las redundancias e interpretar los sentidos, constituirá finalmente la tarea del evaluador.

En el diseño de esta evaluación se ha considerado como enormemente valiosa la información de la que dispone el profesorado respecto a la eficacia del programa. La hipótesis de trabajo es que, siendo el profesorado quien recrea el programa en cada aula, y siendo el programa el encuentro educativo irrepetible entre un educador y un grupo de niños y niñas, aquel es una fuente insustituible de información respecto a lo que realmente ocurre en el aula, el sentido educativo del trabajo desarrollado y la evolución experimentada por el grupo y por cada uno de los niños y niñas participantes.

Educadores y educadoras tienen las claves operativas del programa. Especialmente aquellos que mantienen con el mismo una vinculación particularmente intensa. De ahí su relevancia a la hora de responder a preguntas como éstas:

¿Qué motivos justifican esta vinculación?
¿Qué lleva a un educador a invertir voluntariamente parte de su tiempo educativo en una tarea de la que podría prescindir?
¿Qué interacciones educativas favorece el programa para que la vinculación señalada se mantenga?
¿De qué procedimientos se sirven los educadores para evaluar la efectividad del programa antes de decidir renovar su participación en él?
Muestra

Constituyeron la muestra de la evaluación cualitativa veinte "educadores modelo". Un número suficiente para acercarse a la diversidad que caracteriza el programa. Tratándose de un estudio cualitativo, no se pretende que los educadores seleccionados sean estadísticamente representativos del universo total de los educadores participantes en OSASUNKUME, La Aventura de la Vida. Se buscó una representatividad cualitativa, en el sentido de seleccionar aquellos educadores que consideran el programa como un instrumento didáctico adecuado, y hacen de sus propuestas un uso que podemos considerar como una buena práctica.

Con ánimo de garantizar la máxima pluralidad, los criterios utilizados para la selección de estos educadores fueron los siguientes:

Selección de las escuelas
Vinculación: los centros escolares en los que se realizara la evaluación deberían haber participado en el programa durante al menos cinco años ininterrumpidos.
Diversidad: a fin de contar con una realidad plural de instituciones educativas, la muestra de escuelas debía atender a los diferentes criterios que permitan clasificar a los centros: públicos y privados, urbanos y rurales, etc.
Motivación: participación en las actividades complementarias propuestas: concurso escolar, encuentros con familias, eventos festivos, etc.
Implicación: calidad de ejecución del programa.
Selección de los entrevistados
Motivación e implicación serían, asimismo, los criterios que presidirían la selección de los educadores en cada centro escolar seleccionado, habiendo participado en el programa asimismo durante al menos seis años. Desarrollo en el colegio de las actuaciones que el programa dirige a las familias.

Una muestra, por tanto, intencional, con la que pretendíamos acceder al saber que respecto al programa habían construido los educadores que cumplían los requisitos para ser considerados como educadores modélicos respecto a la aplicación de OSASUNKUME, La Aventura de la Vida. Educadores que valoran positivamente el programa, encuentran en él elementos válidos para guiar su compromiso con la educación para la salud y lo llevan finalmente a la práctica.

Si en las anteriores evaluaciones realizadas del programa (EDEX, 1992 y 1995) las muestras de educadores se seleccionaban de acuerdo con criterios de aleatoriedad y representatividad, en esta ocasión se trata de una muestra intencional. Con ella, siguiendo a Ruiz Olabuénaga (1999), "más bien que representar, a modo de réplica miniaturizada, todos los casos existentes en el universo objeto de la investigación, se busca comprender el máximo de algunos casos selectos, sin pretender generalizar los resultados a todo el colectivo". Para ello, se han seleccionado 21 educadores, de otros tantos centros educativos, de entre aquellos que reunieran las siguientes características:
Se buscaba, en efecto, conocer la actitud hacia el programa de aquellos educadores que, de entrada, podíamos imaginar especialmente sensibilizados hacia la educación para la salud y la prevención de las drogodependencias; educadores que habían encontrado en OSASUNKUME, La Aventura de la Vida, una herramienta efectiva para materializar su compromiso educativo en esas áreas, y que año tras año renovaban su confianza en las posibilidades del programa para articular aprendizajes positivos.

Seleccionamos inicialmente un número de veinte educadores a entrevistar, y un educador más para compensar posibles deserciones. Finalmente, realizamos las veintiuna entrevistas, por lo que este informe hace referencia a los relatos contenidos en todas ellas.

A la hora de seleccionar los centros escolares, además de los criterios generales ya señalados, se siguieron criterios de titularidad (pública o concertada) y distribución territorial, con objeto de disponer de una aceptable representación. Las escuelas en las que finalmente se realizaron las entrevistas se distribuyen tal y como recoge la Tabla 1:

Tabla 1. Distribución de los centros escolares por Territorios Históricos
TITULARIDAD BIZKAIA GIPUZKOA ARABA TOTAL
PÚBLICO 5 3 2 10
CONCERTADO 6 5 11
TOTAL 11 8 2 21

De acuerdo con estos criterios, la muestra estuvo integrada finalmente por 21 educadores de otros tantos centros educativos (ver Anexo III).

Procedimiento
Las fases seguidas para el desarrollo de esta parte de la evaluación fueron los siguientes:
Elaboración de un guión común para las entrevistas, en las dos lenguas oficiales de la Comunidad Autónoma Vasca.
Realización de las entrevistas, previa cita, que serían grabadas en magnetófono y posteriormente transcritas. El trabajo de campo se realizó en junio de 2001.
Diseño de un esquema de análisis de contenidos.

Como hemos señalado, el método elegido para esta evaluación fue la entrevista en profundidad, estructurada, de entre 45 y 60 minutos de duración, a los educadores que en cada escuela hacían las veces de referente para el programa. A una cita previamente fijada con cada uno de ellos, acudieron una de las tres entrevistadoras que se hicieron cargo del trabajo de campo.

Las entrevistadoras habían sido entrenadas en un briefing de 2 horas de duración, cuyos contenidos giraron en torno a las características definitorias del programa, a la metodología de la entrevista en profundidad y al conocimiento específico del guión que contenía las cuestiones a plantear a los educadores (ver Anexo I).

3. Evaluación cuantitativa
Objetivo

Conocer la eficacia del programa, comparando las respuestas a un cuestionario autocumplimentado por parte de los escolares participantes en OSASUNKUME (Grupo Tratamiento, GT), con las obtenidas por una muestra de escolares que no hubieran participado en el programa ni, deseablemente, en otros que abordaran similares contenidos (Grupo Control, GC).

Hipótesis
La participación en OSASUNKUME, La Aventura de la Vida induce cambios estadísticamente significativos en las cuatro áreas sobre las que el programa incide: Autoestima, Habilidades para la Vida, Drogas y Hábitos Saludables.
Existe una relación directa entre la continuidad de la participación en el programa (uno, dos o tres años académicos) y la magnitud de los cambios experimentados en las variables sobre las que éste pretende incidir.
Diseño

Evaluación postest con grupo de control no equivalente. El diseño de evaluación elegido era el más adecuado para conocer la eficacia del programa una vez que éste se encontraba en marcha y no era posible, por tanto, realizar una medición pretest. Si el diseño elegido impedía comparar los resultados con los obtenidos en una fase previa al programa (medición pretest convencional), podía sin embargo hacerse una comparación entre países, determinando de este modo la validez de los resultados. Si, a pesar de desconocer el punto de partida, se presentaban redundancias significativas en los diez países que simultáneamente participaron en el estudio, podríamos considerar los datos razonablemente válidos. Especialmente si se producía una asociación entre la intensidad de la participación en el programa por parte de los escolares (uno, dos o tres años consecutivos) y el nivel de eficacia demostrado.
Por otra parte, contrastar los resultados cuantitativos con los de la evaluación cualitativa, constituiría otro modo de validar dichos resultados.

Metodología

Encuesta mediante cuestionario autocumplimentado por el Grupo de Tratamiento (GT) y el Grupo Control (GC), tras la aplicación del programa al primero durante tres años consecutivos. La metodología utilizada permite acceder a información relevante sobre los aprendizajes desarrollados por los niños y niñas participantes en el programa. Evidentemente, no es tarea sencilla, dada la dificultad de construir un cuestionario para niños de las edades de los destinatarios del programa. El equipo evaluador construyó y validó un cuestionario que recogía información sobre los doce tópicos del programa. Junto con los datos de identificación, el instrumento elaborado comprendía un total de 50 ítems. El tiempo medio de cumplimentación fue de 35 minutos.

Muestra

Tanto GT como GC estarían integrados por 400 escolares (alrededor de 16 aulas cada uno, para una ratio media de 25 alumnos/aula), de acuerdo con el siguiente perfil:

Los integrantes del GT serían elegidos al azar entre aquellos escolares que reunieran los siguientes requisitos:
Estar matriculados en el último curso en el que OSASUNKUME, La Aventura de la Vida se aplica, teniendo, por tanto, una edad de 11-12 años;
haber participado en el programa durante tres años ininterrrumpidos;
haber sido identificados sus maestros como educadores "modelo" en cuanto a la aplicación del programa, de acuerdo con los criterios anteriormente señalados.
Los integrantes del GC serían elegidos en escuelas equivalentes a las de GT desde el punto de vista sociodemográfico. y atendiendo a variables socioeconómicas. En esta selección resultó insustituible la colaboración de los Equipos de Prevención de las Drogodependencias de los municipios de los centros de GT, que ayudaron a identificar aquellos centros comparables en los que no se desarrollaba ni OSASUNKUME ni otros programas similares.

Se seleccionaron un total de 503 alumnos para formar parte de GT y 263 para GC, en un estudio transnacional en el que participaron instituciones educativas de diez países, y se encuestó a un total de 7.288 escolares, de los cuales 3.811 pertenecían al GT y 3.477 al GC. En todos los países se seleccionaron muestras del último curso de la etapa de Educación Primaria a la que el programa se dirige, con edades comprendidas, por tanto, entre los 10 y los 12 años. En el caso de la región colombiana de Antioquia, de Venezuela y del País Vasco, habían participado en el programa durante tres cursos escolares; en el caso de Cuba y Ecuador, durante dos; y en los demás casos, a lo largo de un solo curso escolar.

La distribución de la muestra en cuanto a la variable sexo, se dibuja de acuerdo con los datos recogidos en la Tabla 2, en la que se presentan los datos globales del estudio iberoamericano. Observamos cómo en ambos grupos la distribución de la muestra en función de la variable género en razonablemente equilibrada, aunque en GC la presencia femenina es superior.

Tabla 2. Distribución de las muestras en función de la variable sexo.
PAÍS GRUPO TRATAMIENTO GRUPO CONTROL TOTAL
masculino femenino masculino femenino
PAÍS VASCO 241 (47,91%) 262 (52,09%) 116(44,11%) 147 (55,89%) 766
TOTAL 1.894 (49,72%) 1.915 (50,28%) 1.664 (47,87%) 1.812 (52,13%) 7.285

La distribución de las muestras en función de la variable edad, es la que refleja la Tabla 3. También aquí nos encontramos con una distribución equilibrada. Los niños de 10 años constituyen el 35,87% de GT y el 38,86% de GC. Los niños de 11 años representan el 54,98% de GT y el 51,60% de GC. Por último, tienen 12 años el 9,15% de GT y el 9,54% de GC.

Tabla 3. Distribución de las muestras en función de la variable edad.
PAÍS GRUPO TRATAMIENTO GRUPO CONTROL TOTAL
10 años 11 años 12 años 10 años 11 años 12 años
PAÍS VASCO 24 (4,8%) 447 (89,4%) 29 (5,8%) 9 (3,4%) 233 (88,6%) 21 (8%) 763
TOTAL 1.318 (35,9%) 2.020 (55%) 336 (9,1%) 1.312 (38,9%) 1.742 (51,6%) 322 (9,6%) 7.050

En ambas condiciones, el grueso de los escolares se encuentran entre los 11 y los 12 años de edad (95,2% en GT y 96,6% en GC), situación algo diferente a la de la media latinoamericana. Ambos grupo son, por tanto, perfectamente comparables atendiendo a las variables edad y género.
La distribución final de la muestra iberoamericana, atendiendo al criterio de que GT hubiera participado en el programa durante 1, 2 ó 3 años, se refleja en la Tabla 4.


Tabla 4. Años de participación en el programa del Grupo de Tratamiento.
PAÍS UN AÑO DOS AÑOS TRES AÑOS
ARGENTINA
COLOMBIA (CALI)
COLOMBIA (ANTIOQUIA)
CUBA
CHILE
EQUADOR
PAÍS VASCO
PANAMÁ
REPÚBLICA DOMINICANA
VENEZUELA
TOTAL 5 2 3

La explotación de los datos se ha hecho atendiendo a criterios generales, sin entrar en discriminaciones en función de las variables edad y sexo, porque en tal caso el estudio se hubiera complejizado en exceso. Sería, en todo caso, un análisis sumamente interesante, que acometeremos en futuras evaluaciones.

Procedimiento
Las fases seguidas para el desarrollo de esta parte de la evaluación fueron los siguientes:
Elaboración y validación de un cuestionario por parte del equipo evaluador, a partir de las variables que el programa trata de modificar (Ver Anexo I).
Presentación en los dos idiomas oficiales de la Comunidad Autónoma Vasca.
Los cuestionarios serían autorrellenados por todos los escolares de cada una de las aulas seleccionadas como GT o GC, siguiendo las instrucciones de un encuestador que proporcionaría las aclaraciones oportunas. El trabajo de campo se realizó entre octubre y noviembre de 2001.
Diseño de un plan de procesamiento estadístico y un modelo de Informe.

Volver a Evaluación 2002Ir a Conclusiones

(c) Edex 2001-2007