 |
| Osasunkume
> Presentación > Evaluación |
 |
|
|
| DISEÑO
DE LA EVALUACIÓN |
| 1.
Un modelo mixto |
 |
|
Esta
evaluación pretende captar la elaboración
cognitiva que los educadores hacen del desarrollo
del programa en el aula, y objetivar su efectividad
con los escolares participantes. Si para el
primer objetivo un modelo cualitativo era el
adecuado, el segundo requería un acercamiento
cuantitativo. Distintas dimensiones del programa,
cuya captación permitirá una más
cabal comprensión de su desarrollo real,
para lo que se requiere la utilización
de distintas estrategias evaluativas.
La
utilización de distintas vías
es lo que se conoce como triangulación,
un procedimiento que, según Bergh (1989),
permite revelar "facetas ligeramente diferentes
de la misma realidad simbólica. Cada
método es una línea diferente
de visión dirigida hacia el mismo punto,
la observación de la realidad social
y simbólica. Al combinar varias de estas
líneas, los investigadores obtienen una
visión de la realidad mejor y más
sustantiva, un conjunto más rico de símbolos
y de conceptos teóricos, y un medio de
verificar muchos de estos elementos".
|
| 2.
Evaluación cualitativa |
 |
|
Objetivo |
 |
|
Conocer
en profundidad la interpretación
que, acerca del funcionamiento y
la eficacia del programa, hacen
aquellos educadores definidos como
"especialmente motivados"
. (quienes lo consideran una iniciativa
valiosa y lo aplican de manera satisfactoria).
|
|
Hipótesis |
 |
 |
Los
educadores consideran OSASUNKUME
un programa útil para
materializar la educación
para la salud, la educación
en valores y el entrenamiento
en habilidades para la vida
de sus escolares. |
 |
Los
educadores se sirven de la observación
continuada como estrategia de
evaluación preferente
para determinar los cambios
derivados del desarrollo del
programa.
|
|
|
Diseño |
 |
Entrevista
en profundidad a una muestra intencional
de educadores activamente implicados
en el desarrollo del Programa.
 |
|
Metodología |
 |
Son
varios los propósitos
en los que el objetivo señalado
se concreta, siendo los fundamentales
los siguientes:
 |
Ahondar
en la percepción
que el profesorado participante
tiene de un programa en
el que voluntariamente
decide participar durante
varios años consecutivos. |
 |
Captar
en toda su riqueza las
dinámicas que en
los centros educativos
genera la implicación
en un programa que, nacido
en los aledaños
del sistema escolar, sostiene
una voluntad de integración
normalizada en su dinámica
interna. |
 |
Reconstruir el sentido
pedagógico que
el programa adquiere en
el contexto de la elaboración
de los proyectos educativos
de los centros escolares. |
Optamos
por una metodología
cualitativa que nos permitiera
una aproximación cabal
al significado que los educadores
atribuyen al programa, y a
la manera en la que construyen
tal significado. Significado
que, tal y como señala
Blumer (1969), "no emana
del interior de las cosas
mismas, ni procede de los
elementos psicológicos
de las personas, sino que
brota de la manera como unas
personas actúan con
otras frente a las demás
cosas". En este sentido,
la relación de cada
educador con OSASUNKUME, La
Aventura de la Vida es una
relación singular que
cada maestro y cada maestra
interpretan de una manera
particular. Acercarnos a esta
construcción personal
es el propósito de
este momento de la evaluación.
De
acuerdo con Ruiz Olabuénaga
(1999), "los métodos
cualitativos parten del supuesto
básico de que el mundo
social es un mundo construido
con significados y símbolos,
lo que implica la búsqueda
de esta construcción
y de sus significados".
En el caso que nos ocupa,
la búsqueda se dirige
a responder preguntas como
las siguientes:
 |
¿Qué
valoraciones hacen los
educadores de la propuesta
educativa que representa
OSASUNKUME, La Aventura
de la Vida para decidir
cada año sumarse
al programa? |
 |
¿Cómo
se materializa para cada
educador la aplicación
del programa? |
 |
¿De qué
manera recrean la metodología
propuesta para integrarla
en su particular modo
de conducir el encuentro
educativo con sus alumnos?
|
 |
¿Para qué
les sirve el programa
y a través de qué
técnicas determinan
la idoneidad de ese uso?
|
Estos son algunos de los interrogantes
a las que esta evaluación
trata de responder. Preguntas
que trascienden las posibilidades
de un acercamiento cuantitativo,
al centrarse en el modo en
que se produce la particular
apropiación por parte
de cada educador de una propuesta
general.
Si
llamamos "programa"
al encuentro educativo singular
e irrepetible que se produce
entre cada educador y cada
grupo de alumnos, dinamizado
por las propuestas didácticas
de OSASUNKUME, La Aventura
de la Vida, la metodología
cualitativa constituye la
vía más adecuada
para desentrañar las
claves con las que los educadores
construyen esa intervención.
La
entrevista en profundidad
sería, por tanto, el
instrumento elegido para esta
evaluación. Con ella,
a través de un guión
predefinido, intentaríamos
profundizar en los entresijos
de las construcciones simbólicas
que los educadores hacen del
programa. Entrevistas semiestructuradas,
en la medida en que el guión
permitiría acotar el
campo de reflexión,
pero dejando en manos de cada
educador la forma de expresión
y la naturaleza de su elaboración
simbólica. El entrevistador
intervendría para recordar,
si fuera necesario, el sentido
de las preguntas, y para apurar
al máximo el significado
construido por cada entrevistado.
Cada
educador hará un relato
diferente de su participación
en el programa, acorde con
el conjunto de significados
que dan cuenta de su desarrollo.
Para captar la riqueza simbólica
de estos relatos, el entrevistador
ejercerá la función
de guía que orienta
con sus preguntas y desbroza
rutas que el entrevistado
decidirá si emprende
o no. El conjunto de caminos
entrelazadas constituyen el
mapa cognitivo de cada sujeto
que, posteriormente, el evaluador
tendrá que reconstruir.
Contrastar las respuestas,
subrayar las redundancias
e interpretar los sentidos,
constituirá finalmente
la tarea del evaluador.
En
el diseño de esta evaluación
se ha considerado como enormemente
valiosa la información
de la que dispone el profesorado
respecto a la eficacia del
programa. La hipótesis
de trabajo es que, siendo
el profesorado quien recrea
el programa en cada aula,
y siendo el programa el encuentro
educativo irrepetible entre
un educador y un grupo de
niños y niñas,
aquel es una fuente insustituible
de información respecto
a lo que realmente ocurre
en el aula, el sentido educativo
del trabajo desarrollado y
la evolución experimentada
por el grupo y por cada uno
de los niños y niñas
participantes.
Educadores
y educadoras tienen las claves
operativas del programa. Especialmente
aquellos que mantienen con
el mismo una vinculación
particularmente intensa. De
ahí su relevancia a
la hora de responder a preguntas
como éstas:
 |
¿Qué motivos
justifican esta vinculación?
|
 |
¿Qué
lleva a un educador a
invertir voluntariamente
parte de su tiempo educativo
en una tarea de la que
podría prescindir?
|
 |
¿Qué interacciones
educativas favorece el
programa para que la vinculación
señalada se mantenga?
|
 |
¿De qué
procedimientos se sirven
los educadores para evaluar
la efectividad del programa
antes de decidir renovar
su participación
en él? |
|
|
| Muestra |
 |
|
Constituyeron
la muestra de la evaluación
cualitativa veinte "educadores
modelo". Un número
suficiente para acercarse
a la diversidad que caracteriza
el programa. Tratándose
de un estudio cualitativo,
no se pretende que los educadores
seleccionados sean estadísticamente
representativos del universo
total de los educadores participantes
en OSASUNKUME, La Aventura
de la Vida. Se buscó
una representatividad cualitativa,
en el sentido de seleccionar
aquellos educadores que consideran
el programa como un instrumento
didáctico adecuado,
y hacen de sus propuestas
un uso que podemos considerar
como una buena práctica.
Con
ánimo de garantizar
la máxima pluralidad,
los criterios utilizados para
la selección de estos
educadores fueron los siguientes:
 |
Selección
de las escuelas
 |
Vinculación:
los centros escolares
en los que se realizara
la evaluación
deberían
haber participado
en el programa durante
al menos cinco años
ininterrumpidos. |
 |
Diversidad:
a fin de contar
con una realidad
plural de instituciones
educativas, la muestra
de escuelas debía
atender a los diferentes
criterios que permitan
clasificar a los
centros: públicos
y privados, urbanos
y rurales, etc. |
 |
Motivación:
participación
en las actividades
complementarias
propuestas: concurso
escolar, encuentros
con familias, eventos
festivos, etc. |
 |
Implicación:
calidad de ejecución
del programa. |
|
 |
Selección
de los entrevistados |
 |
Motivación
e implicación
serían, asimismo,
los criterios que presidirían
la selección de
los educadores en cada
centro escolar seleccionado,
habiendo participado en
el programa asimismo durante
al menos seis años.
Desarrollo en el colegio
de las actuaciones que
el programa dirige a las
familias. |
Una
muestra, por tanto, intencional,
con la que pretendíamos
acceder al saber que respecto
al programa habían
construido los educadores
que cumplían los requisitos
para ser considerados como
educadores modélicos
respecto a la aplicación
de OSASUNKUME, La Aventura
de la Vida. Educadores que
valoran positivamente el programa,
encuentran en él elementos
válidos para guiar
su compromiso con la educación
para la salud y lo llevan
finalmente a la práctica.
Si
en las anteriores evaluaciones
realizadas del programa (EDEX,
1992 y 1995) las muestras
de educadores se seleccionaban
de acuerdo con criterios de
aleatoriedad y representatividad,
en esta ocasión se
trata de una muestra intencional.
Con ella, siguiendo a Ruiz
Olabuénaga (1999),
"más bien que
representar, a modo de réplica
miniaturizada, todos los casos
existentes en el universo
objeto de la investigación,
se busca comprender el máximo
de algunos casos selectos,
sin pretender generalizar
los resultados a todo el colectivo".
Para ello, se han seleccionado
21 educadores, de otros tantos
centros educativos, de entre
aquellos que reunieran las
siguientes características:
Se buscaba, en efecto, conocer
la actitud hacia el programa
de aquellos educadores que,
de entrada, podíamos
imaginar especialmente sensibilizados
hacia la educación
para la salud y la prevención
de las drogodependencias;
educadores que habían
encontrado en OSASUNKUME,
La Aventura de la Vida, una
herramienta efectiva para
materializar su compromiso
educativo en esas áreas,
y que año tras año
renovaban su confianza en
las posibilidades del programa
para articular aprendizajes
positivos.
Seleccionamos
inicialmente un número
de veinte educadores a entrevistar,
y un educador más para
compensar posibles deserciones.
Finalmente, realizamos las
veintiuna entrevistas, por
lo que este informe hace referencia
a los relatos contenidos en
todas ellas.
A
la hora de seleccionar los
centros escolares, además
de los criterios generales
ya señalados, se siguieron
criterios de titularidad (pública
o concertada) y distribución
territorial, con objeto de
disponer de una aceptable
representación. Las
escuelas en las que finalmente
se realizaron las entrevistas
se distribuyen tal y como
recoge la Tabla 1:
| Tabla
1. Distribución
de los centros escolares
por Territorios Históricos |
 |
| TITULARIDAD |
BIZKAIA |
GIPUZKOA
|
ARABA
|
TOTAL |
 |
| PÚBLICO |
5 |
3 |
2 |
10 |
 |
| CONCERTADO |
6 |
5 |
 |
11 |
 |
| TOTAL |
11 |
8 |
2 |
21 |
|
 |
De acuerdo con
estos criterios, la muestra
estuvo integrada finalmente
por 21 educadores de otros
tantos centros educativos
(ver Anexo III).
|
|
|
Procedimiento |
 |
Las
fases seguidas para el desarrollo
de esta parte de la evaluación
fueron los siguientes:
 |
Elaboración
de un guión común
para las entrevistas, en las
dos lenguas oficiales de la
Comunidad Autónoma Vasca. |
 |
Realización
de las entrevistas, previa cita,
que serían grabadas en
magnetófono y posteriormente
transcritas. El trabajo de campo
se realizó en junio de
2001. |
 |
Diseño de un esquema
de análisis de contenidos. |
Como
hemos señalado, el método
elegido para esta evaluación
fue la entrevista en profundidad,
estructurada, de entre 45 y 60 minutos
de duración, a los educadores
que en cada escuela hacían
las veces de referente para el programa.
A una cita previamente fijada con
cada uno de ellos, acudieron una
de las tres entrevistadoras que
se hicieron cargo del trabajo de
campo.
Las
entrevistadoras habían sido
entrenadas en un briefing de 2 horas
de duración, cuyos contenidos
giraron en torno a las características
definitorias del programa, a la
metodología de la entrevista
en profundidad y al conocimiento
específico del guión
que contenía las cuestiones
a plantear a los educadores (ver
Anexo I).
|
|
|
| 3.
Evaluación cuantitativa |
 |
| Objetivo |
 |
|
Conocer
la eficacia del programa, comparando
las respuestas a un cuestionario
autocumplimentado por parte de los
escolares participantes en OSASUNKUME
(Grupo Tratamiento, GT), con las
obtenidas por una muestra de escolares
que no hubieran participado en el
programa ni, deseablemente, en otros
que abordaran similares contenidos
(Grupo Control, GC).
|
| Hipótesis |
 |
 |
La
participación en OSASUNKUME,
La Aventura de la Vida induce
cambios estadísticamente
significativos en las cuatro
áreas sobre las que el
programa incide: Autoestima,
Habilidades para la Vida, Drogas
y Hábitos Saludables. |
 |
Existe
una relación directa
entre la continuidad de la participación
en el programa (uno, dos o tres
años académicos)
y la magnitud de los cambios
experimentados en las variables
sobre las que éste pretende
incidir. |
|
| Diseño |
 |
|
Evaluación
postest con grupo de control no
equivalente. El diseño de
evaluación elegido era el
más adecuado para conocer
la eficacia del programa una vez
que éste se encontraba en
marcha y no era posible, por tanto,
realizar una medición pretest.
Si el diseño elegido impedía
comparar los resultados con los
obtenidos en una fase previa al
programa (medición pretest
convencional), podía sin
embargo hacerse una comparación
entre países, determinando
de este modo la validez de los resultados.
Si, a pesar de desconocer el punto
de partida, se presentaban redundancias
significativas en los diez países
que simultáneamente participaron
en el estudio, podríamos
considerar los datos razonablemente
válidos. Especialmente si
se producía una asociación
entre la intensidad de la participación
en el programa por parte de los
escolares (uno, dos o tres años
consecutivos) y el nivel de eficacia
demostrado.
Por otra parte, contrastar los resultados
cuantitativos con los de la evaluación
cualitativa, constituiría
otro modo de validar dichos resultados.
|
| Metodología |
 |
|
Encuesta
mediante cuestionario autocumplimentado
por el Grupo de Tratamiento (GT)
y el Grupo Control (GC), tras la
aplicación del programa al
primero durante tres años
consecutivos. La metodología
utilizada permite acceder a información
relevante sobre los aprendizajes
desarrollados por los niños
y niñas participantes en
el programa. Evidentemente, no es
tarea sencilla, dada la dificultad
de construir un cuestionario para
niños de las edades de los
destinatarios del programa. El equipo
evaluador construyó y validó
un cuestionario que recogía
información sobre los doce
tópicos del programa. Junto
con los datos de identificación,
el instrumento elaborado comprendía
un total de 50 ítems. El
tiempo medio de cumplimentación
fue de 35 minutos.
|
| Muestra |
 |
|
Tanto
GT como GC estarían integrados
por 400 escolares (alrededor de
16 aulas cada uno, para una ratio
media de 25 alumnos/aula), de acuerdo
con el siguiente perfil:
 |
Los integrantes del GT serían
elegidos al azar entre aquellos
escolares que reunieran los
siguientes requisitos:
 |
Estar matriculados en
el último curso
en el que OSASUNKUME,
La Aventura de la Vida
se aplica, teniendo, por
tanto, una edad de 11-12
años; |
 |
haber
participado en el programa
durante tres años
ininterrrumpidos; |
 |
haber sido identificados
sus maestros como educadores
"modelo" en
cuanto a la aplicación
del programa, de acuerdo
con los criterios anteriormente
señalados. |
|
 |
Los
integrantes del GC serían
elegidos en escuelas equivalentes
a las de GT desde el punto de
vista sociodemográfico.
y atendiendo a variables socioeconómicas.
En esta selección resultó
insustituible la colaboración
de los Equipos de Prevención
de las Drogodependencias de
los municipios de los centros
de GT, que ayudaron a identificar
aquellos centros comparables
en los que no se desarrollaba
ni OSASUNKUME ni otros programas
similares. |
Se
seleccionaron un total de 503 alumnos
para formar parte de GT y 263 para
GC, en un estudio transnacional
en el que participaron instituciones
educativas de diez países,
y se encuestó a un total
de 7.288 escolares, de los cuales
3.811 pertenecían al GT y
3.477 al GC. En todos los países
se seleccionaron muestras del último
curso de la etapa de Educación
Primaria a la que el programa se
dirige, con edades comprendidas,
por tanto, entre los 10 y los 12
años. En el caso de la región
colombiana de Antioquia, de Venezuela
y del País Vasco, habían
participado en el programa durante
tres cursos escolares; en el caso
de Cuba y Ecuador, durante dos;
y en los demás casos, a lo
largo de un solo curso escolar.
La
distribución de la muestra
en cuanto a la variable sexo, se
dibuja de acuerdo con los datos
recogidos en la Tabla 2, en la que
se presentan los datos globales
del estudio iberoamericano. Observamos
cómo en ambos grupos la distribución
de la muestra en función
de la variable género en
razonablemente equilibrada, aunque
en GC la presencia femenina es superior.
| Tabla
2. Distribución de las
muestras en función de
la variable sexo.
|
 |
| PAÍS |
GRUPO
TRATAMIENTO |
GRUPO
CONTROL |
TOTAL |
 |
 |
masculino |
femenino |
masculino |
femenino |
 |
 |
| PAÍS
VASCO |
241
(47,91%) |
262
(52,09%) |
116(44,11%) |
147
(55,89%) |
766 |
 |
| TOTAL |
1.894
(49,72%) |
1.915
(50,28%) |
1.664
(47,87%) |
1.812
(52,13%) |
7.285 |
|
 |
La
distribución de las muestras
en función de la variable
edad, es la que refleja la Tabla
3. También aquí nos
encontramos con una distribución
equilibrada. Los niños de
10 años constituyen el 35,87%
de GT y el 38,86% de GC. Los niños
de 11 años representan el
54,98% de GT y el 51,60% de GC.
Por último, tienen 12 años
el 9,15% de GT y el 9,54% de GC.
| Tabla
3. Distribución de las
muestras en función de
la variable edad.
|
 |
| PAÍS |
GRUPO
TRATAMIENTO |
GRUPO
CONTROL |
TOTAL |
 |
 |
10
años |
11
años |
12
años |
10
años |
11
años |
12
años |
 |
 |
| PAÍS
VASCO |
24
(4,8%) |
447
(89,4%) |
29
(5,8%) |
9
(3,4%) |
233
(88,6%) |
21
(8%) |
763 |
 |
| TOTAL |
1.318
(35,9%) |
2.020
(55%) |
336
(9,1%) |
1.312
(38,9%) |
1.742
(51,6%) |
322
(9,6%) |
7.050
|
|
 |
En
ambas condiciones, el grueso de
los escolares se encuentran entre
los 11 y los 12 años de edad
(95,2% en GT y 96,6% en GC), situación
algo diferente a la de la media
latinoamericana. Ambos grupo son,
por tanto, perfectamente comparables
atendiendo a las variables edad
y género.
La distribución final de
la muestra iberoamericana, atendiendo
al criterio de que GT hubiera participado
en el programa durante 1, 2 ó
3 años, se refleja en la
Tabla 4.
| Tabla
4. Años de participación
en el programa del Grupo de
Tratamiento.
|
 |
| PAÍS |
UN
AÑO |
DOS
AÑOS |
TRES
AÑOS |
 |
| ARGENTINA |
 |
 |
 |
 |
| COLOMBIA
(CALI) |
 |
 |
 |
 |
| COLOMBIA
(ANTIOQUIA) |
 |
 |
 |
 |
| CUBA |
 |
 |
 |
 |
| CHILE |
 |
 |
 |
 |
| EQUADOR |
 |
 |
 |
 |
| PAÍS
VASCO |
 |
 |
 |
 |
| PANAMÁ |
 |
 |
 |
 |
| REPÚBLICA
DOMINICANA |
 |
 |
 |
 |
| VENEZUELA |
 |
 |
 |
 |
| TOTAL |
5 |
2 |
3 |
|
 |
La
explotación de los datos
se ha hecho atendiendo a criterios
generales, sin entrar en discriminaciones
en función de las variables
edad y sexo, porque en tal caso
el estudio se hubiera complejizado
en exceso. Sería, en todo
caso, un análisis sumamente
interesante, que acometeremos en
futuras evaluaciones.
|
| Procedimiento |
 |
Las
fases seguidas para el desarrollo
de esta parte de la evaluación
fueron los siguientes:
 |
Elaboración y validación
de un cuestionario por parte
del equipo evaluador, a partir
de las variables que el programa
trata de modificar (Ver Anexo
I). |
 |
Presentación en los dos
idiomas oficiales de la Comunidad
Autónoma Vasca. |
 |
Los cuestionarios serían
autorrellenados por todos los
escolares de cada una de las
aulas seleccionadas como GT
o GC, siguiendo las instrucciones
de un encuestador que proporcionaría
las aclaraciones oportunas.
El trabajo de campo se realizó
entre octubre y noviembre de
2001. |
 |
Diseño de un plan de
procesamiento estadístico
y un modelo de Informe. |
|
|
|
|
|
  
|
 |
|