ESCAPE RAPIDO DE SITIO

¿Cuáles son los pasos prácticos para planificar una evaluación que sea adecuada para el programa y la organización?

Impulsar la participación de los interesados. Los interesados incluyen a las personas que tienen un interés legítimo en el programa de prevención, entre ellos el personal, los organismos de financiación, los miembros de la junta directiva, los encargados de la formulación de políticas, los miembros de la comunidad, las organizaciones asociadas, los guardianes de las diferentes fuentes de información o los beneficiarios o participantes. Los interesados pueden asistir en el establecimiento de prioridades sobre las preguntas que se realizarán, la elaboración de un modelo lógico, la selección de los métodos que se utilizarán y la información que se recabará, la interpretación de los resultados y la garantía de que la evaluación tenga en cuenta las cuestiones culturales y sea aceptada por la comunidad (Valle y otros, 2007).

Describir el programa. Ponerse de acuerdo sobre una descripción clara del programa contribuirá a determinar las preguntas y las actividades apropiadas para la evaluación. Mediante la elaboración de un modelo lógico, pueden determinarse los elementos fundamentales del programa y las actividades de evaluación. (Para una descripción clara de cómo elaborar un modelo lógico, consulte Valle y otros, 2007.)

Centrarse en el diseño de la evaluación. Al elaborar el diseño de la evaluación deben tenerse en cuenta los siguientes elementos (CDC, 1999):

  • Finalidad: ¿Para qué se realiza esta evaluación? ¿Para formarse una idea de cómo diseñar un programa? ¿Para mejorar las prácticas o los servicios?
  • Beneficiarios: ¿A quién está dirigida o a quién beneficiará la evaluación?
  • Usos: ¿Cómo se utilizarán los resultados de la evaluación?
  • Preguntas: ¿Cuáles son las preguntas más importantes que debe responder la evaluación?
  • Métodos: ¿Cuáles son los métodos para proporcionar información a fin de responder a las preguntas?
  • Otros elementos: ¿Cómo se ejecutará el plan de evaluación con los recursos disponibles? ¿Qué medidas de protección existen para que se cumplan todas las normas éticas y se presenten todas las inquietudes éticas?

Reunir datos confiables. A partir de los datos de referencia y el plan de evaluación elaborado durante la etapa de diseño del programa, debe determinarse qué datos se reunirán, quiénes los suministrarán, cuándo se realizarán las actividades de evaluación, dónde se recopilarán los datos y qué métodos de recopilación de datos se utilizarán.

Analizar los resultados. Determinar con antelación de qué modo se analizarán los resultados permitirá garantizar que el plan de recaudación de datos proporcione la información necesaria y, además, contribuya a establecer qué conocimientos técnicos y recursos se requieren para analizar los datos.

Garantizar el uso y compartir la experiencia adquirida. Debe establecerse un plan para determinar quiénes son los destinatarios de la información (por ejemplo, responsables de la formulación de políticas públicas, organizaciones), cómo se informarán los resultados y qué formatos de presentación de informes serán los más apropiados para los diferentes destinatarios (por ejemplo, la televisión, la radio, Internet, los medios gráficos, testimonios).

 

¿Qué factores deben determinar la elección del tipo de evaluación?

El tipo de evaluación que se necesitará dependerá de diversos factores, entre ellos:

  • El período que abarca el programa;
  • La duración de la intervención del proyecto (resultados razonables previstos);
  • Las metas de la evaluación;
  • Los recursos humanos y financieros disponibles;
  • El tiempo disponible para la evaluación;
  • La existencia o inexistencia de datos de referencia.

 

¿Qué grado de evaluación se requiere?*

  • Si los recursos son limitados:
    • Cierta investigación formativa;
    • Indicadores de proceso;
    • Grupos de debate sólo después de la intervención.
  • Si los recursos disponibles para la evaluación son módicos:
    • Investigación formativa;
    • Indicadores de proceso;
    • Reunión simple de datos cuantitativos antes y después de la intervención sin grupo de control.
  • Si los recursos son vastos:
    • Investigación formativa exhaustiva;
    • Reunión de datos de varias fuentes, incluido un grupo de control (o un grupo de intervención tardía);
    • Triangulación con parejas/mujeres;
    • Recopilación de datos cuantitativos y cualitativos durante todo el proceso.

*Esta información se adaptó de la presentación de Gary Barker “Cómo evaluar el trabajo con niños y hombres”. Para la presentación completa, vea el ppt de Gary Barker.


¿Cuáles son las opciones disponibles para los diseños de evaluación de resultados?

Diseño

Reunir datos antes del programa

Ejecutar el programa o la estrategia

Reunir datos después del programa

Reunir datos de seguimiento

Sólo pruebas posteriores a la intervención

No

Tal vez

Pruebas anteriores y posteriores a la intervención

Tal vez

Pruebas anteriores y posteriores a la intervención con grupo de control

Sí (ambos grupos)

Sí (grupo del programa)
No (grupo de control)

Sí (ambos grupos)

Tal vez (ambos grupos)

Pruebas posteriores a la intervención con grupo de control

No

Sí (grupo del programa)
No (grupo de control)

Tal vez (ambos grupos)

Ensayo aleatorio con grupo de control

Sí (ambos grupos)

Sí (grupo del programa)
No (grupo de comparación)

Sí (ambos grupos)

Tal vez (ambos grupos)

Serie cronológica

Sí, varias veces

Sí, varias veces

Fuente: Valle y otros, 2007


Realice pruebas en el campo y evalúe nuevos recursos e intervenciones

Es indispensable supervisar y evaluar cada uno de los nuevos recursos o intervenciones. Aun cuando las intervenciones hayan sido satisfactorias en otros entornos, esto no garantiza su éxito en un nuevo país, región o idioma.

Realice pruebas anteriores a la utilización de los materiales nuevos o adaptados

Este tipo de pruebas aumenta la probabilidad de que los mensajes propuestos se reciban conforme a lo previsto en el programa. Los destinatarios deben estar en condiciones de comprender los materiales de prevención y de responder a ellos de manera positiva. Los siguientes enfoques pueden utilizarse en las pruebas anteriores a la utilización:

  • Estudios de prueba. Este método permite que en el programa se pongan a prueba secciones del enfoque propuesto o el enfoque completo en una escala menor con un grupo similar al que se aplicará el enfoque. De esta forma, se determina si la estrategia de prevención seleccionada transmite el mensaje previsto y se evalúa si algún aspecto del programa resulta ofensivo, perjudicial o ineficaz (Valle y otros, 2007).
  • Pruebas de inteligibilidad. Las revisiones y los aportes de personas de características similares a los destinatarios del programa permitirán que los materiales elaborados para el programa resulten comprensibles y puedan utilizarse con personas de diferentes niveles de educación. Diversos programas de procesamiento de texto, como WordPerfect o MicrosoftWord, proporcionan “cálculos aproximados de inteligibilidad” o de edad o grado escolar para los que deben estar concebidos los materiales. El índice de Gunning es otro instrumento que cumple la misma función (Valle y otros, 2007). Para más información sobre dicho índice y cómo calcularlo, consulte el sitio web.

 

Seleccione resultados realistas al planificar la evaluación

Si bien los programas de prevención de la violencia procuran, en definitiva, el logro de cambios de comportamiento asociados con la violencia, a menudo se requiere mucho tiempo para lograr tales cambios, y es preciso que los programas recopilen datos sobre los resultados durante un período prolongado. Por lo tanto, algunos resultados más realistas de muchos programas de prevención podrían consistir en modificar los factores cercanos que propician la violencia con la meta final de prevenir los comportamientos violentos.


¿Cuáles son algunos de los resultados cercanos que podrían utilizarse en lugar de buscar cambios de comportamiento a largo plazo?

A nivel individual, en el marco ecológico podría incluirse la documentación de los cambios de conocimientos, actitudes, aptitudes e intenciones de comportamiento. Sin embargo, cabe recordar que la relación entre estos resultados y los comportamientos reales varía (Valle y otros, 2007).

  • Los conocimientos se refieren al grado de comprensión de las personas o a sus conocimientos objetivos sobre un concepto. Si bien constituye una medida importante, cabe señalar que el solo hecho de cambiar los conocimientos sobre la violencia contra la mujer o los comportamientos apropiados probablemente no prevendrá la violencia, de la misma manera que cambiar los conocimientos sobre las consecuencias negativas del cigarrillo no modifica necesariamente el comportamiento relacionado con el hábito de fumar (Valle y otros, 2007).
  • Las actitudes hacen referencia a cómo piensan, sienten o creen las personas de manera subjetiva, por ejemplo, si los hombres creen que la violencia es aceptable. Aunque las actitudes aparentemente están relacionadas con el comportamiento, no queda claro si los cambios de actitud conducen a cambios de comportamiento (Valle y otros, 2007).
  • Las aptitudes se refieren a la capacidad de las personas para comportarse o actuar de una manera determinada. La enseñanza de aptitudes puede aumentar la probabilidad de que las personas se comporten de una manera determinada, pero no garantiza que realmente lo hagan (Valle y otros, 2007).
  • Las intenciones de comportamiento hacen referencia a la evaluación subjetiva de una persona sobre si se comportará de una manera establecida en una situación futura determinada; por ejemplo, las estrategias de prevención que alientan a los observadores a intervenir a fin de prevenir la violencia contra la mujer o desalientan las conversaciones que menosprecian a las mujeres (Valle y otros, 2007).

 

Tenga en cuenta que la evaluación de programas de prevención de una sesión o de anuncios mediáticos unitarios puede resultar infructuosa

Si bien estos enfoques concisos pueden ser un complemento importante en los programas amplios, es improbable que generen una prevención duradera sobre la violencia sexual y de pareja por sí solas (a menos que formen parte de una labor multidimensional). Además, su evaluación puede resultar compleja, debido a que las personas reciben innumerables mensajes todos los días y un único mensaje probablemente tendrá un impacto mínimo (Valle y otros, 2007).

 

Reconozca tanto la complejidad como la importancia de evaluar los cambios de comportamiento

La evaluación de programas en el ámbito de la prevención de la violencia contra la mujer presenta dificultades por diversos motivos, entre ellos:

  • La prevención de la violencia requiere estrategias y sectores múltiples, lo que dificulta la asignación de resultados a una única intervención;
  • La definición y la medición de los niveles de violencia contra la mujer resultan una empresa difícil desde una perspectiva metodológica;
  • El cambio de normas puede requerir inversiones a largo plazo;
  • Algunos cambios pueden traer aparejados resultados contrarios a los esperados; por ejemplo, es posible que una intervención dé origen a una mayor cantidad de informes sobre violencia y, en consecuencia, a un mayor nivel de violencia medida conforme a la cantidad de casos denunciados.


Tenga en cuenta que las evaluaciones cualitativas no son necesariamente menos complejas o costosas

Si bien la recopilación de datos cualitativos con fines de evaluación puede parecer una opción menos costosa que una encuesta basada en la comunidad, cabe señalar que la reunión y el análisis de datos cualitativos (por ejemplo, la información recabada en los grupos de debate) resultan complejos y requieren evaluadores con experiencia y aptitudes profesionales específicas. Por lo tanto, no es una opción necesariamente más sencilla o menos costosa. Algunas organizaciones cuentan con la competencia técnica para reunir datos cuantitativos, y no datos cualitativos (y viceversa). Por ejemplo, el método de evaluación menos costoso o complejo para las intervenciones con la modalidad de talleres son los cuestionarios de pruebas anteriores y posteriores a las intervenciones destinadas a hombres y niños que participan en ellas, aunque esta técnica tiene limitaciones, como la imposibilidad de evaluar si los cambios se mantienen con el tiempo o la posibilidad de que el “éxito" del programa se deba, en realidad, a la concienciación fomentada antes de las pruebas y a la comprensión de cómo responder las preguntas correctamente.

Documente el “cómo” y el “cómo no”

En la mayoría de los programas se suelen documentar los cambios logrados, pero no el proceso mediante el cual se alcanzaron. Es preciso examinar en profundidad el proceso de “cómo" un programa logró cambiar actitudes y comportamientos. Por otro lado, podría ser muy beneficioso para todos los que trabajan en el tema aprender de las experiencias tanto “satisfactorias" como “insatisfactorias", aunque pocos están dispuestos a documentar estas últimas.

Ejemplos de iniciativas destinadas a hombres y niños que incorporaron evaluaciones sólidas en sus programas


 

Soul City (Sudáfrica). Soul City, un proyecto en multimedia de promoción de la salud y el cambio social que comenzó en Sudáfrica y que en la actualidad se desarrolla en varios países, abordó varios aspectos de la violencia contra las mujeres en su serie 4.  La evaluación de esta serie proporciona uno de los diseños de evaluación más completos en la esfera del trabajo con hombres en el contexto de la violencia contra las mujeres. Vea la evaluación.

 

 

Paso a Paso (Sudáfrica). Paso a Paso es un juego de capacitación sobre género, el VIH, técnicas de comunicación y relaciones. La segunda versión de la adaptación sudafricana fue objeto de una rigurosa evaluación por medio de una prueba de control aleatoria por grupos que demostró que Paso a Paso mejoró considerablemente algunos comportamientos de riesgo reconocidos por los hombres, y una proporción menor de hombres comunicaron haber perpetrado actos de violencia dentro de la pareja durante dos años de seguimiento, y menos relaciones sexuales a cambio de favores y problemas de bebida al cabo de 12 meses. En el caso de las mujeres, se notificó un aumento de relaciones sexuales a cambio de favores también al cabo de 12 meses. Para más información, vea la evaluación.

 

 

Programa H (Brasil). El Programa H constituye un conjunto de metodologías destinadas a estimular a hombres jóvenes para que reflexionen de manera crítica sobre las normas rígidas relacionadas con la hombría y cómo pueden influir en la vida en diferentes ámbitos: la salud, las relaciones personales, la salud sexual y reproductiva y la paternidad. El Programa H ejecutó una evaluación rigurosa de su iniciativa en el Brasil, donde pudo demostrarse una mejoría en las actitudes hacia la violencia contra la mujer y otros problemas entre los hombres jóvenes, destinatarios de talleres educativos semanales y una campaña de comercialización social. Para más información, vea la evaluación.

 

 

 

Yaari Dosti (India). Yaari Dosti es la adaptación del Programa H (elaborado en el Brasil) realizada por el Programa Horizons, CORO for Literacy, MAMTA y el Instituto Promundo. El grupo llevó  a cabo investigaciones sobre las operaciones para evaluar la eficacia de las intervenciones, a fin de mejorar las actitudes de los hombres jóvenes hacia las funciones de género y las relaciones sexuales, y reducir los comportamientos de riesgo respecto del VIH y de la violencia en la pareja. En la India, los datos de evaluación del impacto revelaron una disminución de los casos reconocidos por hombres de violencia contra la mujer gracias a las intervenciones del programa. Vea el ppt de Julie Pulerwitz. Para más información visite el sitio web.

 


Recursos útiles para el seguimiento y la evaluación de programas destinados a hombres y niños

Cómo evaluar el trabajo con niños y hombres (Instituto Promundo). Esta presentación en PowerPoint elaborada por Gary Barker proporciona una reseña general de “por qué” y “cómo” evaluar las iniciativas transformadoras en materia de género destinadas a hombres y niños (pulse aquí).

Cómo medir el impacto de las intervenciones centradas en el género (Julie Pulerwitz). En esta presentación en PowerPoint se examina la elaboración de escalas para medir la dinámica relacionada con el género y se describe su aplicación para evaluar el impacto de tres iniciativas diferentes: Paso a Paso, Programa H y Sexto Sentido. Disponible en inglés. Vea el ppt.

La Escala de Equidad de Género para Hombres (Instituto Promundo, Consejo de Población). La Escala de Equidad de Género para Hombres se emplea para evaluar los cambios de actitud, dado que resulta un paso importante hacia el logro (y posteriormente la medición) del cambio de comportamiento. La Escala, que ha demostrado su validez desde una perspectiva psicométrica, se ha utilizado como un recurso de evaluación en intervenciones con hombres en un elevado número de países, como el Brasil, Etiopía e India. El propósito de la Escala es evaluar el grado de adhesión de un determinado grupo de adultos o varones jóvenes a una versión rígida, no equitativa y violenta de la masculinidad y la creencia en ella. La manera en que responden los hombres a la Escala se asocia en gran medida con los casos de violencia contra la mujer reconocidos por los hombres. Por ejemplo, en el Brasil, la probabilidad de que los hombres jóvenes clasificados en el tercio menos equitativo de la población hayan reconocido el uso de violencia contra una pareja era cuatro veces mayor que la de los hombres cuya clasificación los ubicaba en un nivel más equitativo (Pulerwitz y otros, 2006).  Vea la encuesta en Inglés, español y portugués.  Puede consultar un resumen conciso de la Escala en inglés.

Arizona Rape Prevention and Education Project (Proyecto de educación y prevención de la violación de Arizona) (Universidad de Arizona, Estados Unidos). La página web de medidas de evaluación ofrece referencias e información sobre las medidas utilizadas para estudiar comportamientos y actitudes relacionadas con la violación que también se emplean para evaluar programas de educación y prevención de la violación. Para más información (en inglés), consulte el sitio web.

Sexual and Intimate Partner Violence Prevention Programmes Evaluation Guide (Guía de evaluación de los programas de prevención de la violencia sexual y de pareja) (Centros para el Control y la Prevención de Enfermedades (CDC), Estados Unidos) elaborada por Valle y otros, 2007. Esta publicación contiene una sinopsis de la importancia de la evaluación y proporciona métodos y estrategias de evaluación que pueden aplicarse a los programas sobre la violencia sexual y la violencia de pareja. En los distintos capítulos se brindan pautas prácticas para la planificación y realización de evaluaciones; información sobre cómo relacionar metas, objetivos, actividades, resultados y estrategias de evaluación de los programas; fuentes y técnicas para la recopilación de datos; y consejos útiles para el análisis y la interpretación de los datos recopilados y la divulgación de los resultados. En la guía se analizan las evaluaciones económica, formativa, de procesos y de resultados. Pueden solicitarse copias en formato impreso de estas publicaciones están disponible en inglés.

Measuring Violence-Related Attitudes, Behaviours, and Influences Among Youths: A Compendium of Assessment Tools (Medición de la actitudes, comportamientos e influencias relativas a la violencia entre los jóvenes: recopilación de instrumentos de evaluación) (2ª edición), CDC (Estados Unidos). Esta recopilación ofrece a los investigadores y a los especialistas en prevención un conjunto de instrumentos para determinar las creencias, conductas e influencias relativas a la violencia y evaluar los programas de prevención de la violencia juvenil. Puede ser especialmente útil para los que acaban de iniciarse en este ámbito, en tanto que para quienes tienen más experiencia puede servir como recurso para obtener mediciones complementarias para evaluar los factores asociados con la violencia entre los jóvenes. Puede descargarse en inglés.

Measuring Intimate Partner Violence Victimization and Perpetration: A Compendium of Assessment Tools (Cómo medir la victimización y el maltrato en la violencia de pareja) elaborada por CDC (Estados Unidos). Esta publicación proporciona a los investigadores y a los especialistas en prevención una recopilación de los recursos concebidos para medir la victimización y el la violencia en la pareja. Incluye más de 20 escalas. Puede descargarse en inglés.

Violence against Women and Girls: a Compendium of Monitoring and Evaluation Indicators (La violencia contra las mujeres y niñas: un compendio de indicadores de monitoreo y evaluación) (MEASURE Evaluation, USAID), de Shelah Bloom (2008). Esta publicación proporciona diversos indicadores para supervisar y evaluar los programas sobre la violencia contra la mujer. En la sección 7.3 que comienza en la página 228, se detallan distintos indicadores utilizados para supervisar y evaluar los programas destinados a niños y hombres. Está disponible en inglés.

Measures for the assessment of dimensions of violence against women. A compendium (Recopilación de medidas para la evaluación de las dimensiones de la violencia contra la mujer), Flood, M., 2008, inédito, Melbourne: Australian Research Centre in Sex, Health & Society, La Trobe University. Se trata de una recopilación de las medidas adoptadas para evaluar las dimensiones de la violencia contra la mujer. También incluye medidas sobre las normas sexuales y de género, aunque no abarca las medidas sobre maltrato, abuso o acoso sexual infantil. Puede consultarse en inglés.

Putting Women First: Ethical and Safety Recommendations for Research on Domestic Violence Against Women (La mujer primero: recomendaciones de ética y seguridad para la investigación sobre la violencia doméstica contra la mujer) (OMS). Estas recomendaciones provienen de los debates entablados sobre las recomendaciones elaboradas para el Estudio multipaís de la OMS sobre salud de la mujer y violencia doméstica contra la mujer. Se centran especialmente en las consideraciones relativas a la ética y la seguridad asociadas con la realización de encuestas de población sobre la violencia doméstica contra la mujer. Sin embargo, muchos de los principios establecidos se aplican también a otras modalidades de investigación cuantitativa y cualitativa sobre esta cuestión. Está disponible en inglés, francés y español.

WHO Ethical and Safety Recommendations for Researching, Documenting and Monitoring Sexual Violence in Emergencies (Recomendaciones de ética y seguridad de la OMS para la investigación, la documentación y el monitoreo de la violencia sexual en situaciones de emergencia) (2007). Este documento se aplica a todas las modalidades de investigación sobre la violencia sexual en situaciones de emergencia. En total, se formulan ocho recomendaciones (consulte la parte III). En conjunto, estas recomendaciones tienen por objeto velar por que se adopten las salvaguardias de ética y de seguridad necesarias antes del comienzo de toda actividad de recopilación de información relativa a la violencia sexual en situaciones de emergencia. A continuación de cada recomendación, se describen las cuestiones clave de ética y seguridad que deben abordarse y las preguntas que deben formularse antes de planificar cualquier actividad de recopilación de información relacionada con la violencia sexual. Estas recomendaciones también deben servir de base al decidir si debe emprenderse una actividad de esta naturaleza. En los casos en que fue posible, la explicación se respaldó con ejemplos de buenas prácticas extraídas de experiencias en el campo tanto en situaciones de emergencia como en otras. Para más información sobre diversos temas, se remite a los usuarios a una lista de otros recursos y lecturas complementarias sugeridas que se adjunta como anexo a este documento. Está disponible en inglés y francés.