Desde abril de 2014, a Tostan tem vindo a colaborar com a Fundação Bill e Melinda Gates e a ITAD na revisão do nosso sistema de monitorização e avaliação (M&A), com o objetivo de melhorar a tomada de decisões no que diz respeito à implementação de programas e ao planeamento estratégico. Em março deste ano, a Tostan foi convidada para o evento «Construindo um Quadro de Avaliação para Abordagens de Desenvolvimento Integrado: Um Workshop de Brainstorming e Conceitualização», organizado pela FHI 360, para partilhar as nossas experiências no desenvolvimento do novo sistema. A FHI 360 e a Tostan estão a receber subsídios semelhantes, focados no monitoramento e avaliação de programas de desenvolvimento integrado (DI), da Fundação Bill e Melinda Gates. Enquanto a subvenção da Tostan se centra no estabelecimento de um sistema para medir e avaliar um programa de DI, a FHI 360 dispõe de uma subvenção para criar um quadro geral para avaliar um programa de DI. Um quadro é algo que pode ser utilizado como guia para conceber eficazmente uma avaliação: uma ferramenta para compreender melhor os resultados, ou efeitos, que estão a ocorrer numa comunidade.
Conforme definido pela FHI 360, um programa de desenvolvimento integrado «é a abordagem deliberada para interligar a conceção, a execução e a avaliação de programas entre disciplinas e setores, com o objetivo de produzir um impacto amplificado e duradouro na vida das pessoas… Para efeitos de avaliação, estamos focados em abordagens ao nível do programa.» O Programa de Empoderamento Comunitário (CEP) da Tostan enquadra-se neste modelo de desenvolvimento integrado devido à sua natureza holística. Este workshop constituiu uma oportunidade para a Tostan, representada pela responsável de MERL Elizabeth Larson, realizar um intercâmbio aprofundado com especialistas em avaliação de programas de desenvolvimento integrado e estabelecer contactos com organizações com modelos semelhantes. Por exemplo, a Nuru International, uma ONG sediada na Etiópia e no Quénia, também avaliou com sucesso o seu programa de desenvolvimento integrado.
Durante o workshop, Elizabeth explicou a abordagem da Tostan ao desenvolvimento holístico, descrevendo as ligações essenciais entre o governo, a educação, a saúde (santé em francês), o ambiente e o desenvolvimento económico —coletivamente designados por indicadores GESEE. Em seguida, Elizabeth descreveu a abordagem da Tostan nas comunidades, discutindo as aulas de educação não formal do CEP. Além disso, apresentou a Teoria da Mudança da Tostan, que demonstra como as comunidades evoluem ao longo dos três anos do CEP, passando de comunidades com potencial mas com baixos níveis de autoeficácia para comunidades empoderadas com altos níveis de autoeficácia e ação coletiva.
A Elizabeth apresentou então o nosso atual sistema de monitorização e avaliação, fornecendo uma visão geral do nosso Quadro de Resultados, que se centra nos indicadores GESEE, e de cada uma das ferramentas que a Tostan utiliza para recolher dados. Por exemplo, os resultados da avaliação intercalar do projeto «Mudança Geracional em Três Anos» (GC3Y) na Guiné mostram que a governação melhorou desde o estudo de referência e a implementação do programa, conforme medido pela tomada de decisões públicas com base no género.
A Tostan é também conhecida pela sua abordagem à avaliação das normas sociais, que aborda as expectativas normativas e empíricas, a prevalência de uma prática e as atitudes pessoais em relação a essa prática.
Elizabeth abordou a importância da abordagem de métodos mistos da Tostan — que recorre à recolha de dados tanto qualitativos como quantitativos — e a forma como esta permite à Tostan compreender as motivações subjacentes às mudanças visíveis nas comunidades. O poder de uma abordagem de métodos mistos fica patente quando se analisam os dados quantitativos e qualitativos sobre as expectativas normativas em torno da mutilação genital feminina (MGF). Na avaliação intercalar do Projeto GC3Y no Mali, utilizámos dados qualitativos em conjunto com dados quantitativos, como no exemplo seguinte, para obter uma visão global da situação em torno das normas sociais.
Por fim, Elizabeth descreveu como a Tostan utiliza os dados para a tomada de decisões estratégicas e a ação a nível comunitário. Por exemplo, os dados são transmitidos ao departamento de Programas para o informar sobre o desempenho do CEP. Da mesma forma, os resultados da avaliação são partilhados com o departamento de Comunicação para a elaboração de infográficos a distribuir pela comunidade da Tostan — incluindo as comunidades onde a Tostan atua —, para que os participantes possam utilizar os dados para promover mais mudanças no terreno. Por último, a Tostan está a trabalhar para incorporar métodos de investigação-ação participativa ao nível da comunidade no seu sistema de M&A. Isto permitirá à Tostan compreender as mudanças que ocorrem e que não poderia medir no âmbito do seu sistema de M&A estabelecido.
Após a apresentação de Elizabeth, os participantes debateram uma série de questões fundamentais que os avaliadores deveriam abordar na avaliação do programa de ID, tais como:
- Quais são os critérios mínimos que podem ser registados (pelos responsáveis pela implementação) para compreender o impacto amplificado da integração? O que é que se pode deixar de fora?
- Quais são as ideias que as pessoas têm sobre o valor da integração?
- O design de informação leva a menos esforço? O design de informação leva a mais felicidade?
- Quais são as consequências indesejadas da utilização de uma abordagem integrada?
O workshop terminou com um debate sobre o que os participantes esperariam de um quadro de ID, respondendo à seguinte pergunta: «Em que deve consistir uma avaliação prática de ID, tanto em termos de conteúdo como de formato?» Seguem-se algumas das principais respostas:
- Deveria ser mais um recurso de apoio à tomada de decisões do que um manual prático; isso torná-lo-á aplicável a uma variedade mais ampla de potenciais utilizadores
- Utilize estudos de caso variados e detalhados
- Torná-lo o mais fácil de usar possível, fornecendo uma breve introdução com links para explicações mais detalhadas
- Forneça definições para toda a terminologia especializada, uma vez que esta pode variar de setor para setor
No final, ao partilhar ideias e lições aprendidas com os nossos pares que acreditam e implementam com sucesso programas de ID, demos mais um passo para aperfeiçoar o nosso próprio quadro de referência e sistema de monitorização e avaliação.
Com a colaboração de Elizabeth Larson, responsável pelo MERL