Evaluace

ÚROVEŇ ŠKOLENÍ: Začátečník

Cíle školení

Po přečtení tohoto dokumentu budete:

• Vědět, co je evaluace, jaký je její účel a proč je důležitou součástí participativních procesů.
• Vědět, jak o evaluaci přemýšlet a jak postupovat při jejím nastavení pro váš projekt.
• Znát základní metody pro sběr dat potřebných pro evaluaci.

Obsah:

1. Vysvětlení klíčových pojmů
2. Proč je evaluace důležitá?
3. Jak o evaluaci participativních procesů přemýšlet
4. Sběr dat pro evaluaci
5. Teorie změny

1. Vysvětlení klíčových pojmů 

EVALUACE

Z francouzského évaluer nebo-li vyhodnotit, evaluace je systematické vyhodnocení kvality a úspěšnosti procesů a projektů na základě průběžně sbíraných dat. Jedná se o klíčovou ale často opomíjenou součást každého projektu. Účelem evaluace je zjistit, co v daném projektu funguje a kde jsou naopak slabá místa. Na základě těchto zjištění je poté možné navrhnout konkrétní kroky pro zlepšení pro další cykly stejného projektu či pro budoucí participativní projekty a procesy stejného či podobného typu.

2. Proč je evaluace důležitá?

Identifikování silných a slabých stránek procesů a možnost jejich následného zlepšení 

Evaluace umožní vyhodnotit, co v rámci participativního procesu proběhlo dobře, a co se naopak nevydařilo a z jakých důvodů. Identifikace slabých míst umožní přenastavení procesu do budoucna - ať už pro pokračování dalšího cyklu stejného projektu či pro jiný podobný projekt. Evaluace tedy slouží jako nástroj ke zlepšení procesů.

Měření výsledků a dopadu projektu

Díky evaluaci můžete měřit a kvantifikovat výsledky projektu, což vám umožní určit, jakých změn a jak velkého dopadu bylo díky projektu dosaženo. Finanční podpora z veřejných zdrojů je navíc často podmíněna měřitelnými výsledky. 

Vyhodnocení celkového procesu i jeho jednotlivých aspektů

Monitorování umožní vyhodnotit, zda se proces vyvíjí podle plánu a zda tak směřuje k zamýšleným výstupům. Monitorování zároveň umožní důkladně zmapovat daný proces a  použité nástroje a metody, což organizátorům umožní se z procesu poučit, zaznamenat zkušenost, optimalizovat budoucí procesy i stanovit dobrou praxi, kterou mohou replikovat či se jí inspirovat v budoucích projektech.

3. Jak o evaluaci participativních procesů přemýšlet

Evaluace má mnoho podob od jednoduchého monitoringu, který si můžete zajistit sami interně v rámci instituce, až po robustní přístupy založené na širokém sběru dat a informací, ke kterému je třeba poptat externího evaluátora.

Ze všeho nejdříve je třeba si ujasnit, co chcete evaluací zjistit. Teprve poté budete moci identifikovat vhodný formát a rozsah evaluace.  

Příklady, na co se při evaluaci participativních procesů zaměřit:

1. Zmapování procesu: zachycení jednotlivých kroků procesu pro optimalizaci, replikaci či inspiraci pro budoucí procesy.
2. Identifikování slabých a / nebo silných aspektů procesu: co fungovalo dobře a co ne, pro přenastavení budoucích procesů a jejich cílů.
3. Optimalizace procesu na základě jeho vyhodnocení.
4. Změření a kvantifikování výsledků procesu.
5. Zachycení změny, které projekt dosáhl.
6. Zaměření se na vyhodnocení určitých aspektů procesu, např.:
   • Zapojení cílové skupiny, např.:
     • Byla cílová skupina dostatečně zapojena? Byly použity správné metody pro její zapojení? Splnilo její zapojení očekávané cíle (např. obdrželi jste potřebné informace/data, došlo k dostatečné míře deliberace, došlo k vytvoření pocitu sounáležitosti s procesem mezi cílovou skupinou, apod.)?
     • Byly zapojeny všechny potřebné cílové skupiny? Nedošlo k vyloučení některé skupiny z procesu?
   • Efektivita využití alokovaných zdrojů
   • Lidské kapacity
   • Projektové řízení
   • Komunikace
   • Kvalita dosažených výstupů
   • A další

4. Sběr dat pro evaluaci

Pro zajištění úspěšné evaluace je potřeba s ní počítat už při plánování procesu a nastavit  kdy a jak sebrat potřebná data, která jsou nezbytná pro vyhodnocení procesu.

Příklady metod sběru dat:

• Hloubkové rozhovory (např. s organizátory procesu, zástupci cílové skupiny, klíčovými aktéry atd.)
• Kvantitativní průzkum (dotazníky)
• Pozorování
• Vstupní dokumenty (zápisy ze schůzek, průběžné zprávy od dodavatelů participace, výstupní zprávy z jednotlivých aktivit atd.)

5. Teorie změny

Jedním z příkladů metod pro komplexnější a detailnější evaluaci procesů je Teorie změny. Tato metoda mapuje, jak a proč se v určitém kontextu dosáhne žádané změny. Nejprve definuje požadované dlouhodobé cíle a poté zpětně identifikuje, jaké podmínky (výsledky) musí nastat (a jak jsou provázány), aby se cíle uskutečnily. Teorie změny vysvětluje vzájemné souvislosti a časovou návaznost jednotlivých kroků. Požadavkem Teorie změny je definice očekávaných výsledků ještě před začátkem plánování kroků k jejich dosažení a identifikace souvislostí mezi jednotlivými kroky: příčin a důsledků (“pokud A, tak B”) i chronologie (“nejdříve A, následně B”). Jednotlivé aktivity jsou tak podloženy detailním pochopením toho, jak skrze ně dochází k požadované změně, což vede k efektivnějšímu plánování. Teorie změny pomáhá vysvětlit, proč bylo nebo nebylo dosaženo cílů skrze pochopení příčin a důsledků.

Ve zkratce metoda určuje:

• Cíle projektu a jak jich dosáhnout
• Metriky k měření dosažení cílů
• Vstupy potřebné ke splnění cílů (finance, odborníci, partneři atd.)
• Dílčí aktivity, které jsou součástí projektu (např. tvorba zázemí, školení, používání nástrojů, a další)
• Výstupy projektu
• Výsledky projektu
• Dopady projektu