Publicystyka - ngo.pl

Pierwszy artykuł przedstawiał monitoring jako proces systematycznego zbierania danych, podkreślając znaczenie jego przemyślanej i regularnej realizacji na każdym etapie projektu. Monitoring to jednak coś więcej niż samo gromadzenie informacji — stanowi istotny element uczenia się organizacji.

W niniejszym artykule pokazujemy, jak zaprojektować monitoring w sposób uporządkowany, aby umożliwiał rzetelną analizę danych jakościowych. Takie podejście pozwala nie tylko lepiej zrozumieć przebieg działań, lecz także wprowadzać trafne modyfikacje — zarówno w realizacji projektu, jak i w funkcjonowaniu całej organizacji. Systematycznie i na bieżąco gromadzone dane w ramach monitoringu mogą być również skutecznie wykorzystywane w procesie ewaluacji — zarówno wewnętrznej, jak i zewnętrznej.

Pamiętaj, aby zaplanować narzędzia monitorowania postępów już na początku projektu. Odkładanie tego na moment tuż przed terminem raportowania nie tylko zwiększa stres, ale też niesie ryzyko, że części danych nie da się już pozyskać.

Warto zadbać o to, by narzędzia pomiarowe miały spójną strukturę i zawierały podobne elementy — dzięki temu łatwiej uchwycić zmiany zachodzące w czasie. W praktyce często wystarczą 2–3 trafnie sformułowane pytania otwarte, na przykład:

Dla beneficjentów: co było najbardziej przydatne? co było trudne lub niezrozumiałe?

Dla obserwatorów procesu: co było najbardziej wartościowe? co nie zadziałało?

W projektach migracyjnych warto dodatkowo pamiętać o formie:

• prosty język, 
• możliwość odpowiedzi ustnej, 
• czasem alternatywy wizualne (np. skale, symbole, photo voice etc.). 

W projektach współpracy rozwojowej kluczowe jest:

• uwzględnienie kontekstu kulturowego w tym m.in. uwspólnienie przez partnerów pewnych terminów – jak np. czy partnerzy tak samo rozumieją partycypację lub sukces projektu.
• zbieranie refleksji dotyczących współpracy obu partnerów – jest to nierzadko kluczowy czynnik wpływający na efektywność działań.

Nadaj narzędziom monitoringu taką strukturę, aby uzyskane wyniki były porównywalne — zarówno w czasie, jak i między osobami, które z nich korzystają. Jeśli na przykład „stop-klatki” przygotowuje wiele osób w różnych momentach (np. trenerzy, mentorzy czy case workerzy pracujący z różnymi grupami), warto wprowadzić elementy standaryzacji. Można np. poprosić o wybór trzech przymiotników z listy, które najlepiej opisują pracę danej grupy. Ułatwi to zestawianie i analizę zebranych danych.

Jednocześnie dobrze jest pozostawić przestrzeń na bardziej zindywidualizowane obserwacje — mogą one stanowić uzupełnienie ustrukturyzowanych pytań.

„Pulse check” to krótka, cykliczna forma zbierania informacji o bieżących doświadczeniach uczestników lub obserwatorów projektu. Zamiast rozbudowanych ankiet opiera się na jednym lub dwóch prostych pytaniach zadawanych w regularnych odstępach czasu. Można go traktować jako szybkie „sprawdzenie pulsu” projektu — sygnał pokazujący, czy działania zmierzają we właściwym kierunku.

Jak to wygląda w praktyce?

Co 2–3 tygodnie (lub po każdym ważnym działaniu) zadajesz uczestnikom 1-2 pytania, np.:

• Jak oceniasz swoje doświadczenie w projekcie w ostatnim czasie? 
• Na ile czujesz, że to, co robimy, jest dla Ciebie przydatne? 
• Czy coś było ostatnio szczególnie trudne? 

Odpowiedź może mieć formę: prostej skali (np. 1–5), wyboru emotikonu, krótkiego komentarza (opcjonalnie).

Dlaczego to działa?

• jest szybkie – zajmuje kilkadziesiąt sekund, 
• nie obciąża uczestników (co jest kluczowe w pracy z osobami z doświadczeniem migracji), 
• daje możliwość uchwycenia zmian w czasie, 
• pozwala wcześnie zauważyć problemy.

Przykład zastosowania: w półrocznym projekcie integracyjnym dla młodzieży co miesiąc zadawano pytanie: „Na ile czujesz się komfortowo w grupie?” (skala + opcjonalny komentarz). Po kilku pomiarach zespół zauważył spadek liczby pozytywnych odpowiedzi i odkrył, że w grupie pojawiły się animozje, o których prowadzący wcześniej nie wiedzieli. Dzięki temu możliwe było szybkie wprowadzenie nowych elementów i modyfikacja metod pracy.

Analiza danych jakościowych często budzi opór — bywa postrzegana jako czasochłonne przeglądanie długich wypowiedzi, żmudne kodowanie, konieczność korzystania ze specjalistycznego oprogramowania i trudność w wyciąganiu wniosków z pojedynczych historii. Tymczasem już na etapie rekrutacji zależy nam na otwartości: zachęcamy uczestników do opisywania własnymi słowami swoich motywacji i potrzeb. Trudności pojawiają się później — gdy dysponujemy kilkudziesięcioma zgłoszeniami w arkuszu i trudno dostrzec wspólne wzorce. Jak usprawnić ten proces?

1. Przeczytaj wszystkie odpowiedzi – szybko, bez nadmiernego analizowania. Chodzi o ogólny obraz i emocje, które czasami można wyczytać w takim tekście. Tego wymaga też etyka zbierania danych – ludzie piszą, bo my o coś poprosiliśmy i ufają nam, że to będzie jakoś „skonsumowane”

2. Określ powtarzające się motywy – kategorie spraw, motywacji, potrzeb, uwag – stwórz kategorie i przypisz je do poszczególnych odpowiedzi. Umożliwi Ci to określenie zakresu zjawiska – np. że problemy zdrowotne dzieci są główną motywacją do podjęcia działań na rzecz dostępu do dobrej jakości wody (a nie np. chęć ułatwienia życia, by woda była bliżej domu).

Na tym etapie pomocne mogą być narzędzia sztucznej inteligencji, szczególnie te przeznaczone dla badaczy, analityków (jak np. NotebookLM). Pamiętaj jednak, by nie wrzucać do ogólnie dostępnych narzędzi danych wrażliwych, indywidualnych oraz by zawsze sprawdać potencjalne konfabulacje sztucznej inteligencji. 

3. Wybierz 2–3 cytaty, bo:

• oddajesz wtedy głos uczestnikom, 
• pomagają lepiej zrozumieć kontekst, 
• są bardzo użyteczne w raportach i komunikacji. 

4.  Zrób podsumowanie – będzie ono przydatne nie tylko do sprawozdań, ale i do rozumienia co się zadziało w grupie, jakie zmiany generował udział w projekcie.

W analizie danych jakościowych pomocne mogą być narzędzia oparte na sztucznej inteligencji, zwłaszcza te tworzone z myślą o badaczach i analitykach (np. NotebookLM). Warto jednak zachować ostrożność — nie należy wprowadzać do ogólnodostępnych narzędzi danych wrażliwych ani informacji umożliwiających identyfikację osób, a uzyskane wyniki zawsze trzeba weryfikować pod kątem ewentualnych błędów czy konfabulacji.

Monitoring ma wartość dopiero wtedy, gdy zebrane dane przekładają się na konkretne działania. Dlatego kluczowe jest ich regularne analizowanie w trakcie realizacji projektu. Pomocne są w tym cykliczne spotkania zespołu wdrażającego lub partnerów projektu — warto je zaplanować z wyprzedzeniem i traktować priorytetowo.

Istotne, aby były to momenty wspólnej, uporządkowanej refleksji, a nie wyłącznie przestrzeń do rozwiązywania bieżących problemów. Takie spotkania mogą również działać motywująco, ponieważ pozwalają dostrzec i docenić to, co się udaje oraz przynosi pozytywne rezultaty.

Przykładowe pytania do regularnej refleksji wynikającej z monitoringu:

• Co działa i warto to kontynuować?
• Co nie działa i wymaga zmiany?
• Co chcemy przetestować inaczej?
• Jakie ryzyka i szanse w realizacji projektu pojawiły się, których nie braliśmy pod uwagę?

Monitoring to nie tylko systematyczne gromadzenie danych, lecz przede wszystkim ich świadome i celowe wykorzystywanie. Odpowiednio zaprojektowany i konsekwentnie prowadzony może pełnić funkcję „silnika” ewaluacji — zarówno wewnętrznej, jak i zewnętrznej — dostarczając rzetelnych, uporządkowanych informacji potrzebnych do oceny jakości i efektów działań.

W dynamicznie zmieniającej się rzeczywistości jego rola staje się szczególnie istotna. Wiele doświadczeń, emocji, kontekstów sytuacyjnych czy drobnych, lecz ważnych obserwacji umyka lub ulega zniekształceniu, gdy próbujemy odtworzyć je dopiero na etapie ewaluacji.

Kolejne dwa artykuły poświęcimy metodom partycypacyjnym wykorzystywanym w ewaluacji, które pozwalają lepiej uwzględniać różnorodne perspektywy i doświadczenia w procesie organizacyjnego uczenia się.

• Karina Janus, Analiza głosu odbiorców w NGO. Jak wspierać ją narzędziami AI, TechSoup Polska;
• Łucja Komaszewska, Karina Janus, Zarządzanie projektami w NGO z wykorzystywaniem technologii, część o Monitoringu postępów projektu, w tym o narzędziu Kanban, TechSoup Polska;
• Thematic, Best practices for analyzing open-ended questions. Your guide to making sense of free-text feedback;
• Royal Geographical Society, Presenting Qualitative Data;
• Thematic, How to Visualize Qualitative Data Insights with Dashboards;

Artykuł powstał w ramach kampanii upowszechniającej organizacyjne uczenie się: Od-ucz się tego co już nie działa, czytaj więcej.