Makowski: „Tak się nie robi konsultacji”. Uczestnicy: „Prowadzący nie był obiektywny”
Skończyły się konsultacje nowych rozporządzeń do Ustawy o pożytku. – Przygotowano zamówienie, którego efektem będzie produkt robiony po łebkach – mówi doktor Grzegorz Makowski. – Prowadzący sugerował nam odpowiedzi. To niedopuszczalne – dopowiada osoba, która uczestniczyła w spotkaniu focusowym.
Fot.: Anna Liminowicz
Ignacy Dudkiewicz: – Dziś kończy się czas, w którym – na zlecenie Fundacji Republikańskiej, realizującej razem z Kancelarią Premiera projekt konsultacji nowych rozporządzeń do Ustawy o pożytku – prowadzone były wywiady grupowe na temat projektów. Sposób ich organizacji budził jednak spore wątpliwości, a w mediach społecznościowych krążyły wręcz anegdotyczne opowieści o sposobie rekrutacji uczestników i uczestniczek…
Co masz na myśli?
– Może wynika to z nieumiejętności napisania ogłoszenia konkursowego. Być może osoby, które je tworzyły, po prostu nie znają się na konsultacjach. W ogłoszeniu jest napisane, że chodzi o „wsparcie pogłębionych konsultacji społecznych” dotyczących wspomnianych rozporządzeń. Jest też napisane, że oferta musi obejmować propozycję zastosowania co najmniej trzech różnych, aktywnych metod konsultacji. Ale lista tych metod to pomieszanie z poplątaniem – technik typowo badawczych i konsultacyjnych. Wymienia się tam na przykład: ilościowe badania reprezentatywne, wywiady indywidualne, czy prośby o opinię rozsyłane różnymi kanałami. Trudno te techniki uznać za „aktywne” sposoby organizowania konsultacji. Są tam też takie, które mogą być uznane za aktywne, pod warunkiem że są odpowiednio zrealizowane, jak na przykład zogniskowane wywiady grupowe (tak zwane focusy), czy moderowane spotkania. Jak i takie, które zostały specjalnie wymyślone na potrzeby konsultacji jak panele obywatelskie czy sondaż deliberowany. Te ostatnie faktycznie nadają się na pogłębione konsultacje, ale ich przeprowadzenie wymaga doświadczenia i sporego wysiłku.
Co w tym wszystkim zatem nie gra?
– To zaproszenie do tego, żeby pójść w minimalizm. Gdybym był wykonawcą i zobaczył takie ogłoszenie, wybrałbym metody najmniej kosztowne. Tym bardziej że, jak się domyślam, wielkiego budżetu na to nie przeznaczono. Wygląda na to, że tak właśnie zrobiła Fundacja Republikańska. Póki co bowiem z pogłębionych konsultacji mamy zwykłe focusy, pobawione jakichkolwiek bardziej wymagających elementów interakcji, robione jakby to były wywiady poświęcone jakości proszków do prania. Z całym szacunkiem dla badań marketingowych, badania społeczne, a już na pewno konsultacje, wymagają innego podejścia.
Trudno jednak podejrzewać, że chodzi po prostu o nieumiejętność pisania ogłoszeń. W zespole NIW-u są wszak ludzie, którzy powinni wiedzieć, czym są konsultacje.
Myślisz, że w tym wypadku było inaczej?
– Wygląda na to jakby nikomu specjalnie na zależało na tych konsultacjach. Ot, są jakieś pieniądze, organizacje lubią sobie konsultować, to dajmy się im tam jakoś wygadać. Przygotowano więc zamówienie, którego efektem będzie najwyraźniej produkt robiony po łebkach.
Tak prowadzone konsultacje nie dadzą żadnej pogłębionej wiedzy o tym, co ludzie sądzą o projektach rozporządzeń.
Zwłaszcza że owe fokusy, które podzleciła Fundacja Republikańska, są, powtórzmy, robione jakby w standardzie badań marketingowych, a nie społecznych. Już samo płacenie za udział w tych fokusach jest według mnie nieetyczne lub co najmniej kontrowersyjne z punktu widzenia celu…
Dlaczego?
– Powtórzę coś, co napisałem w jednej z dyskusji na Facebooku. To prawda, że w komercyjnych, marketingowych focusach wynagrodzenie za udział to standardowa praktyka. Jest to co prawda obarczone ryzykiem udziału „zawodowych” dyskutantów, ale profesjonalne firmy potrafią sobie z tym radzić. Natomiast w przypadku badań społecznych, płacenie w ogóle nie powinno być stosowane. Na zachętę dla respondenta można ostatecznie zaoferować na przykład ryczałt za dojazd, gadżet, ale nie wynagrodzenie za udział w badaniu, którego tematem są kwestie światopoglądowe. Materia w tym wypadku jest bardziej skomplikowana niż dyskusje o reklamie telewizyjnej czy jakości proszku do prania.
Ponadto ryzyko tak zwanego „efektu ankieterskiego” będzie bardziej brzemienne w skutkach. Zacząwszy od rekrutacji – po części przyjdą nie ci, którzy faktycznie mają coś do powiedzenia, tylko ludzie z łapanki, którzy coś tam może wiedzą, ale niekoniecznie tyle, żeby wypowiedzieć się o tych projektach, za to którzy skuszą się na te parę złotych. W trakcie wywiadu będą natomiast skłonni tak odpowiadać, żeby nie dać moderatorowi poczuć, że zmarnował pieniądze. Tak to działa i jest to mechanizm dobrze udokumentowany w badaniach nad badaniami.
Cała trudność w tego rodzaju badaniach społecznych polega na tym, żeby zrekrutować ludzi, którzy mają wystarczająco szeroką wiedzę i doświadczenie, żeby kompetentnie się na jakiś temat wypowiedzieć i dać możliwie szeroki ogląd jakiejś sprawy. W konsultacjach dodatkowo chodzi o ludzi faktycznie zainteresowanych jakimś projektem decyzji, a nie takich którzy za 70 czy 200 złotych przeczytają dokument.
Nie chodzi o to, żeby „stuknąć” pięć focusów po dwanaście osób, ale o to, żeby zorganizować nawet jedno czy dwa spotkania z dobrze dobranymi zainteresowanymi uczestnikami, które wniesie coś do decyzji.
A informacja na przykład o niskiej frekwencji na takich spotkaniach konsultacyjnych też jest informacją istotną.
Pojawiły się również zarzuty związane z procesem rekrutacji…
– No właśnie, z relacji można odnieść wrażenie, że była robiona na łapu-capu. Zaproszenia szły z niewielkim wyprzedzeniem. W rozmowach z potencjalnymi uczestnikami wprost wskazywano na trudności w znalezieniu innych uczestników i uczestniczek… To wszystko nie wygląda profesjonalnie.
Badania jakościowe tylko na pozór wydają się łatwiejsze w realizacji niż ilościowe – łatwo odnieść wrażenie, że prościej jest zrobić kilkanaście wywiadów czy dwa fokusy, niż tysiąc wywiadów kwestionariuszowych. Ale żeby takie badania miały sens, muszą być dobrze przemyślane – trzeba zastanowić się nad tym, kto ma w nich uczestniczyć. Nie tak łatwo sformować dobrą grupę uczestników zogniskowanego wywiadu grupowego, dobrać dobrego moderatora i sprawić, że ludzie będą żywo dyskutować, a nie odpowiadać na rundki pytań. A tu dodatkowo zdaje się, że osoby były często zapraszane z zupełnie nieformalnego klucza – bo ktoś komuś szepnął, że może byłoby warto kogoś zaprosić. Ani to standard dobrych badań, ani konsultacji. Warto też podkreślić, że ostatecznie w konsultacjach chodzi o to, żeby ludzie mieli poczucie, że nawet jeśli decyzja ostatecznie nie do końca była po ich myśli, to brali udział w jej projektowaniu. Wówczas akceptacja jest dla niej silniejsza. Jeśli konsultacje są źle przeprowadzone efekt będzie odwrotny i dwa razy bardziej zniechęcający.
„Prowadzący nie był obiektywny” – relacja osoby uczestniczącej w zogniskowanym wywiadzie grupowym na temat projektów rozporządzeń
W mojej grupie focusowej było niecałe 10 osób. Większość z nich była z organizacji, byli również urzędnicy z administracji lokalnej i centralnej. Dostaliśmy informację, że grupa uczestnicząca w drugim spotkaniu tego dnia w naszym mieście była mniej liczna.
Prowadzący spotkanie rozpoczął od bardzo wyraźnego stwierdzenia, że ich firma nie ma nic wspólnego ani z Fundacją Republikańską, ani z Ministerstwem.
Następnie zapytał, jak ogólnie podobają nam się zmiany. Zapytany, o jakie dokładnie zmiany mu chodzi, doprecyzował, że na przykład o nasze zdanie na temat Narodowego Instytutu Wolności. Padały opinie, że panuje chaos i bałagan, że brakuje kompetentnych ludzi w zespole NIW, że może i chcieliby pomóc organizacjom, ale nie wiedzą, jak, bo często są świeżymi pracownikami, a ludzie z organizacji wiedzą więcej od nich. Grupa była raczej zgodna w tej kwestii (łącznie z osobą, która przedstawiła się jako pracująca w administracji rządowej).
Można było odnieść wrażenie, że są to w większości pracownicy organizacji niższego szczebla, którzy są bardzo zaniepokojeni zmianami dotykającymi NGO – padały opinie w rodzaju: „zawsze było kolesiostwo, ale czegoś takiego, jak teraz, to jeszcze nie widzieliśmy”. Przedstawiciele organizacji mówili również, że boją się o swoją przyszłość, bo nastawienie do organizacji nie jest dobre. Grupa bardzo otwarcie mówiła o swoich obawach i odczuciach.
Niepokojące, że można było odnieść wrażenie, że jeden z prowadzących nie jest obiektywny.
Na przykład, gdy padała nieprzychylna opinia na temat profesora Glińskiego, zaczynał go bronić, mówiąc coś w stylu: „no już dajcie spokój Glińskiemu, przecież to socjolog, nasz kolega po fachu”. To powodowało, że grupa mogła zatrzymać się w swoich opiniach. Albo gdy uczestnicy mówili o tym, że są w tej chwili organizacje, które mogą liczyć na środki, i takie, które tych środków nie dostaną, to prowadzący komentował mniej więcej: „ale to tylko teraz tak jest, czy tak było zawsze?”. Tego typu zachowania prowadzącego powodowały, że należało się skupić nie tyle na wyrażaniu opinii, które po prostu zostają zarejestrowane, ale na obronie własnego zdania.
Jeśli chodzi o konsultacje dokumentów, to pokazane nam zostały szczegółowo wszystkie zmiany i wypowiadaliśmy się na temat ich zasadności oraz proponowaliśmy własne zapisy. Były niestety takie momenty, w których prowadzący sugerował odpowiedź, a nawet przeinaczał fakty. Na przykład w pozycji formularza oferty: „syntetyczny opis” zasugerował wprowadzenie limitu znaków. Nie spotkało się to z moją zgodą. Po paru chwilach powiedział, że z moich ust padła sugestia wprowadzenia limitu znaków. Potrzeba było ostrego zaprzeczenia i uzasadnienia mojego odmiennego zdania.
Formułowane również były obawy, że wszystko dzieje się na ostatnią chwilę – wciąż jesteśmy w procesie konsultacji, a już za chwilę będziemy używać nowych wzorów. Prowadzący skomentował to, wyraźnie bagatelizując obawy. Powiedział coś w stylu: „ale będą państwo rodzicami chrzestnymi tego przedsięwzięcia!”. W odpowiedzi usłyszał, że lepiej byłoby, gdyby to była jednak bardziej zaplanowana ciąża.
Trudno mi ocenić, czy powyższe zachowania prowadzącego były zamierzone, czy też nie (być może ma po prostu taki sposób prowadzenia spotkań albo trudno jest mu ukryć swoje zdanie na dany temat), ale w moim odczuciu, nie powinny mieć miejsca.
W trakcie spotkania konsultacyjnego rolą moderatora jest zebranie opinii, a wszelkie sugerowanie odpowiedzi jest niedopuszczalne.
Na szczęście grupa była na tyle otwarta i pewna swego zdania, że wyrażała swoje opinie bardzo jasno i dobitnie. Natomiast, co smutne, pojawiły się kilkukrotnie stwierdzenia typu: „nie wiadomo, kto jutro zastuka do naszych drzwi”, albo: „jeśli moje dzisiejsze opinie wydostaną się z tego pokoju, to mogę mieć kłopoty”.
Tak prowadzone konsultacje nie dadzą żadnej pogłębionej wiedzy o tym, co ludzie sądzą o projektach rozporządzeń.
