Mida rohkem, seda uhkem. Mitmest intervjuust piisab?

Kvalitatiivsete uuringute tegijad imiteerivad järjest rohkem kvantitatiivset paradigmat, kvantifitseerides kvalitatiivse, püüdes oma uuringuid müüa võimalikult suurte ja eripalgeliste valimitega.

ENELI KINDSIKO, HELEN POLTIMÄE

Teadusmaailmas domineerib kvantitatiivne uurimisviis ning suur osa ajakirjade retsensentidest ja toimetajaskonnast on samuti kvantitatiivse koolkonna esindajad. Seetõttu rakendavad retsensendid tihtipeale ka kvalitatiivse uuringu hindamisel alateadlikult või teadlikult kvantitatiivsele uuringule omaseid kvaliteedikriteeriume ja isegi sõnavara (nt eeldatakse hüpoteeside testimist, heidetakse ette valimi väiksust).¹ Seega pole ka ime, et suur osa avaldatud kvalitatiivsetest uuringutest püüab meeleheitlikult kvantitatiivset uuringut imiteerida – selline on ju ootus.² Kõige ilmsem näide kvalitatiivsete uuringute kvantifitseerimisest on see, kuidas aastate lõikes on intervjuude valimid, tehtud intervjuude arv teadusartiklites ebamõistlikult suur.

Intervjuupõhises kvalitatiivses uuringus tekib alati peamine küsimus: kui palju intervjuusid on piisav, et uuring oleks adekvaatne ja usaldusväärne? Teaduskirjanduses on välja toodud vastavalt rakendatud metodoloogiale konkreetsed valimi suurused: 30–60 intervjuud etnograafilise uuringu korral,³ 20–30 intervjuud põhistatud teooria korral,⁴ 6–10 intervjuud fenomenograafilise uuringu puhul.⁵ On lausa soovitatud, et sõltumata metodoloogiast ei tohiks 15 intervjuuga uuringut tõsiselt võttagi.⁶

Seega võtsime põhjaliku vaatluse alla, kui mitmest intervjuust piisab, et avaldada tipptasemel teadusajakirjades intervjuupõhine artikkel. Kuna teadusmaailmas on valdkonniti uurimispraktikad üsnagi rajasõltuvad, kitsendasime tähelepanu organisatsiooniuuringutele ja juhtimisteadusele, kus sotsiaalteadustele omaselt võib eeldada keskmisest paremat kvalitatiivsete uuringute aktsepteerimist.

Võtsime sihikule teadusajakirjade tippude tipud organisatsiooniuuringute ja juhtimise valdkonnas – ajakirjad, kus avaldamisest unistavad mitte ainult doktorandid, vaid see on ka professorite karjääris tugev kvaliteedimärk. Tippajakirjades avaldatud artikleid nimetatakse akadeemilisel tööturul uksi avavateks artikliteks (job market paper). Seega on igati mõistlik analüüsida, milline peab üks kvalitatiivne uuring olema, et see avaldataks nii kõrgel tasemel ajakirjas.

Kvaliteedi näitajana on teadusmaailmas veel laialdaselt kasutusel mõjukuse määr (impact factor) – kui sageli antud ajakirjas avaldatud artikleid viidatakse –, mis näitab, milline on konkreetses ajakirjas avaldatu mõju teaduses. Analüüsitud kuue tippajakirja puhul on mõjukuse määr oma valdkonna tavaajakirjadest mitu korda kõrgem (vt tabel 1).

Võtsime vaatluse alla kuues ajakirjas 11 aasta jooksul (2007–2017) avaldatud ja intervjuu meetodit rakendanud artiklid, kokku 855 artiklit.

Kas üle 100 intervjuu ongi uus norm?

Mediaanintervjuude arv analüüsitud artiklites on 30–50, ent tippajakirjades on avaldatud ka äärmuslikult suure valimiga artikleid. Üks sellekohaseid näiteid intervjuupõhisest uuringust on 2007. aastal tippajakirjas avaldatud artikkel, kus esitleti ligi 600 intervjuu tulemusi. Artiklisse süüvides selgus, et kokku olid liidetud kolmel teemal ja eri aastatel tehtud projekti intervjuud.⁷ Eriti ilmekaks näiteks teeb selle uuringu asjaolu, et autorid põhjendavad valimi suurust kvantitatiivsele uuringule sobiva sõnavaraga: „…[3 intervjuude komplekti] kombineerimine loob suurema valimi ning mitmekesisuse, s.t andes mitte ainult mitmekesisuse regioonide, tegevusvaldkondade, vaid ka ettevõtte tüüpide lõikes“.⁸

Kuid kvalitatiivsete intervjuude eksperdid on hoiatanud, et üle 50 intervjuuga uuringute puhul on raskusi tagamaks analüüsi kvaliteet ja sügavus, sest kvalitatiivse info hulk paisub liiga suureks. ⁹

62% artiklitest on kirjutatud kokku enam kui 30 intervjuu põhjal, 34% enam kui 50 ja 8% enam kui 100 intervjuu põhjal. Need üle 100 intervjuuga artiklid on üldjuhul aastaid kestnud korduvate intervjuuvoorudega uuringud, mis hõlmavad mitut riiki ja on valminud grandiraha toel. Just viimane asjaolu – grandiraha eest tehtud uuringud on tavatult suurte valimitega – tekitab küsimuse, kas selline ongi grandipõhise teaduse tulem. See tähendab, et grandipõhine rahastus kujundab vaikselt ümber teadustöö metodoloogiat, praegusel juhul ootusi intervjuude arvule.

Kõige enam avaldatakse artikleid, kus valimi suuruseks on 21–30 intervjuud (19% artiklitest), 31–40 intervjuud (15%) ja 11–20 intervjuud (14%). Valdav osa artiklitest põhineb siiski 11–60 intervjuul (72%).

Huvitav statistika: enim levinud on intervjuude valimid, mis lõpevad 0ga, näiteks 20, 30, 50 või 100 intervjuud (tabel 2).

Selline 0ni ümardamine on ka varem silma torganud. Näiteks tuli 560 intervjuu meetodit rakendanud doktoritöö analüüsist välja, et doktorandid esitavad enim 10, 20, 30 ja 40 osalejaga valimeid.¹⁰ Ja 20% valimitest lõppes 0ga, ümmargused valimid on moes.

Ajakiri	Väljaandev riik	Mõjukuse määr Scopuses (2021)
Administrative Science Quarterly	USA	16,8
Journal of Management Studies	Suurbritannia	9,21
Organization Science	USA	6,2
Organization Studies	Suurbritannia	8,2
Human Relations	USA	8,5
Human Resource Management	USA	8,4

Tabel 1. Analüüsitud ajakirjad      Allikas: Eneli Kindsiko

Intervjuude valimi viimane number	Osakaal
0	17%
1	9%
2	12%
3	6%
4	10%
5	11%
6	11%
7	7%
8	10%
9	7%

Tabel 2. Millise numbriga lõpeb intervjuude valim?       Allikas: Helen Poltimäe

	Valimi koosseis
	Homogeenne	Semihomogeenne	Heterogeenne
<20 intervjuu	74%	21%	5%
20-30 intervjuud	12%	57%	31%
>30 intervjuu	3%	17%	80%

Tabel 3. Valimi koosseis intervjuude arvu lõikes      Allikas: Helen Poltimäe

Kas küllastumispunkt on põhitähtis?

Intervjuupõhiste uuringute kuldreegel on tagada selline intervjuude arv, mille puhul uurija jõuab info küllastumispunktini, teisisõnu, iga järgnev intervjuu kordab juba leitud infomustreid ega lisa märkimisväärselt uut infot. Kvalitatiivse uuringu eesmärk on hoida valimi koosseis teatava määrani üsna sarnane, sest nii on võimalik saavutada küllastumispunkt, kus info hakkab korduma ja mustreid moodustama, ka mõistliku arvu intervjuude juures.¹¹ Seega saame rääkida valimi homogeensusest (intervjueeritavad on parameetritelt sarnased) või valimi heterogeensusest (intervjueeritavad on küllaltki erinevad). On imekspandav, et 855 uuringu seas vaid 10% mainib üldse küllastumispunkti.

Homogeensete valimite puhul on mediaanintervjuude arv 18, kuid semiheterogeense valimi puhul on see 35 ning heterogeense valimi puhul koguni 59. See viitab tugevale suundumusele, et teadusmaailmas on liigutud kvalitatiivsete uuringute kvantifitseerimise suunas. Mida enam valimi suurus kasvab, seda sagemini tuleb see vastajate sarnasuse arvelt. Samal ajal on vastajate sarnasus see, mis võimaldab mõistliku aja ja intervjuude arvu järel jõuda info kordumise, küllastumispunktini.¹²

Murelikuks teeb, et küllastumispunkti mainitakse valdavalt möödaminnes, ilma põhjendamata, selgitamata. Justkui oleks tegemist nn kohustusliku lausega, mida retsensendid eeldavad ja ootavad – seega lisame! Väga suurte valimite puhul on mõistlik intervjueeritavad gruppidesse jagada ja teatada küllastumispunkti saavutamisest konkreetse valimigrupi puhul, mitte aga väites, et 600 intervjuu puhul saavutati küllastumis­punkt.

See, mil viisil on teadusartiklites kvaliteedikriteeriume (nt küllastumispunkti) esitama hakatud, näitab kvalitatiivse intervjuupõhise meetodi devalveerumist. Küllastumispunkt kui praktiline tööriist on paljudes tipptaseme ajakirjades muutunud sisutühjaks.

Kas on ka tähtis, keda intervjueeritakse?

Valimi koosseisu võivad kujundada mitmesugused parameetrid: demograafiline, füüsiline, psühholoogiline, kogemuslik ja geograafiline sarnasus jms. Jagasime 855 artikli valimid koosseisu alusel kolmeks: homogeenne, semi-homogeenne ja heterogeenne.

Mida väiksem valim, seda sarnasem on intervjueeritud inimeste koosseis, seda homogeensem on valim. Alla 20 intervjueeritavaga valimid on sageli näiteks ühe ametiala esindajad, sama ettevõtte töötajad jne.

Kas maksnu saab suurema valimi?

Sageli eeldatakse juba grandi taotlemise ajal, et uurijad teatavad, kui mitu intervjuud on neil plaanis teha. Meie analüüs näitab selgelt, et grandirahastusest sõltumine mõjutab ka kvalitatiivseid uuringuid. Õigupoolest on grandirahastuse mõju, eeskätt mõju oodatavale valimi suurusele ka kirjanduses välja toodud – uurijad, kes uuringut planeerivad, peavad täpselt granditaotlusse kirja panema, mitu intervjuud ja millise personalikulu eest nad seda teevad.¹⁶ Meie analüüsist tuleneb, et grandirahastusega tehtud artiklid on suurema valimiga: kui rahastust on mainitud, on valimi suurus keskmiselt 50, kui aga rahastust pole mainitud, on keskmiseks valimi suuruseks 42. Sealjuures 56% nendest uuringutest, kus valim on 100 või suurem, on maininud grandirahastust.

See tulem on täiesti loogiline – konkurents teadusrahastuses on karm ja intervjuupõhistes uuringutes on raske ennustada, milline on mõistlik intervjuude arv, nii et see grandi rahastaja silmis ei oleks alapakkumine.

Mida järeldada?

Tippajakirjade toimetajad tunnistavad, et läbi ajaloo on teatud valdkondades teooria arendamisel kvalitatiivsete uuringute abil kõige suuremaid avastusi tehtud, samal ajal on toimetajad ja retsensendid kvalitatiivseid uuringuid enim kritiseerinud ja neid on raske avaldada.¹⁷ On väga tähtis mõista, kuidas muutused teadustöö tegemise keskkonnas kanduvad ka teadustöö tegemise viisidesse.

Esiteks on valimid intervjuupõhistes uuringutes kaunis suured ja heterogeensed. Üha vähem selgitatakse valimi koostamise põhimõtteid, keda ja miks intervjueeriti. Teiseks on järjest enam näha, kuidas kvalitatiivsete uuringute tegijad püüavad imiteerida kvantitatiivset paradigmat, kvantifitseerides kvalitatiivse, püüdes oma uuringuid müüa võimalikult suurte ja eripalgeliste valimitega. Suure panuse selleks annab teadusrahastusalane konkurents – see, millised ootused ja nõudmised tulevad rahastajatelt –, kuid jääb küsimus, kas niimoodi õõnestatakse teadusmetodoloogia alustalasid.

Teadusrahastajate ootust võib tõlgendada, et „rohkem on parem“, kuid see toob valimisse suurema heterogeensuse, kuna homogeense valimi küllastuspunkt saabub kiiremini. Kvalitatiivse uuringu mõte ongi ju avada nähtust sügavuti, väga mitmekesised ja hetero­geensed valimid seda ei võimalda.

Käesolev lühikokkuvõte põhineb Eneli Kindsiko ja Helen Poltimäe 2019. aastal avaldatud teadusartiklil „The Poor and Embarrassing Cousin to the Gentrified Quantitative Academics: What Determines the Sample Size in Qualitative Interview-Based Organization Studies?“.¹⁸

1 Oliver Rudolf Herber, Caroline Bradbury-Jones, Susanna Böling, Sarah Combes, Julian Hirt, Yvonne Koop, Ragnhild Nyhagen, Jessica D. Veldhuizen, Julie Taylor, What feedback do reviewers give when reviewing qualitative manuscripts? A focused mapping review and synthesis. – BMC Medical Research Methodology 2020, 20(122).

2 Robert P. Gephardt, Qualitative research and the Academy of Management Journal. – Academy of Management Journal 2004, 47(4).

3 Janice M. Morse, Designing qualitative research. In Y. S. Lincoln, N. K. Denzin (Ed.), Handbook of Qualitative Inquiry. Menlo Park, Sage 1994, lk 220–235.

4 Kathy Charmaz, Constructing Grounded Theory. Thousand Oaks, Sage 2006.

5 Helene Starks, Susan Brown Trinidad, Choose your method: A comparison of phenomenology, discourse analysis, and grounded theory. – Qualitative Health Research 2007, 17, lk 1372–1380.

6 Daniel Bertaux, From the life-history approach to the transformation of sociological practice. In Daniel Bertaux (Ed.), Biography and society: The life history approach in the social sciences. London, Sage 1981, lk 29–45

7 Gregory Schwartz, Leo McCann, Overlapping effects: Path dependence and path generation in management and organization in Russia. – Human Relations 2007, 60(10), lk 1525–1549.

8 Samas lk 1530.

9 Margarete Sandelowski, Sample size in qualitative research. – Research in Nursing & Health 1995, 18(2), lk 179–183.

10 Mark Mason, Sample Size and Saturation in PhD Studies Using Qualitative Interviews [63 paragraphs]. – Forum Qualitative Sozialforschung / Forum: Qualitative Social Research 2010, 11(3).

11 Barney G. Glaser, Anselm L. Strauss, The discovery of grounded theory: Strategies for qualitative research. New York, Aldine de Gruyter 1967.

12 Kimball A. Romney, Susan C. Weller, William H. Batchelder, Culture as consensus: A theory of culture and informant accuracy. American Anthropologist 1986, 88(2), lk 313–338.

13 Elaine Farndale, Jaap Paauwe, Shad S Morris, Günter K. Stahl, Philip Stiles, Jonathan Trevor, Patrick M. Wright, Context-bound configurations of corporate HR functions in multinational corporations. – Human Resource Management 2010, 49(1), lk 45–66.

14 Tsedal B. Neeley, Language matters: Status loss and achieved status distinctions in global organizations. – Organization Science 2013, 24(2), lk 476–497.

15 Luc K. Audebrand, Marcos Barros, All equal in death? Fighting inequality in the contemporary funeral industry. – Organization Studies 2017, 39(9), lk 1-2.

16 Greg Guest, Arwen Bunce, Laura Johnson, How many interviews are enough? An experiment with data saturation and variability. – Field Methods 2006, 18(1), lk 59–82.

17 Michael G. Pratt, Fitting oval pegs into round holes: Tensions in evaluating and publishing qualitative research in top-tier North American journals. – Organizational Research Methods 2008, 11(3), lk 481–509.

18 Eneli Kindsiko ja Helen Poltimäe, The Poor and Embarrassing Cousin to the Gentrified Quantitative Academics: What Determines the Sample Size in Qualitative Interview-Based Organization Studies? – Forum Qualitative Sozialforschung Forum: Qualitative Social Research 2019, 20(3).