Ibland kritiseras olika tester och metoder som är populära på fältet av forskare. Ett aktuellt exempel på detta kom förra veckan där P4 Värmland avslöjade att en kommun använt ett test baserat på DISC-modellen för rekrytering.

Ofta handlar kritiken om att försäljarna lovar saker man inte kan hålla och därmed sysslar med falsk marknadsföring. Grunden till detta är att det delvis, eller helt, saknas vetenskapligt stöd för de argument man bygger sitt test eller metod på, men att man ändå hävdar att testet och metoden lutar sig mot forskning. Detta är även definitionen på pseudovetenskap.

Det vanliga scenariot har varit att de som säljer testerna och metoderna (t ex företag), försäljarna av pseudovetenskap, duckar för kritiken, ligger lågt och väntar till det hela blåst över. Sannolikt är detta en klok strategi då man oftast helt saknar sakargument i debatten.

Men, det händer att man faktiskt försöker försvara sig själva och sitt levebröd. De argument man då använder är intressanta och viktiga att lyfta upp och granska då det sannolikt är samma, eller liknande, argument man även använt för att sälja in sin metod i första läget.

Det är även dessa argument som de som köpt in metoden eller testet, och som därmed har en känslomässig, prestigemässig och ekonomisk investering i testet, ivrigt kommer ta till sig och använda, inåt och utåt, för att rättfärdiga att man köpt in, använt och trott på metoden.

Så, hur kan försvaret låta? Och vilka motargument finns, för den som vill motverka att pseudovetenskap används i verksamheter och organisationer och leder till slöseri av redan begränsade resurser?

Låt oss ta ett konkret exempel med testet Thomas PPA som har kommit upp i debatten och i media med jämna mellanrum.

En kort bakgrund. Thomas PPA testet bygger på DISC-modellen. För den som av händelse missat det har DISC-modellen (som även ligger bakom böckerna i serien ”Omgiven av idioter”) av forskare tydligt och kraftigt sågats i ett stort antal uppmärksammade och väl spridda artiklar och granskningar i media de senaste åtta åren. Utgångspunkten för att testet ska fungera och leverera det man utlovar är därmed minst sagt dåligt.

Här är några konkreta exempel på argument som företaget som säljer testet använt tidigare i media (tagna från en artikel från 2016 i Nerikes Allehanda), och som man sannolikt skulle använda även idag (eller varianter på dem). Efter argumenten synar jag dem och kommer med svar:

- ”Den vetenskapliga bakgrunden till Thomassystemet är välgrundad.”

Svar: Nej. Absolut inte. Fråga vilken forskare i psykologi som helst. Detta är ingen lös extremåsikt från en rebellisk och extra grinig forskare utan högst sannolikt en samlad professionell bedömning med stark konsensus från i princip en hel yrkeskår.

- ”Tester som bygger på DISC-teorin är bland världens mest använda tester, inte bara i rekrytering men också i ledarskap och andra utvecklingssammanhang.”

Svar: Att testet är välanvänt och populärt säger (tyvärr..) inget om hur bra det är, eller hur vetenskapligt förankrat det är. Jämför gärna med horoskop och en massa andra populära saker som köps, älskas och används trots att det motbevisats av forskning gång efter gång. Att det är så välanvänt säger snarare något om omfattningen av problemet och de samlade resurser som redan slösats.

- ”Thomas PPA har en god prediktiv validitet (Gerrig et al. 2011) samt en hög begreppsvaliditet (Long et al., 2016). Thomas PPA har dessutom en hög test-retest reliabilitet (Gerrig et al. 2011) och det fyra dimensionerna i Thomas PPA, Dominans, Inflytande, Stabilitet och Anpassning har bevisats ha en tydlig faktorstruktur.”

Svar: Här blir det svårt för en lekman utan träning i forskning, (oavsett hur skarp, smart och allmänt beläst man är i övrigt) att sortera då man använder krångliga vetenskapliga begrepp och till och med konkreta referenser på vetenskapliga studier. Intrycket blir att det ser trovärdigt ut och känns tryggt.

Men, skenet bedrar, OM man vet var man ska titta. Granskar man basen bakom argument som dessa lite noggrannare (dvs studierna) så brukar det resultera i en av tre scenarios, framförallt om avsändaren är försäljare av tester och metoder med pseudovetenskaplig grund:

1.     Studierna går inte att hitta, finns inte, är inte publicerade eller granskade, och saknar därmed värde

2.     Studierna finns, är publicerade och granskade, har ok kvalitet, men handlar inte om det man säger och ger därför ändå inget stöd i sak

3.     Studierna finns, är publicerade, och handlar om det man säger, man är av så dålig vetenskaplig kvalitet att det inte går att dra någon slutsats av dem ändå

Oavsett scenario blir slutsatsen samma: trots tjusiga och bländande fackbegrepp så är det tomt prat utan substans och därmed missledande. Falsk marknadsföring, helt enkelt.

I det specifika fallet ovan med Thomas PPA så går inte studierna som hänvisas till att hitta vid en sökning i vetenskapliga databaser (om de finns är de i så fall väl gömda…). Och om de skulle hittas så gäller ändå sannolikt alternativ 2 eller 3 ovan.

- ”Thomas PPA är även granskat av den brittiska motsvarigheten, British Psychology Society (BPS), till STP och har där mycket goda resultat vilket återigen tyder på en god vetenskaplig bakgrund.”

Svar: Fortfarande nej. Detta ändrar inget i sak. Men, här tätnar intrigen igen. Liknande argument har använts av försäljare och förespråkare av andra pseudovetenskapliga tester, och modeller t ex Insights Discovery, där man på hemsidor hävdat att man är granskad och svanmärkt av externa kvalitets-säkringsorgan med (synbart) hög trovärdighet.

Ser man på påståendet med vetenskapliga evidensbaserade glasögon blir det hela ett mysterium. En tänkbar förklaring till det är att någon sådan granskning inte finns och argumentet är baserat på en lögn. Men riktigt så enkelt verkar det inte vara, åtminstone i fallet Thomas PPA. Det finns faktiskt en rapport, gjord av British Psychological Society (BPS), från 2022 (se rapporten här). Om man synar denna rapport med vetenskapliga glasögon så blir man dock mest förvirrad och förvånad. De som värderat och granskat verkar inte ha använt samma måttstock som man använder i forskning. Även om man lyfter upp relevanta och tydliga svagheter i det underlag som finns för testet så ger ändå helhelhetsintrycket ett synbart positivt intryck. Man ger t ex testets validitet (en egenskap som handlar om testet mäter det som det avser att mäta) vilket är kärnan i ett test, godkänt betyg (”adequate”, eller två stjärnor) trots att man konstaterar att det saknas information om testets validitet. Den logiska slutsatsen borde därmed vara antingen att testet inte verkar mäta det som det avser, eller att det inte går att uttala sig om det baserat på bristande information. Men så ser det nu inte ut.

Här finns ett uppenbart glapp som är svårt att förklara. Anledningarna bakom glappet mellan forskningens samlade bedömning och de som granskat testet för BPS går bara att spekulera i. Den mest troliga förklaringen är att de som granskat inte själva forskare och inte tränade i hur man värderar forskning och därmed inte kompetenta att göra granskningen. Kanske har de inte haft tillräckligt med resurser och tid att göra ett noggrant och bra jobb.  Kanske är de (av olika anledningar) inte motiverade att göra en noggrann granskning och bedömning. Kanske har man i BPS inte som avsikt att utgå från vetenskapliga kriterier i granskningen utan nöjer sig med andra kriterier (t ex hur lätt testet är att förstå och använda), vilket i så fall självklart borde framgå.

En intressant detalj i sammanhanget är just att man i rapporten verkar lägga mest krut och vikt vid saker som t ex hur lätt testet är att fylla i och hur tydlig manualen är. Även om sådana detaljer kan vara av vikt så förutsätter de att testet faktiskt är stadigt byggt på befintlig kunskap och att det mäter det som man avser att mäta. Annars blir de ganska meningslösa att bedöma.

Ett test som ska mäta horoskop kan t ex vara lätt att fylla i och även ha en tydlig manual utan att testet har något värde alls då det ändå inte mäter något meningsfullt och inte bygger på tillförlitlig kunskap om hur vi faktiskt fungerar.

Med sin skakiga grund kopplad till DISC och en påtagligt bristfällig information om dess validitet borde en rimlig och enkel slutsats vara att Thomas PPA testet inte är att rekommendera. Åtminstone om vi ska granska det med vetenskapliga glasögon, vilket både BPS rapporten och försäljarna av testet ger intryck av att vilja.

För att ta en idrottsmetafor, man verkar vilja spela tennis (dessutom på högsta Grand Slam nivå), men struntar sedan i reglerna, eller tänjer på dem lite som man vill.

Å andra sidan, trots det märkliga resonemanget och slutsatsen kring testets validitet så avråder man i rapporten från BPS ändå tydligt från att använda testet för de syften som det trots allt ofta används för, t ex rekrytering. Man skriver bland annat i slutbedömningen att de rapporter man får som beställare när man gjort PPA testet: ”… have the potential to provide misleading information that people may act upon.”. Informationen man får efter att ha gjort PPA testet riskerar att ge missledande information som människor sedan kanske dessutom agerar på. I nästa mening avråder man dessutom tydligt från att använda testet vid rekrytering då det kan leda till felaktiga beslut.

Med andra ord, hur man än vänder och vrider, och även om man läser med färgade och välvilliga glasögon, så finns här i denna rapport inget stöd att luta sig mot.

Kontentan av hela denna punkt är att det inte spelar någon roll om man hävdar att man är granskad och godkänd av externa parter när granskningen i sig är av så tveksam kvalitet och därmed inte lever upp till den externa partens goda och tillförlitliga rykte. Och när granskningen, trots de märkliga slutsatser som dras, ändå så tydligt pekar på problem och tydligt avråder från att använda testet just för de syften som testet sedan säljs in för och som det används för på fältet, t ex rekrytering.

Caveat emptor…

Vilka slutsatser kan vi då dra av detta? När vi lyckats se igenom alla rökridåer och lager av ”snacka-snyggt” så återstår inte mycket av substans till försvar för pseudovetenskapliga tester och metoder. Argumenten är en illusion; en ofta skickligt retoriskt uppbyggd illusion som är svår att se igenom. Men trots allt bara ett luftslott som försvinner om man puffar på det från rätt håll, med rätt verktyg.

Kanske är det dags att damma av den gamla hederliga frasen ”caveat emptor”. (In)köpare, se upp med vad ni lägger organisationens resurser på och vad ni tar in. Kostnaderna kan bli större än vad ni tror. Har ni råd med det?

‍