Téma má přidělen: — Martin Malec 2014/01/02 17:02

Prohlašuji za hotové, pokud při učení narazíte že tam něco chybí nenechávejte si to pro sebe, aktualizujte stránku sami a dejte nám ostatním nějak vědět:))

Přehled výkonových testů a osobnostních dotazníků užívaných pro diagnostiku schopností, dovedností a osobnostních charakteristik za účelem personálního výběru. Možnosti a limity testování. Omezení sebeposuzovacích metod. Psychologické aspekty online testování. Predikování pracovního chování na základě výsledků testů. Prediktivní validita a reliabilita testů užívaných při výběru pracovníků.

U tohoto tématu student/-ka představí odbornou empirickou studii zjišťující prediktivní validitu vybraného výkonového testu nebo osobnostního dotazníku při predikování pracovní výkonnosti. Bude umět do hloubky uvažovat nad příčinami zjištěné souvislosti mezi výsledkem v daném testu/dotazníku a mezi skutečnou pracovní výkonností.

1. Furnham, A., & Chamorro-Premuzic, T. (2010). The Psychology of Personnel Selection. New York: Cambridge University Press (strany 102 – 157, 170 – 174).
2. Leary, M. R. & Hoyle, R. H. (2009). Handbook of Individual Differences in Social Behavior. New York: The Guilford Press (strany 36 – 39, 49 – 52, 135 – 137, 259 – 266, 371 – 375).
3. Svoboda, M., Humpolíček, P. & Šnorek V. (2013). Psychodiagnostika dospělých. Praha: Portál (strany 21 – 34 a vybrané kapitoly o výkonových a osobnostních testech užívaných za účelem personálního výběru).

download: vykonove_a_osobnostni_testy

Manuály vybraných výkonových testů a osobnostních dotazníků užívaných za účelem personálního výběru, např.

1. Test struktury inteligence
2. Test pozornosti d2
3. NEO pětifaktorový osobnostní inventář,
4. Dotazník interpersonální diagnózy ICL
5. Dotazník motivace k výkonu LMI (Svoboda, str.429+)
6. aj.

Neopisuju tady jak přesně ty testy vypadají, od toho je předmět psychodiagnostika, a všechno z toho je ve Svobodovi.

Využití psychometriky jako takové je Evropě až na výjimky poměrně málo časté, liší se hodně v jednotlivých zemích:

• WAIS-III, WAIS-IV (Wechslerovy testy, 1997, 2008)
• IST-2000R - Test struktury inteligence (Amthauer)
• WJ III/WJ-IE (Woodcock-Johnson 1977-2001)

Málokdy testy schopností predikují víc než z 30 % skutečný rozptyl v prac.výkonu. (Schmidt & Hunter, 1998)

• paměťové testy (Wechsler,…)
• škály potenciálu pro práci se zákazníkem (SKASUK)

• LMI Dotazník motivace k výkonu (Schuler, Prochaska) (Testcentrum 2003): „osobnostní dotazník, určený k měření obecně pojatého konceptu motivace k výkonu v profesním kontextu“. Motivace k výkonu = podíl osobnosti na vlastní výkonnosti. 14 škál, 170 položek, 7stupňová Likertova škála. České normy 2011. Škály: Nebojácnost (nejvíc odpovídá nízkému Neuroticismu v Big5), Flexibilita, Samostatnost, Preference obtížnosti, Důvěra v úspěch, Dominance, Cílevědomost, Ochota učit se, Soutěživost, Kompenzační úsilí, Angažovanost, Hrdost (na výkon), Orientace na status, Flow, Internalita, Vytrvalost, Sebekontrola (tyto dvě poslední odpovídají Svědomitosti u Big5). Popisy škál.
  • Svoboda, str.429+
  • vhodný pro výběrová řízení, v rámci personálního rozvoje, při volbě povolání.. podle manuálu je potřeba odpovědět na případné otázky probandů. Nepředpokládá se ale zpětná vazba klienta

(Svoboda str. 418+)

Vychází z teorie stabilnějších osobnostních rysů. Výzkum osobnosti řeší hlavně jaké osobnostní rysy mají být měřeny. Opakovaně se došlo k několik základním, které známe v různých obměnách „Big 5“ (pojem od GOldberga). Byť má Big5 i své odpůrce, je při zkoumání osobnosti kánonem, základem.

• NEO pětifaktorový osobnostní inventář (Testcentrum 2001) 60 položek vychází z NEO-FFI
• NEO osobnostní inventář podle NEO-PI-R (Testcentrum 2004) normy na českou populaci!
• Costa, McCrae - NEO-PI (personality inventory) 1985, NEO-PI-R, NEO-FFI (five factor inventory) 1992

Jiné konstrukty lze často zařadit do těch pěti základních kategorií:

Podle Hogana (1996) nevykazují osobnostní inventáře systematické zkreslení u jiných etnických a národnostních skupin, či tělesně hendikepovaných. Jejich spojení s inteligenčním testem ale neodstraňuje „negativní dopad“ (adverse impact) vyplývající z „3krát g“ (viz níže).

NEO / jiné BIG-5 - poskytuje pracovním psychologům a výzkumníkům univerzální jazyk pro porovnání mezi případy, studiemi ap. Prediktivní síla Big 5:

Nejdůležitějším faktorem je svědomitost, která je nejsilnějším prediktorem hned po IQ, zahrnuje spoustu věcí:

• IQ (GMA) říká co lidi „mohou zvládnout“ ale svědomitost říká co lidi opravdu udělají, nejvíc se to pozná když chybí silná vnější motivace.
• svědomitost ale slabě koreluje negativně s IQ - kompenzační funkce svědomitosti
• svědomití lidé méně: chlastají, fetují, jsou silniční piráti, používají násilí. (Svědomitost v tomto smyslu bude téměř opakem „vyhledávání vzrušení“ (sensation seeking))

• pokud jedinec chápe důsledky nebezpečného chování (vyšší IQ) ale stejně si nemůže pomoct (slabá síla ega, svědomitost) tak může být „svědomitost“ lepším prediktorem pracovního vhodnosti/výkonu než IQ…

Ostatní faktory big5

• neuroticismus: významný u práce v stresujících podmínkách, nízký neuroticismus = emoční vyrovnanost
• extraverze: interpersonální kompetence výhodné u manažerských a obchodnických pozic, velmi dobré když je zároveň spojena s emoční stabilitou (nízkým neuroticismem).
  • extraverzi lze vnímat i jako tendenci k prožívání příjemných emocí (Watson a Clark 1997), extroverti jsou šťastnější než introverti
• příjemnost: důležité u pozic vyžadujících interpersonální interakci: zákaznická podpora
  • jak měřit? nejčastěji sebeposouzením (selfreport), dále pozorováním; dokonce ji lze manipulovat experimentálně jako nezávislou proměnnou.
  • nástroje pro sebeposouzení: Big Five inventory, Personality Item Pool - jedna z verzí NEO.
• otevřenost („Faktor 5“), nejméně jasný faktor z Big5 (co to vlastně znamená?) , smysluplná asi jen u uměleckých a kreativních pozic, jinde smíšené výsledky; ovlivňuje ale úspěch výcviku/tréninku
  • buďto otevřenost k druhým lidem - projevovaná verbální zdatností, humorem, vyjadřováním emocí v soc.vztazích.. nebo otevřenost novým zkušenostem (obecnější)

Omezenost Big5 a částečně i jiných inventářů

• hrozí podvodné odpovídání, které se skutečně děje, lze je v cca 40% případů odhalit i omezit
• „nízká validita“, rysy vysvětlí maximálně 15 % rozptylu prac.výkonu, přesto se hodí pro doplnění

• Minnesotský inventář - MMPI-2 (viz Svoboda, str.386+) současná verze z r. 1989, 567 položek, sejmutí trvá přes hodinu,… spousta škál, existují i zkrácené verze
• 16 PF-5 (Cattel), (Svoboda str.402+)
• Leary - ICL (viz Svoboda, s.370+). 1956-57. 4 kritéria maladaptace (umírněnost/intenzita, flexibilita/rigidita, stabilita/oscilace, přesnost+přiměřenost), 5 úrovní interpersonálního chování: veřejná komunkace, vědomá komunikace, psychické soukromí, nevědomá rovina, hodnoty a ideální já. Výsledkem je 16 kategorií.
• Jenkins Activity Survey - 1964, 3 faktory: hard, job, speed (viz Svoboda, str.353-4)
• Gordonův osobnostní profil - inventorium - GPP-I (Svoboda, str.367): cca 25 min., nucená volba ze tří výroků, volí se nejvíce a nejméně odpovídající výrok. Čtyři aspekty osobnosti: převahu, zodpovědnost, sociabilitu, emoční stabilitu. „primárně určen pro oblast psychologie práce a organizace - pro výběr, vedení, vzdělávání, či trénink a personální poradenství. České vydání 1999“
• Eysenckův osobnostní dotazník EPI 1964 (Svoboda,. s.382+). Paralelní formy A,B; srozumitelné formulace, zcela nezávislé škály extraverze a neuroticvismu, navíc verifikační škála. Rozšíření - Eysenck Personality Questionnaire EPQ 1975

integrita ~ čestnost, poctivost

• inventáře se snaží nahradit detektor lži který se do r.1988 používal v USA běžně dokud nebyl zakázán, jeho validita je stejně sporná a je u něho spousta false positives

dvě kategorie

1. podobné osobnostním testům, výhodou je že i když jsou postavené na self-reportech, nemusí být probandovi jasné co měříme a tak nemá co zkreslovat (nebo zkresluje něco jiného než měříme)
2. zjevné
   1. popsat své vlastní minulé chyby („kolikrát jste něco ukradl minulému zaměstnavateli“, „předstíral jste někdy že jste nemocný“) - jdou přímo k tomu co nás zajímá, ale můžeme pak potrestat ty co byli čestní a přiznali to; v testech máme lžiskóry aby ukázaly nepřirozeně „poctivé“ lidi (předpokládáme že to není možné)
   2. sdělit svůj postoj k vybraným chováním u jiných lidí (např tvrzení „kdokoli co něco ukradne je zloděj a měl by být podle toho potrestán“), předpokládáme vztah mezi postojem k (ne)čestnosti u druhých a vlastní nečestcností; výzkum ale moc tenhle vztah neprokázal
   3. asi největší metaanalýza na osobnostní konstrukty kdy udělaná: Ones, Viswesvaran & Schmidt, 1993 - 665 validizačních koeficientů u víc jak půl milionu lidí: validita pro testy integrity jako prediktoru prac.výkonu 0.25 (očištěná 0.41), pro kontraproduktivní práci 0.27(0.39) ⇒ pokud se tyhle škály přidají k testům IQ je to ideální

• etická pravidla má APA a každá jiná profesní asociace jinde ve světě vč ČR, psycholog i v rámci firemní diagnostiky by se tím nějak měl řídit

• člověk si může vymýšlet ať už do plusu (při testování do práce) nebo do mínusu, proto existují lžiskórové škály (MMPI,…) pro to abychom to mohli snáze rozpoznat.
• měly by se používat v kombinaci s jinou metodou

„V posuzovacích škálách měly být důsledně používány jen kategorie chování, tj. kategorie expresivní formy psychických jevů, nikoliv kategorie psychických procesů a stavů. Extrapolace z expresivní formy psychických jevů na úroveň psychických procesů a stavů může být teprve záležitostí psychologické diagnózy ve druhé fázi procesu posuzování, kdy dochází ke konfrontaci dat získaných posuzovací škálou s daty získanými speciálním psychologickým vyšetřením úrovně a charakteru psychických procesů a stavů i osobnosti v dimenzích její statiky a dynamiky.“ (Kohoutek, 2002)

Svoboda 2013, kap. 6 (s.33nn.)

• klasické testy se dnes vyskytují i v elektronické interaktivní verzi
• některé testy se administrují přes internetě
• některá omezení: fenomén úzkosti při práci s počítačem vyskytující se u některých lidí pro které je nový - který ovlivní výsledek testu, který má měřit něco jiného než toto
  • validita a reliabilita komputerizované verze testu ověřovaného jen v původní tužka-papír verzi není automaticky zaručena!
• výkonové testy tím jsou víc ovlivněné, dotazníky méně, např. MMPI je už ověřené že je ekvivalentní tužkapapír verzi
• online verze jsou pro administrátory výhodné ze spousty důvodů …
• ve firmní sféře se do el.podoby přenášejí i takové věci jako assessment centrum (Motiv P - Virtuální AC), není to sice náhrada AC, ale je to časově náročné, a o člk se firma dozví hodně věcí a relativně levně, čas to stojí jen testovaného (zájemce o práci)
• CAT - computerized adaptive testing - funkce která výrazně rozšiřuje známé přeskakování položek u WISC/WAISu u vyššího věku na to, že se přeskakují položky dynamicky podle struktury odpovědí, aby se testovalo na hranici možností probanda. Test může být kratší a přitom stále přesný

Testy situačního úsudku (Situation Judgment Tests, SJT): „any paper-and-pencil test designed to measure judgment in work settings’ (McDaniel, Morgeson, Finnegan, Campion & Braverman, 2001, p. 730) teoreticky může být i na PC, používá se už desítky let k posouzení jak lidi reagují na modelové situace

• posouzení je zpravidla pro pracovní účely dostatečné
• s kognitivními schopnostmi koreluje jen někdy a u něčeho
• metody skórování: empirické, teoretické, smíšené, expertem, faktoriální, vytváření podskupin
• co vlastně SJT měří? SJT jsou metodou, měří latentní psychologické konstrukty, dřív se to bralo že jde vlastně o zjišťování sociální inteligence, interpersonální kompetence atd, zatímco akademické testy měří inteligenci a to je něco jiného. Ve skutečnosti i výsledky SJT sytí obecný g faktor. Měří se ale i schopnost selského rozumu, zkušenosti a obecné znalosti, nikoli přímo logické myšlení.

Školní známky, celkové skóre (General Grade Point Average, GPA)

• používáno dlouho, ale je vůči tomu hodně kritiky
• hodně zaměstnavatelů na základě výsledného prospěchu odmítá posuzovat uchazeče, někdy se to ignoruje, ukazuje se že někdy jsoudoporučeni i lidi s nižším GPA
• z výzkumného hlediska to ale je důležité - netřeba nic dalšího měřit a máme o člověku ukazatel který se mezi lidmi hodně liší, z toho se dají dělat longitudinální pozorování jak to s čím souvisí atd. Takže má smysl studovat validitu GPA jako prediktoru pracovního výkonu a kariérní úspěšnosti.
• Thorndike už v 1903 oceňoval že vzdělávací instituce nejen že učí, ale ještě lidi hodnotí a označují ty kteří jsou dobří
• Nicholson v 1915 zjistil že úspěšní lidi ve škole pak víc uspějou i v reálném životě a práci. První longitudální výzkum tohoto typu
• Toops a Pintner 1919 potvrdili že úspěšnější lidi ve škole a vzdělanější byli obchodně úspěšnější
• Metaanalýza Bretze z 1989 co srovnával 50 studií od 20. do 70.let aby prozkoumal validitu GPA jako prediktoru úspěšnosti, výsledky se ohromně lišily, velikosti účinku taky, jediné co platilo je že lidi s dobrými známkami na konci VŠ na tom jsou líp. Jako prediktor nástupního platu výsledky před dokončením VŠ nefungovaly, ani jak se bude plat vyvíjet.
• McCleland 1973 zdůrazňoval potřebu sledovat neakademické kompetence k posouzení pracovního úspěchu, masivně znevažované začala být užitečnost IQ a známek s příchodem D.Golemana, jeho kritiky omezenosti IQ a důležitosti emoční inteligence.
• Barrett a Depinet 1991 ale McClellandovy výsledky zpochybnili, známky a IQ úspěch ovlivňují, i s vyloučením sociálního statusu, handicapu menšin ap.
• GPA lze brát jako ukazatel budoucího potenciálu / intelektuální kompetence.

TODO speciální testy inteligence apod.

Chamoro-Premuzic a Furnham

• inteligence ve smyslu GMA jednoznačně predikuje výsledky v práci, není o tom debat, důkazy se o tom vrší od 1.světové války, přesto se inteligenční testy ve výběrových řízeních příliš nedělají resp. se to hodně liší v jednotlivých zemích (a nevypadá to že by na tom stál ekonomický ne/úspěch země, viz Německo na chvostu) (Dany & Torchy, 1994):

• r = 0.72 (50 % rozptylu pracovního zařazení lze vysvětit úrovní mentálních schopností) (Schmidt & Hunter, 2004)
• Nejlepší prediktory vedle GMA: prostorové, mechanické a percepční schopnosti, už v 70. letech existovaly testy pro všechny typy povolání (Ghiselli 1973), inteligence, prostor. představivost apod. hrají roli u vedoucích pracovníků a administrativy, naopak nehrály roli u prodavačů a dělnických profesí; tam měly stále význam osobnostní rysy …
• u vyšších pozic je mnohem menší šance že narazíme na jedince s nízkým IQ než obráceně (u nižších pozic jedince s vysokým IQ). „lenost může jinak zářivé lidi vést k jednoduchým povoláním, ale tvrdá práce může těžko neschopné lidi uschopnit dělat tak komplexní práci ; na vyšších pozicích je značná homogeneita vysokého IQ. Obří meta-analýza 425 studií GMA-prac.výkon (Hunter 1980, 1984) ukázala vztah u všech druhů práce, ale silnější u komplexnějších pozic, novější meta-analýzy to stále potvrzeují (viz Chamorro-Premuzic a Furnham, s.106).

• přesto že GMA je nejlepší prediktor, by se pro některé věci měly používat i další testy které mají svou inkrementální validitu (zejm. pro svědomitost, integritu osobnosti ap.)
• výše uvedené negarantuje longitudinální validitu GMA na predikci pracovního výkonu (kauzalita není korelace;-), ale i na to jsou velmi přesvědčivé výsledky:

• jeden z prvních výsledků: Austin a Hanisch (1990). Testy IQ z dob školy predikovaly výsledky v práci o 11 let později
• Lidé s vyšším IQ tendují k povýšení a obráceně, (Wilk a Sackett 1995), ještě zvýznamněné při porovnání vlastního IQ a průměrného IQ v rámci dané profese a pozice (Wilk a Sackett 1996)
• platí to i při zahrnutí socioekonomického statusu
• úspěch v práci víc závisí na vlastním IQ než na práci rodičů
• nejepší longitudinál: Judge et al., 1999, až 40 let do minulosti: GMA změřené ve 12 letech koreluje s úrovní v práci r=0,51 a příjmem r=0,53 (skoro o 40 let později!), nejbližším dalším prediktorem byla svědomitost z Big 5 a i tam měla o 60 % slabší prediktivní sílu.

• pro přesnou predikci vhodnosti jsoui potřeba specifické kognitivní schopnosti a ne obecná schopnost vyjádřená hodnotou IQ? To by odpovídalo původní Spearmanově konceptualizaci GMA
• průměrný zaměstnavatel asi podceňuje skutečný dopad indiv.rozdílů které ovlivňují prac.výkon, a moc se spoléhá na hodnocení sociálního a ne výkonovéhon chování, ačkoli to sociální moc s produktivitou a výkonem nesouvisí. Snaživci se tolerují byť jejich produktivita je nízká, naopak lidi co jsou nespolehliví, chaotičtí a rozhádaní jsou trestáni byť netto produktivita může být pořád vyšší než těch „hodných“
• 3krát g - general, genetic, group differences (obecné, genetické a skupinové rozdíly) - samá politicky nekorektní zjištění…
  1. krom GMA je náš (ne)úspěch zakódován tak trochu v genech (vysvětlující kolem 25 % - Gottfredson, 2004).
  2. dalším problémem jsou jiné rozdíly v testech u jiných ras kde zbývá stále až 1 směrodatná odchylka u ne-bělochů i při použití culture-fair testů (Gottfredson, 1986, 1988, 2005; Jensen, 1980, 1998)

Sociální důsledky

1. pokud jsou předpoklady víceméně dány a jsou jen málo ovlivnitelné, znamená to že jedinci s nižším IQ jsou odsouzeni a handicapováni už ve chvíli kdy se dostanou do adolescence nebo začnou hledat první práci?
2. pokrok vyžaduje stále inteligentnější lidi, požadavky na prac.pozice jsou stále víc „g-loaded“
3. „je stále těžší pro lidi nižší inteligence víc vydělávat a dostávat se na pozice s vyšším soc.statusem, naopak jsou častěji nezaměstnaní a technologický pokrok je činí zbytečnými, protože je čím dál víc lze nahradit stroji“

• IQ snižuje dokonce i výskyt „kontraproduktivních pracovních chování“ (častější absence, zneužívání firemních zdrojů)
• „workplace deviance“
  • údajně až 200 miliard dolarů roční ztráty jen v USA kvůli tomuhle (Greenberg, 1997; Murphy, 1993; Vardi & Weitz, 2004; Bennett & Robinson, 2000)
• proč? „inhibiční účinky vyššího IQ“ - chytřejší lidi si dokážou předem líp spočítat negativní důsledky svého chování a jednání
• hloupí lidé proti tomu tuhle jasnost postrádají a proto dělají častěji blbosti

• R^2 max cca 15 % rozptylu
• nejvýznamnější je svědomitost z Big5