Miten luovuutta mitataan?
Luovuuden tutkimusta on haitannut hyvien luovuusmittareiden puute. Luvussa 5 käydään keskustelua tutkimuksesta, joka koskee luovuuden testaamisessa käytettäviä aluespesifisiä keinoja. Minun on nyt selitettävä (tavallaan) päinvastoin: mitä luovuuden testaaminen merkitsee aluespesifisyyttä koskevalle tutkimukselle.
Valitettavasti tavat, joilla luovuutta on useimmiten testattu, ja monien luovuustestien tekemät oletukset tekevät näistä testeistä sopimattomia käytettäväksi sen määrittämiseen, onko luovuus aluespesifistä vai yleistä. Vaikka yleisimmin käytetyt testit olisivatkin päteviä, mitä ne suurimmaksi osaksi eivät ole, ne eivät silti olisi käyttökelpoisia arvioitaessa kysymyksiä toimialan yleisyydestä ja toimialaspesifisyydestä, koska ne ovat yksinkertaisesti vääränlaisia testejä. Tilanne on pikemminkin sama kuin joutuisi käyttämään oikeinkirjoitustestiä sen selvittämiseksi, ovatko musiikilliset, matemaattiset, taiteelliset, urheilulliset ja verbaaliset kyvyt yhteydessä toisiinsa. Nämä viisi erilaista kykyä voivat liittyä toisiinsa tai olla liittymättä toisiinsa, ja on olemassa tutkimusasetelmia, joiden avulla voidaan tutkia, millaisia nämä suhteet mahdollisesti ovat. Mutta jopa hyvin tuettu, pätevä oikeinkirjoitustesti yksinään käytettynä ei juurikaan auttaisi vastaamaan kysymyksiin mahdollisista yhteyksistä näiden erityyppisten kykyjen välillä.
Tilanne on vaikea, mutta se ei ole toivoton. Aivan kuten voitaisiin käyttää musiikillisia, matemaattisia, taiteellisia, urheilullisia ja verbaalisia kykyjä koskevien erillisten testien pistemääriä tutkittaessa, millaisia yhteyksiä näiden kykyjen välillä voi olla, on olemassa tapoja arvioida luovuutta eri aloilla, joita voidaan käyttää vastaamaan kysymyksiin, jotka koskevat alojen yleisyyttä/spesifisyyttä. Tarvittavat testit eivät kuitenkaan ole edullisia, helposti toteutettavia ja objektiivisesti arvioitavissa olevia yleisluonteisia aluekohtaisia testejä, jotka ovat pitkään hallinneet luovuuden arviointia.
Ulkuperäistä ajattelua mittaavat testit olivat monien vuosien ajan yleisimmin käytetty luovuuden mittari. Vuonna 1984 tehdyssä katsauksessa, joka koski kaikkea julkaistua luovuustutkimusta, Torrance-testit, jotka eivät ole ainoat käytössä olevat poikkeavan ajattelun testit, mutta varmasti yleisimmin käytetyt, muodostivat kolme neljäsosaa kaikesta luovuustutkimuksesta, jossa oli mukana opiskelijoita, ja 40 prosenttia pienemmästä osajoukosta kaikesta luovuustutkimuksesta, jossa oli mukana aikuisia koehenkilöinä (Torrance & Presbury, 1984). Torrance-testit ja muut divergentin ajattelun testit perustuvat Guilfordin (1956) Structure of the Intellect -malliin, jossa hän väitti, että ”divergentti tuottaminen” – monenlaisten ideoiden ajatteleminen vastauksena avoimeen kysymykseen tai kehotukseen – edistää merkittävästi luovuutta. Määritellessään divergenttista tuottamista (joka tarkoittaa samaa kuin divergentti ajattelu, termi, jota myös Guilford käytti; divergentti ajattelu on nykyään yleisemmin käytetty termi) Guilford erotti selvästi toisistaan divergentin ja konvergentin ajattelun:
Konvergentti-ajattelun testeissä tutkittavan on päätyttävä yhteen oikeaan vastaukseen. Annetut tiedot ovat yleensä riittävän jäsenneltyjä, jotta on olemassa vain yksi oikea vastaus. . . . n esimerkki sanallisella aineistolla olisi: ”Mikä on kovan vastakohta?” Divergentissä ajattelussa ajattelijan on etsittävä paljon, ja usein useat vastaukset kelpaavat tai niihin halutaan useita vastauksia. Jos tutkittavaa pyydetään nimeämään kaikki asiat, jotka hän keksii, jotka ovat kovia, myös syötäviä ja myös valkoisia, hänellä on kokonainen luokka asioita, jotka voisivat kelvata. Juuri divergentti-ajattelun luokasta löytyvät kyvyt, jotka ovat merkittävimpiä luovassa ajattelussa ja keksinnöissä. (Guilford, 1968, s. 8)
Torrance, jonka samannimiset Torrance-testit luovasta ajattelusta ovat itse asiassa divergentin ajattelun testejä (näitä testejä käsitellään tarkemmin myöhemmin), esitti samankaltaisen näkökohdan:
Auktoriteettien avulla tapahtuvaan oppimiseen näyttäisi kuuluvan ensisijaisesti sellaiset kyvyt kuin tunnistaminen, muisti ja looginen päättely – jotka ovat muuten perinteisissä älykkyysosamääritystesteissä ja koulukelpoisuutta kuvaavissa mittareissa yleisimmin arvioitavissa olevia kykyjä. Sitä vastoin luovaan oppimiseen luovan ja ongelmanratkaisutoiminnan kautta tarvitaan tunnistamisen, muistin ja loogisen päättelyn lisäksi . . . . arviointia . . ., erilaista tuottamista . . . . ja uudelleenmäärittelyä. (Torrance, 1970, s. 2)
Kirjallisuudessa mainitaan usein neljä divergenttiin ajatteluun liittyvää näkökohtaa:
–
Fluency (sujuvuus) on tiettyyn ärsykkeeseen annettujen vastausten kokonaislukumäärä, ”minkä tahansa divergenttiin ajattelutehtävään annettujen ideoiden kokonaismäärä”. (Runco, 1999a, s. 577)
–
Originaalisuus on tiettyyn ärsykkeeseen annettujen vastausten erottuvuus, ”tutkittavan tai vastaajan ideoiden epätavallisuus . . .”. (Runco, 1999a, s. 577)
–
Joustavuus on eri kategorioiden tai erilaisten vastausten määrä tiettyyn ärsykkeeseen, tai laajemmin ”muutos jonkin asian merkityksessä, käytössä tai tulkinnassa”. (Guilford, 1968, s. 99)
–
Elaborointi on ideoiden laajentamista tai laajentamista vastauksissaan tiettyihin ärsykkeisiin, ”yksityiskohtien rikkautta tuottamissaan ideoissa”. (Baer, 1997a, s. 22)
Eräässä hiljattain ilmestyneessä luovuuden arviointia käsittelevässä kirjassa näitä havainnollistettiin seuraavalla skenaariolla:
Jos henkilö suunnittelisi sosiaalista tilaisuutta ravintolassa juhlistaakseen erityistä tilaisuutta, hän saattaisi haluta laatia luettelon mahdollisista paikoista. Hän voi laatia luettelon 50 mahdollisesta ravintolasta (korkea sujuvuus), luettelon, joka sisältää ravintoloita, joita hänen ystävänsä tuskin ajattelisivat (korkea omaperäisyys), luettelon, jossa on laaja valikoima erilaisia ravintoloita (korkea joustavuus), tai luettelon, joka sisältää vain intialaisia ravintoloita, mutta jossa luetellaan kaikki mahdolliset tällaiset toimipaikat alueella (korkea elaborointi). (Kaufman, Plucker, & Baer, 2008a, s. 18)
Useimmat varhaiset luovuustestit olivat pohjimmiltaan divergentti-ajattelua mittaavia testejä, joilla ei ollut moniin vuosiin juuri muuta kilpailua kuin toisilleen. Niiden vanhuus on luultavasti yksi syy siihen, miksi testejä on käytetty niin laajalti, mutta niillä oli myös muita etuja. Ne tarjosivat kätevän rinnakkaisen vaihtoehdon yhden numeron älykkyysosamäärätesteille (vaikka niiden kannattajat, mukaan lukien Torrance itse, usein vastustivat tällaista käsitteellistämistä; Kim, Cramond, & Bandalos, 2006); testit ovat helppoja hallinnoida, jopa pienille lapsille; ja ajatus divergentistä ajattelusta, johon ne perustuvat, on helppo ymmärtää, ja se vetoaa vahvasti intuitiiviseen ajatteluun (Baer, 1993; Kaufman ym, 2008a; Kim, 2008; Runco, 1999a; Torrance, 1993; Torrance & Presbury, 1984; Wallach & Wing, 1969).
Divergenttinen ajattelu, joka käsitteellistetään luovan ajattelun yhdeksi osatekijäksi, on edelleen tärkeä käsite luovuuden tutkijoiden keskuudessa, ja se on joidenkin tavallisimpien luovuutta harjoittelevien aktiviteettien perusta (kuten brainstorming, vaikka brainstorming oli muutamaa vuotta aikaisemmin kuin Guilfordin divergenttisen tuotoksen keksiminen; Guilford, 1956; Osborn, 1953). Divergenttiä ajattelua voidaan pitää joko yleisenä tai erityisenä, mutta sen käsitys yleisenä taitona on paljon yleisempi. Siinä määrin kuin luovuus on aluespesifistä, aluespesifiset teoriat divergentistä ajattelusta eivät kuitenkaan voi olla päteviä, vaan ne on korvattava aluespesifisillä versioilla.
Aluespesifinen divergentti ajattelu toimii täsmälleen samalla tavalla kuin aluespesifinen divergentti ajattelu tuottaessaan valikoiman mahdollisia vastauksia avoimeen kehotukseen (ja sujuvuus, joustavuus, omaperäisyys ja yksityiskohtaisuus pysyvät keskeisinä osatekijöinä myös aluespesifisen divergentin ajattelun osalta). Ero on yksinkertaisesti siinä, että divergentin ajattelun taidot, jotka edistävät luovuutta yhdellä alalla, eroavat divergentin ajattelun taidoista, jotka johtavat luovuuteen muilla aloilla (esim, kyky keksiä monia erilaisia ja epätavallisia tapoja selittää murtoluvuilla jakaminen saattaa johtaa luovuuteen matematiikan opetuksessa, mutta sillä ei ole juurikaan arvoa muilla aloilla, kuten kuvanveistossa, musiikin säveltämisessä tai historian opettamisessa).
Koska divergentti ajattelu voidaan käsitteellistää monenlaisina aluespesifisinä taitoina pikemminkin kuin yhtenä ainoana yleisenä aluespesifisenä taitona, aluespesifisyyden hyväksyminen ei edellytä, että luovuuden tutkijat luopuisivat luovuustutkijoista, jotka katsovat, että divergentti ajattelu on tärkeä luovuuden edistäjä. Aluespesifisyys väittää, että divergentin ajattelun yleisten testien käyttö ei voi olla pätevää, mutta aluespesifisiä testejä voidaan silti suunnitella ja käyttää, jos niitä tarvitaan johonkin erityistarkoitukseen, kuten luovuustutkimuksessa. Aluekohtaisuus muuttaa myös tapoja, joilla ihmisiä on opetettava olemaan luovempia, mutta vaikka luovan ajattelun taitoja opetettaisiinkin suoraan, kuten luovuuden harjoittelua käsittelevässä luvussa 6 osoitetaan, divergentti ajattelu voi olla yhtä tärkeää myös aluekohtaisen tulkinnan mukaan; sitä on vain sovellettava hieman eri tavalla, mikä vaikuttaa siihen, millaisia kehotuksia ja harjoittelutoimia valitaan. On luultavasti totta, että jonkinlainen divergentti ajattelu (joko sen yleisessä, toimiala-yleisessä versiossa tai sen uudemmassa, toimiala-alakohtaisessa käsitteellistämisessä) on luultavasti osa luovaa ajattelua – tämä on empiirinen kysymys, jonka vastausta on jonkin verran hämärtänyt oletettavasti (mutta tosiasiassa ei todellisuudessa) toimiala-yleisen divergentin ajattelun harjoittelun ja testauksen käyttö – vaikkei enää näytä todennäköiseltä, että divergenttinen ajattelu olisi ainoa tai ensisijainen osatekijä, kuten joskus aiemmin oletettiin (Amabile, 1996; Kaufman, 2009; Kaufman & Baer, 2005a, 2006; Simonton, 2010a; Sternberg, 1999).
Valitettavasti juuri divergentin ajattelun toimiala-yleinen versio toimii joidenkin yleisimmin käytettyjen luovuustestien perustana. Aluekohtaisuus kyseenalaistaa tällaisten testien käytön ja kyseenalaistaa näihin testeihin perustuvien tutkimustulosten pätevyyden. Divergentin ajattelun testit muodostavat erityisen ongelman, kun valitaan mittareita, joita käytetään tehtäessä tutkimusta toimialan yleisyydestä/spesifisyydestä, koska toimialan yleisyys on testien sisäänrakennettu oletus. Esimerkiksi Torrance-testeistä on kaksi erilaista versiota, joista toinen on kuvallinen ja toinen verbaalinen, mutta molempia käytetään rutiininomaisesti alue-yleisinä testeinä.
Kumpikin kahdesta Torrance-testistä raportoi erilaisia osa-arvoja. Näissä ala-arvoissa on vuosien varrella tapahtunut monia muutoksia, mutta esimerkkinä mainittakoon, että figuraalinen testi väittää tällä hetkellä ”arvioivansa viittä henkistä ominaisuutta” ja 13 ”luovaa vahvuutta” (Scholastic Testing Service, 2013). Testissä on myös yleinen ”luovuusindeksi”, mutta Torrance itse varoitti kaikista yksittäisten numeroiden tulkinnoista hänen testeistään:
Torrance on varoittanut käyttämästä TTCT:n yhdistelmäpisteitä. Hän varoitti, että yhden pistemäärän käyttäminen yhdistelmäpistemäärän tavoin voi olla harhaanjohtavaa, koska jokaisella osa-asteikon pistemäärällä on itsenäinen merkitys. (Kim et al., 2006, s. 461)
Torrance havaitsi myös, että hänen kaksi divergentin ajattelun osa-aluekohtaista testejään olivat pohjimmiltaan korreloimattomia:
TTCT:n verbaalisen ja figuraalisen muodon vastaukset eivät ainoastaan ilmaise kahta erilaista modaliteettia … vaan ne ovat myös erilaisten kognitiivisten kykyjen mittareita. Torrance (1990) havaitsi itse asiassa hyvin vähäistä korrelaatiota (r = .06) verbaalisissa ja kuvallisissa testeissä suoriutumisen välillä. (Cramond et al., 2005, s. 283-284)
Torrancen varoitukset ovat kuitenkin kaikonneet kuuroille korville. Divergentin ajattelun eri osa-alueita mittaavat osa-asteikkopisteet jätetään rutiininomaisesti huomiotta luovuusindeksin kokonaispisteiden hyväksi, erityisesti lahjakkaiden/lahjakkaiden ohjelmissa, jotka ovat Torrance-testien aktiivisimpia käyttäjiä (Scholastic Testing Service, 2013), ja tutkijat väittävät nykyään usein, että luovuusindeksin kokonaispistemäärä on paras luovan kyvykkyyden ennustaja (esim, Plucker, 1999; Yamada & Tam, 1996).
Se, että Torrance loi kaksi erilaista divergentin ajattelun aluekohtaista testiä ja totesi, että ne olivat pohjimmiltaan ortogonaalisia ja mittasivat näin ollen kahta hyvin erilaista kyvykkyyttä (Cramond ym., 2005), on luonnollisesti aiheuttanut ongelmia niille, jotka ovat käyttäneet molempia testejä samassa tutkimuksessa ja tulkinneet molempia aluekohtaisen luovuuden mittareiksi. Esimerkiksi tuoreessa tutkimuksessa, jonka tarkoituksena oli validoida Torrance-testit, havaittiin, että toinen testeistä korreloi keskeisten lopputulosmittareiden kanssa, mutta toinen ei. Tässä tapauksessa verbaalisen divergentin ajattelun tulokset ennustivat monia sellaisia asioita, joita tutkimuksessa käytettiin todisteena luovasta suorituskyvystä (asioita, jotka koehenkilöt olivat itse ilmoittaneet henkilökohtaisiksi saavutuksikseen luovien saavutusten tarkistuslistalta), mutta kuvallisen divergentin ajattelun tulokset eivät. Kuten kirjoittaja selitti:
verbaalisen DT:n merkitys suhteessa figuraaliseen DT:hen saattaa johtua aikuisten luovien saavutusten tarkistuslistojen kielellisestä harhasta. Jos esimerkiksi suurin osa luovista saavutuksista edellyttäisi suurta kielellistä lahjakkuutta, toisin kuin avaruudellinen lahjakkuus tai ongelmanratkaisulahjakkuus, verbaalisen DT:n testeillä odotettaisiin olevan huomattavasti korkeampi korrelaatio näihin saavutustyyppeihin kuin muilla DT:n muodoilla. (Plucker, 1999, s. 110)
Tämä tulos on juuri se, mitä aluespesifisyysteoria ennustaisi. Eri aloille juurtuneet erilaiset luovuuden mittarit ennustavat luovaa suoriutumista vain omilla aloillaan. Valitettavasti tämänkaltaiset havainnot (myös testien laatijan havainnot) eivät ole saaneet Torrance-testejä markkinoivia tahoja vähentämään väitteitään. Sekä testin kuvallinen että verbaalinen muoto väittävät olevansa yleisiä luovuuden testejä (Scholastic Testing Service, 2013).
Koska Torrance-testien kaltaiset divergentti-ajattelun testit olettavat, että ne ovat toimialan yleisiä, niitä tuskin voidaan käyttää tutkimuksissa, joiden tavoitteena on testata sitä, onko luovuus toimialan yleistä vai toimialaspesifistä (vaikka testeistä saaduista tuloksista saadaankin toimialan yleisyyttä koskevista väitteistä huolimatta todisteita, kuten Torrance itse tarjosi näyttöä luovuuden toimialaspesifisyyteen liittyen; Cramond et al., 2005). Tällaista tutkimusta varten tarvitaan arviointitekniikka, joka ei ota kantaa toimialan yleisyyteen/spesifisyyteen.
Onneksi poikkeavalla ajattelulla ei ole enää sellaista monopoliasemaa, joka sillä ennen oli luovuusteoriassa ja -testauksessa, eikä myöskään sitä laajaa kunnioitusta, jota se aikoinaan herätti luovuusteoreetikkojen ja -tutkijoiden keskuudessa. Muitakin luovuustestejä on kehitetty, ja vaikka yksikään niistä ei ole saavuttanut samanlaista lähes yleistä hyväksyntää kuin Torrance-testit (ja muut divergentin ajattelun testit) aikoinaan saivat, ne tarjoavat kuitenkin muita mahdollisuuksia tutkimusvälineinä.
Tuoreessa luovuuden arviointia käsittelevässä kirjassa (Kaufman ym., 2008a) oli lukuja neljästä erityyppisestä luovuusmittarista: divergentti ajattelu, muiden (opettajien, ikätovereiden, vanhempien) tekemät arvioinnit, itsearvioinnit ja menettely nimeltä Consensual Assessment Technique (CAT), jossa käytetään asiantuntijoita arvioimaan ihmisten luomien asioiden luovuutta (runot, taideteokset, teoriat, palapelit, kohokkaat, mainokset, kaikenlaiset esitykset; sitä voidaan käyttää melkein mihin tahansa).
Muiden tekemät arvioinnit ja itsearvioinnit eivät edellytä oletusta sen enempää toimialan yleisyydestä kuin toimialan spesifisyydestäkään, mutta tapa, jolla arvioinnit on jäsennelty, voi lisätä (ja usein lisääkin) tällaisen oletuksen. Jos kysytään X:n luovuudesta arkkitehtina, ei tehdä oletusta toimialan yleisyydestä eikä toimialaspesifisyydestä. (Jos luovuus on itse asiassa yleisluonteista, X:n luovuus arkkitehtuurin alalla kertoisi tietysti X:n luovuudesta yleensä. Mutta jos kysytään X:n luovuudesta arkkitehtuurissa, sallitaan vain toimialan yleisyys – sitä ei oleteta – ja yhtä lailla sallitaan, että luovuus on toimialaspesifistä). Mutta jos vain kysytään, kuinka luova X on, kysymyksessä oletetaan, että vastaus koskee X:ää yleisemmin. Yleinen ”Kuinka luova on X?” -kysymys olettaa siis, että se on yleispätevä, eikä se sellaisenaan auta tutkijaa, joka yrittää selvittää, kuinka yleispätevää tai erityispätevää luovuus voi olla. Valitettavasti useimmissa tapauksissa, joissa tutkijat ovat kysyneet muiden luovuudesta, kysymykset on muotoiltu siten, että ne edellyttävät yleisluonteisia vastauksia, joten niistä ei ole juurikaan hyötyä ratkaistaessa kiistoja yleisluonteisuudesta/spesifisyydestä.
Luovuuden itsearvioinnit ovat samankaltaisia kuin toisten tekemät arvioinnit siinä mielessä, että niissä voidaan kysyä luovuudesta yleisesti (jolloin oletetaan yleisluonteisuus) tai luovuudesta tietyillä aloilla (jolloin yleisluonteisuudesta/spesifisyydestä ei ole oletuksia). Tämäntyyppiset tutkimukset ovat yleensä osoittaneet paljon aluespesifisyyttä (kuten luvussa 2 käsiteltiin), mutta tällä tekniikalla on kaksi suurta heikkoutta:
Itsearvioinneilla yleensä ja erityisesti luovuuden itsearvioinneilla on yleensä rajallinen validiteetti. (Jotkut saattavat mennä vielä pidemmälle ja väittää, että niillä ei ole lainkaan validiteettia, mutta kummassakin tapauksessa – joko hyvin rajallinen validiteetti tai ei validiteettia lainkaan – ne ovat huomattavasti vähemmän ihanteellisia tutkimusvälineitä).
Vaikka ihmisiä pyydetäänkin arvioimaan omaa luovuuttaan eri osa-alueilla, heillä on taipumus arvioida itseään eri tavoin eri osa-alueilla, voidaan väittää, että vaikka tällaiset kysymykset eivät varsinaisesti oleta osa-alueen spesifisyyttä, niillä saattaa olla taipumus työntää vastauksia siihen suuntaan. Loppujen lopuksi, jos luovuus olisi yleisluonteista, miksi kysyttäisiin luovuudesta monilla eri aloilla? Vastaajista saattaisi tuntua siltä, että kysymysten esittäjät itse asiassa olettavat aluespesifisyyttä.
Itsearvioinnit ja muiden tekemät arvioinnit eivät siis ole olleet erityisen hyödyllisiä vastattaessa kysymyksiin, jotka koskevat aluespesifisyyttä/yleisyyttä. Divergentti-ajattelun testit tyypillisesti olettavat toimialan yleisyyttä; itse asiassa, vaikka niiden ei tarvitsekaan tehdä niin, kaikki yleisesti käytetyt divergentti-ajattelun testit – jopa Torrance-testin kaltaiset testit, jotka kantavat toimialaan perustuvia merkintöjä figuraalinen ja verbaalinen – tekevät tämän olettamuksen ja kannustavat toimialan yleiseen tulkintaan. Divergenttisen ajattelun testeissä on myös se ongelma, että näyttö divergenttisen ajattelun testien pätevyydestä luovuuden mittareina on parhaimmillaankin melko heikkoa. Kuten jo todettiin, American Psychological Associationin jaoston 10 (Psychology of Aesthetics, Creativity and the Arts) järjestämässä kaikkien aikojen ensimmäisessä keskustelussa käsiteltiin Torrance-testien kaltaisten divergentti-ajattelun testien pätevyyttä (Baer, 2009; Kim, 2009), mikä viittaa siihen, että kysymys on avoin. (Keskustelun otsikko oli ”Are the Torrance Tests of Creative Thinking Still Relevant in the 21st Century?”). Vaikka siis löytyisikin keino käyttää divergentin ajattelun testejä luovuuden yleisyyden/spesifisyyden mittaamiseen (esimerkiksi antamalla koehenkilöille divergentin ajattelun testejä eri aloilla ja vertailemalla tuloksia, kuten Torrance itse teki, ja hänen tuloksensa viittasivat selvästi aluespesifisyyteen; Cramond et al, 2005), kysymykset divergentti-ajattelun testien pätevyydestä (jopa toimialaspesifisten divergentti-ajattelun testien) heikentäisivät luottamusta saatuihin tuloksiin.
Tällöin jäljelle jää toinen ensisijainen luovuuden arviointimenetelmä, CAT (Amabile, 1982, 1983, 1996198219831996). CAT-menetelmällä arvioidaan luovuutta kaikilla tasoilla (olipa kyse sitten tavanomaisesta pikku-C-luovuudesta, jota jopa lapsetkin osoittavat, tai alansa omaperäisimpien ja vaikutusvaltaisimpien ajattelijoiden paradigmaa mullistavasta Big-C-luovuudesta) samalla tavalla kuin luovuutta useimmiten arvioidaan reaalimaailmassa – asianomaisen alan asiantuntijoiden mielipiteiden perusteella. Aivan kuten Nobel-palkinnon voittajat valitaan kunkin alan asiantuntijapaneeleissa, jotka arvioivat omien alojensa luovuutta, myös CAT:ssä käytetään alan asiantuntijoita arvioimaan kyseisen alan tuotteiden luovuutta. Asiantuntijoiden arviot voivat tietysti muuttua ajan mittaan; minkään alan standardit, olivatpa ne sitten taiteellisia, tieteellisiä tai käytännöllisiä, eivät ole muuttumattomia, ja se, mitä saatetaan pitää luovana jonakin aikakautena, saatetaan katsoa vähemmän luovaksi jonain toisena aikakautena (ja päinvastoin), samoin kuin minkä tahansa alan asiantuntijoiden pätevyys voi muuttua. Paras mahdollinen arvio jonkin tuotteen luovuudesta tiettynä ajankohtana on kuitenkin alan tunnustettujen asiantuntijoiden kollektiivinen arvio. Parempaa mittaria ei yksinkertaisesti ole saatavilla (Baer & McKool, 2009, 201420092014).
KAT-arvioinnissa luovuusluokituksia tekevät asiantuntijat tekevät arvionsa itsenäisesti – heillä ei ole mahdollisuutta vaikuttaa toistensa mielipiteisiin – mikä mahdollistaa arvioijien välisen luotettavuuden tarkistamisen, joka on yleensä varsin hyvä. Arvioitavien artefaktien mukaan tarvitaan tietysti eri asiantuntijoita. Runoilijat, runokriitikot ja runouden opettajat voisivat toimia tuomareina, jos kyseessä ovat haiku-runot, kun taas kuvataiteilijat, taidekriitikot ja taideopettajat olisivat sopivia, jos kyseessä ovat kollaasit. Kutakin asiantuntijaa pyydetään arvioimaan erikseen jokaisen tutkimukseen osallistuvan tuotteen luovuutta suhteessa kaikkiin muihin otoksen tuotteisiin eikä suhteessa mihinkään ulkoiseen standardiin. Kaikki arviot ovat suhteutettuja muiden arvioitavan ryhmän artefaktien luovuuteen. Likert-tyyppistä asteikkoa käytetään siten, että pistemäärät jakautuvat eri mahdollisille arvosanoille, ja tuomareita kannustetaan käyttämään koko asteikkoa siten, että ryhmän luovimmat artefaktit saavat korkeimman pistemäärän ja vähiten luovat matalimman pistemäärän, jotta ryhmän artefaktien luovuus voidaan erottaa toisistaan. Kaikkien tuomareiden (joita tyypillisessä tutkimuksessa voi olla 10-15) keskiarvoja käytetään kunkin artefaktin luovuuspisteinä (Amabile, 1996; Baer, Kaufman, & Gentile, 2004; Kaufman et al., 2008a).
Prosessi on sekä yksinkertainen että suoraviivainen, vaikka yksinkertainen ei valitettavasti tarkoita sitä, että se olisi helppo tai edullinen. Toisin kuin korkeakouluopiskelijat, jotka muodostavat niin suuren osan psykologisen tutkimuksen kohderyhmästä, asiantuntijoita ei ole yhtä vapaasti saatavilla. Erilaisia asiantuntijoita tarvitaan sen mukaan, millaisia artefakteja arvioidaan, ja asiantuntijoille maksetaan yleensä palkkaa heidän työstään. Jotkut tutkimukset ovat osoittaneet, että joidenkin alojen kvasiasiasiantuntijat (kuten alan opiskelijat, joita ei ehkä vielä voida pitää asiantuntijoina) tuottavat melko samanlaisia arvioita kuin asiantuntijat, mikä voi vähentää kustannuksia jonkin verran. Aloittelevien arvioijien (kuten korkeakouluopiskelijoiden) käyttö tuottaa kuitenkin harvoin samantyyppisiä arvioita kuin asiantuntijoiden, joten CAT-menetelmässä tarvitaan yleensä tuomareita, joilla on ainakin jonkin verran asiantuntemusta kyseiseltä alalta, ja siksi se on kalliimpi kuin monet muut luovuuden arviointimenetelmät (Kaufman, Baer, & Cole, 2009b; Kaufman, Baer, Cole, & Sexton, 2008b; Kaufman, Baer, Cropley, Reiter-Palmon, & Sinnett, 2013a).
CAT on jonkin verran resurssi-intensiivinen, mutta sillä on paljon hyviä puolia, ja sitä on kutsuttu luovuuden arvioinnin ”kultaiseksi standardiksi” (Carson, 2006). Yksittäisten CAT-arviointien pitkäaikaiskestävyys on yhtä hyvä kuin vakiintuneiden, monikohtaisten divergentti-ajattelutestien pisteiden pitkäaikaiskestävyys (esim. molemmissa tapauksissa testin ja uusintatestin korrelaatiot yhden vuoden jälkeen ovat 0,50:n luokkaa alakouluikäisillä koehenkilöillä), ja jos luodaan useita samantyyppisiä luovia tuotteita ja arvioidaan niitä sekä ennakko- että jälkitestauksessa, CAT:n pitkäaikaiskestävyys osoittaa vieläkin parempia tuloksia (Baer, 1994c; Kogan, 1983). Toisin kuin divergentti ajattelu ja muut testit, joissa testataan osa-taitoja, joiden oletetaan olevan yhteydessä luovuuteen, CAT-testillä arvioidaan todellista luovaa suoritusta, eikä se näin ollen ole riippuvainen minkään tietyn luovuusteorian hyväksymisestä tai pätevyydestä. CAT-testillä vältetään myös haloilmiöt ja muut henkilökohtaiset ennakkoluulot, jotka saattavat häiritä muiden tai itsensä tekemiä arvioita luovuudesta. Vaikka arvioinnit koskevat tietyn alan artefaktien luovuutta, CAT-menetelmää käytettäessä ei tehdä oletuksia luovuuden aluespesifisyydestä tai yleisyydestä. Se ei liity mihinkään luovuuden luonnetta koskevaan teoriaan, ja se on täysin neutraali alojen yleisyyttä/spesifisyyttä koskevien kysymysten suhteen, mikä tekee siitä ihanteellisen luovuuden mittarin tällä alalla.
Luvussa 2 tarkastellaan yksityiskohtaisesti luovuuden alojen spesifisyyttä ja yleisyyttä koskevia tutkimuksia, joista suuri osa on tehty CAT:n avulla. Tulokset ovat olleet melko johdonmukaisia osoittaessaan vähäistä toimialan yleisyyttä. Keskeinen tutkimusmenetelmä on ollut antaa koehenkilöille useita erilaisia tehtäviä eri aloilla (esim. kollaasin luominen, runon kirjoittaminen, tarinan kirjoittaminen), antaa kyseisten alojen asiantuntijapaneelien arvioida itsenäisesti näiden tuotteiden luovuutta CAT:n avulla ja etsiä sitten korrelaatioita eri alojen luokitusten välillä. Nämä kaksi kilpailevaa teoriaa – toimialan yleisyys ja toimialaspesifisyys – antavat erilaisia ennusteita todellisesta luovasta suorituskyvystä. Eräs luovuustutkija kiteytti lyhyesti, miten nämä ennusteet eroavat toisistaan:
Alueen yleisyyttä tukevat korkeat keskinäiset korrelaatiot eri luovien käyttäytymismallien välillä … kun taas aluespesifisyyttä tukevat suhteellisen alhaiset korrelaatiot eri käyttäytymismallien välillä. (Ivcevic, 2007, s. 272)
Korrelaatiot, jotka on raportoitu monissa tutkimuksissa, joissa on tehty juuri tämä vertailu, ovat yleensä liikkuneet nollan tuntumassa (varsinkin jos älykkyyden aiheuttama varianssi on poistettu; luvussa 2 tarkastellaan tätä tutkimusta yksityiskohtaisesti, mutta ks. yhteenvedot Baer, 2010, 201320102013), ja jopa kirjoittajat, jotka ovat väittäneet havainneensa jonkinasteista alueellista yleisyyttä, havaitsevat sitä tyypillisesti vain alueiden sisällä. Esimerkiksi Conti, Coon ja Amabile (1996) raportoivat luovuusluokitusten korrelaatioista useissa novellien kirjoitustehtävissä, jotka vaihtelivat 0,43:sta 0,87:ään, ja pienemmistä, mutta silti tilastollisesti merkitsevistä korrelaatioista useiden eri taidetehtävien välillä (taidetehtävät eivät olleet yhtä samankaltaisia keskenään kuin kirjoitustehtävät, joten tämä tulos oli odotettavissa). Nämä tulokset ovat kuitenkin kaikki toimialan sisäisiä korrelaatioita, ja ne osoittavat näin ollen vain, että toimialan (kuten novellien kirjoittaminen tai taide) sisällä on jonkin verran yleisyyttä, kuten sekä toimialaspesifisyys että toimialan yleisyys ennustavat. Toisin kuin monet tilastollisesti merkitsevät toimialan sisäiset korrelaatiot, 13:sta raportoidusta toimialan (kirjoittaminen ja taide) välisestä korrelaatiosta – joilla on merkitystä toimialan spesifisyyden kannalta – kaikki olivat pieniä, eikä yksikään niistä ollut tilastollisesti merkitsevä, olipa se sitten positiivinen tai negatiivinen. Huolimatta siitä, että nämä kirjoittajat väittivät, että he löysivät todisteita osa-alueen yleisyydestä, he itse asiassa löysivät vain osa-alueen sisäistä yleisyyttä (eli osa-alueen spesifisyyttä).
Feist (2004) kommentoi, että on ”houkutteleva ja viime kädessä vahvasti amerikkalainen ajatus, että luova henkilö voisi olla luova millä tahansa valitsemallaan osa-alueella. Henkilön tarvitsisi vain päättää, mihin soveltaa kykyjään ja ponnistelujaan, harjoitella tai treenata paljon, ja voilà, sinulla on luovia saavutuksia. Tämän näkemyksen mukaan lahjakkuus on tärkeämpi kuin ala, ja on todellakin jokseenkin sattumanvaraista, millä alalla luova saavutus ilmenee.” Vaikka Feist onkin houkutteleva, hän päätteli, että ”tämä on melko naiivi ja viime kädessä väärä kanta ja että luova lahjakkuus on itse asiassa aluespesifistä … luovuus ja lahjakkuus eivät yleensä kuulu aluespesifisten taitojen joukkoon” (s. 57).2
Luvussa 2 esitetyn aluespesifisyyttä puoltavan ja vastustavan todistusaineiston läpikäynnin jälkeen luvuissa 3-63456 selvitetään, mitä nämä tutkimustulokset merkitsevät luovuusteorian, luovuustutkimuksen, luovuuden testaamisen ja luovuusvalmennuksen näkökulmasta, jonka jälkeen tarkastellaan sitä, mitä erityyppisiä luovuusteoreettisia teoriat voisivat olla käyttökelpoisia aluesesifisyydessä. Vaikka lukijoita kehotetaankin lukemaan kaikki luvut järjestyksessä, ne on kirjoitettu ymmärtäen, että monet lukijat ovat erityisen kiinnostuneita vain yhdestä tai muutamasta luvusta. Lukujen ohittamisen ei pitäisi aiheuttaa suurta sekaannusta (vaikka lukujen kirjoittaminen siten, että tämä on mahdollista, on vaatinut toisinaan joidenkin keskeisten ajatusten ja tutkimustulosten toistamista). Lukijat, jotka ovat jo perehtyneet (ja vakuuttuneita) aluespesifisyyttä tukevaan tutkimusnäyttöön, voivat esimerkiksi halutessaan jättää väliin luvussa 2 esitetyn kattavan katsauksen kyseisestä näytöstä, jossa käsitellään yksityiskohtaisemmin joitakin tässä luvussa lyhyesti esitettyjä todisteita.