Ajattele uudelleen

Arviointimenetelmät

Arviointi-menetelmät

Malli vertikaalisesta kehityksestä perustuu tieteellisilllä arviointimenetelmillä kerättyyn dataan. Olemme markkinoiden ainoa näitä menetelmiä suomenkielellä tarjoava toimija. 

Mikä tässä on erilaista?

Monet työelämässä käytetyt psykologiset työkalut tarjoavat turvallisen ja ei-arvottavan tavan keskustella erilaisuudesta ja toimintatyyleistä. Ne eivät kuitenkaan tarjoa näkökulmaa kapasiteettiisi käsitellä kompleksisuutta tai kehitysprosesseihin, joita sinussa tapahtuu. 

Miksi arviointi?

Johtajana kehittymiseen ei voi soveltaa one-size-fits-all ratkaisuja. Arviointiemme tuottama data mahdollistaa digitaalisten oppimisprosessien sekä inhimillisten valmennuskohtaamisten räätälöinnin niin, että ne palvelevat optimaalisesti valmennettavien hyvin erilaisia kehityksellisiä tarpeita. 

Menetelmämme

Metataito Klinikka -valmennusprosessiin voidaan sisältää kolme erilaista arviointia arvioinnin, josta valitsemme tarpeisiisi parhaiten soveltuvan.

Maailman käytetyin vertikaalista kehitystä mittaava testimenetelmä. Kyseessä on virkkeentäydennyslomake, joka on helppo ja nopea täyttää.

Tekoälyä hyödyntävä ja äärimmäisen tarkka arviointimenetelmä. Kirjoita essee siitä, kuinka toimisit annetussa kompleksisessa johtamistilanteessa. 

Tulossa 2022

Ymmärrä, millä tapaa ilmennät mindsettiäsi käytännössä eri metataitoina, ja mitä niistä sinun kannattaisi kehittää. 

Mindset-analyysi

Tieteellinen luotettavuus
Jane Loevinger (1918-2008)
Jane Loevinger (1918-2008)

Metataito Klinikan käyttämä virkkeentäydennys analyysimenetelmä on suomenkielinen ja hieman modifioitu versio Professori Jane Loevingerin alunperin 1950-70-luvuilla kehittämästä tieteelliseen instrumentista nimeltä Washington University Sentence Completion Test (WUSCT). Vuosien saatossa tätä menetelmää on käytetty sadoissa tutkimuksissa ja väitöskirjoissa, joissa on tutkittu egon kehityksen merkitystä lukuisilla muilla elämän osa-alueilla. Metataito Klinikan lailla maailmalla useat muutkin organisaatiot ovat kehittäneet tästä instrumentista oman johtajuuden kehittämiseen soveltuvan versionsa (esim. Global Leadership Profile, Leadership Development Profile, Maturity Assessment Profile ja Stages Assessments).

WUSCT on yksi maailman luotettavimmista ja laajimmin käytetyistä aikuisiän kehitystä mittaavista instrumenteista. Löydät alta on kolme testin tieteellisiä ominaisuuksia käsittelevää artikkelia, sekä laatimamme yhteenvedon näiden johtopäätöksistä.

Luotettavuus (reliability)

Arvioitsijareliabiliteetti: Erinomainen

Eri arvioijat ovat yksimielisiä kehitystasosta 85% kerroista

Uudelleentestausreliabiliteett: Hyvä

Jos henkilö tekee testin uudestaan, on tulos yleensä sama (r = 0.8)

Sisäinen luotettavuus: Erinomainen

Sillä, mitä tai minkä pituista testiversiota käytetään, ei ole juurikaan vaikutusta tulokseen (alpha = .85)

Sisäinen yhtenäisyys: Erinomainen

Erittäin korkea korrelaatio lauseenalkujen välillä (0.9)

Testissä arvaaminen ja huijaaminen on vaikeata. Henkilön asennoituminen vastaamiseen voi kuitenkin vaikuttaa tuloksiin +/-1 tasoa.

Pätevyys (validity)

Kasvovaliditeetti: Erinomainen
  • 9/10 ihmisestä kokee tuloksen kuvaavan heitä (GLP).
  • 95-98 % tapauksista asiakas ja valmentaja ovat yhtämieltä tuloksen kanssa palautekeskustelun jälkeen (Harthill Ltd)
Sisältövaliditeetti: Erinomainen

Se, mitä testi väittää mittaavansa vastaa sitä mitä se mittaa. Loevinger piti tärkeänä sitä, että teoria perustuisi ainoastaan testin antamiin empiiriseen dataan. Hän julkaisi teoriansa egon kehityksestä yli 20 vuotta testimenetelmän kehitystyön aloittamisen jälkeen!

Päällekkäisvaliditeetti
  • Vastauksen pituus: kohtalainen (.3)
  • Persoonallisuuspiirteet: vähäinen
  • Älykkyys: kohtalainen (.13 < r < .46)
  • Hierarkinen kompleksisuus: kohtalainen ( .0 < r < .5 )
Ulkoinenvaliditeetti: Hyvä

Tutkimusten mukaan korkeampi kehitystaso on yhteydessä…

  • Johtajuuden tehokkuus 360 arvioinnissa (.65), joka edelleen vaikuttaa liiketoiminnan kannattavuuteen (.66) (Anderson, 2015)
  • Toimitusjohtajan kyky viedä läpi onnistuneita muutoshankkeita (Rooke & Torbert, 1998)
  • Strateginen ajattelu ja muutosjohtaminen (Harris and Kuhnert, 2008; Strang and Kuhnert, 2009)
  • Kyky toimia menestyksekkäästi suurten epävarmuuksien keskellä (Merron, 1985)
  • Nojautuminen ulkoisiin auktoriteetteihin (Weathersby,1993)
  • Hands-on johtamisote (matalammat tasot) vs kyky delegoida tehtäviä ja keskittyä strategisiin asioihin (Hirsch,1988)
  • Kyky inspiroida muita (Bass & Avolio, 1990)
  • Yrityskonsulttien konsultointikompetenssiin (Bushe & Gibbs, 1990)
  • Kyvykkyys tehdä päätöksiä kollaboratiivisesti (Bushe & Gibbs, 1990; Givens, 1985; Merron, 1986)
  • Vallan käytön tyyli (Smith, 1980; Joiner & Josephs 2007)
  • Kypsempien defenssimekanismien käyttö johtajan ollessa interaktiossa ympäristönsä kanssa (Vaillant, 1993)

Lähteet

Bass, B.M. and Avolio, B.J. (1990), ”Developing Transformational Leadership: 1992 and Beyond”, Journal of European Industrial Training, Vol. 14 No. 5.

Bushe, G. R., & Gibbs, B. W. (1990). Predicting organization development consulting competence from the Myers-Briggs Type Indicator and stage of ego development. Journal of Applied Behavioral Science, 26(3), 337–357.

Paul T. Costa & Robert R. McCrae (1993) Ego Development and Trait Models of Personality, Psychological Inquiry, 4:1, 20-23

Harris, L. S., & Kuhnert, K. W. (2008). Looking through the lens of leadership: A constructive developmental approach. Leadership & Organization Development Journal, 29(1), 47–67

Hirsch, J. A. (1988). Toward a cognitive-developmental theory of strategy formulation among practicing physicians. Boston, Massachusetts: Boston University

Joiner, B., & Josephs, S. (2007). Leadership agility: Five levels of mastery for anticipating and initiating change. San Francisco: Jossey-Bass.

Merron, K. A. (1986). The relationship between ego development and managerial effectiveness under conditions of high uncertainty. Dissertation Abstracts International, 46, 3090A

Robert J. Anderson, William A. Adams. Mastering Leadership: An Integrated Framework for Breakthrough Performance and Extraordinary Business Results John Wiley & Sons, 30 Nov 2015

Rooke, D., & Torbert, W. R. (1998). Organizational transformation as a function of CEO’s developmental stage. Organization Development Journal, 16(1), 11–28.

Smith, S. E. (1980). Ego development and the problems of power and agreement in organizations. Dissertation Abstracts International, 41(5-B), 1962.

Strang, S. E., & Kuhnert, K. W. (2009). Personality and leadership developmental levels as predictors of leader performance. The Leadership Quarterly, 20(3), 421–433. 

Vaillant, G. E. (1994). Ego mechanisms of defense and personality psychopathology. Journal of Abnormal Psychology, 103(1), 44–50. 

Weathersby, R. (1993). Sri Lankan managers’ leadership conceptualizations as a function of ego development. In J. Demick & P. M. Miller (Eds.), Development in the workplace (p. 67–89). Lawrence Erlbaum Associates, Inc.

Mindset-analyysi

Mindset-analyysi perustuu maailman eniten käytettyyn vertikaalista kehitystä mittaavaan tieteelliseen menetelmään (WUSCT), jota on käytetty sadoissa julkaistuissa tutkimuksissa. Annamme arvioitavan täydennettäväksi 9 tai 18 virkettä, joihin vastaamisen ihmiset kokevat yleensä vaivattomana ja oivalluttavana prosessina. Analyysiin voi vastata joko suomeksi tai englanniksi.

Menetelmään perehtynyt psykologia analysoi tulokset tieteellisiä kriteereitä käyttäen, ja laatii sen pohjalta yksilöllisen mindset-profiilin. 

Mindset-analyysi…

  • Mahdollistaa kehityksellisesti räätälöidyn valmennuksen.
  • On elegantti tapa mennä sisään hyvin kompleksiseen teemaan.
  • Antaa hyödyllistä tietoa ja indikaatiota siitä, mikä valmennettavan ajattelussa juuri nyt kehittyy, ja mitä hän voisi omaksua seuraavaksi.
  • Tarjoaa aloituspisteen hedelmälliselle dialogille.

Huom. Mindset-analyysia ei tule käyttää diagnostisena päätöksenteon työkaluna. Sen tarkoitus on avata pääsy hedelmälliseen valmennuskeskusteluun ja räätälöimään alustamme sisältöä. Diagnostisiin tarkoituksissa hyödynnämme Metataitosimulaatiota, joka täyttää tiukimmatkin psykologiselle mittarille asetettavat kriteerit.

LUE LISÄÄ MINDSET-ANALYYSIN TAUSTASTA JA LUOTETTAVUUDESTA

Metataitosimulaatio

Metataitosimulaatio on mindset-analyysia hieman raskaampi, mutta luotettavampi arviointimenetelmä. Siinä arvioitavalle esitetään tilanne, jollaisen johtaja saattaisi kohdata tosielämässäkin. Sitten häntä pyydetään kirjallisesti pohtimaan ongelman luonnetta, kehittämään ja vertailemaan mahdollisia ratkaisuita sekä kuvailemaan ideaalisen päätöksentekoprosessin vastaaviin tilanteisiin.

Tekstit analysoidaan Lectica-menetelmällä, joka on tämän hetken tarkin kehityspsykologinen mittari. Tarkkuuden ansiosta arviointituloksia voidaan hyödyntää päätöksenteon tukena esimerkiksi talent-ohjelmissa tai rekrytoinnissa. Sitä voidaan käyttää myös ennen ja jälkeen valmennusohjelman tehtävänä mittauksena, jolla validoidaan valmennusinvestoinnilla aikaan saatu todellinen oppiminen ja kehitys.

Se, mikä Metataitosimulaatiosta tekee vallankumouksellisen, että Lectican yli 10 vuoden ajan kehittämä tekoäly osaa tehdä nyt arvioinnin yhtä tarkasti kuin menetelmän käyttöön koulutetut ihmiset. Automatisoidun prosessin ansiosta hinta on samaa luokkaa mindset-analyysin kanssa.

Metataito simulaation käytössä on huomioitava seuraavat asiat:

  • Tekoälypohjainen simulaatio on saatavilla vain yli 20 hlön ryhmille.
  • Arvioitavalta edellytetään kohtalaista tai hyvää kykyä ilmaista ajatuksiaan kirjallisesti englannin kielellä. Hän voi antaa vastauksensa myös suomeksi, jonka jälkeen lähetämme ne ammattikääntäjälle, mistä aiheutuu jonkin verran kustannuksia (n.50€)
  • Valmennusprosessin suunnitteluun ja toteutukseen tulee osallistua Metataitovalmentajan lisäksi Lectica-sertifioitu psykologi Anssi Balk.

LISÄTIETOJA LECTICA-ARVIOINTIMENETELMÄN TIETEELLISESTÄ LUOTETTAVUUDESTA

Metataito 360

Metataito 360 -arviointi on kehittämäämme vertikaalista metataito-viitekehystä hyödyntävä 360-arviointi. Käytämme sitä mindsetsimulaatiota tai analyysia tukevana instrumenttina, joka antaa tarkempaa tietoa siitä, miten arvioitavan mindset ilmenee metataitoina. Arvioitava voi nähdä tuloksensa Metataito Klinikka alustalta reaaliaikaisesti modernia visuaalista analytiikkateknologiaa hyödyntävän ratkaisumme ansiosta.

Metataito 360 tullaan julkaisemaan vuonna 2022. Kehitimme menetelmän jo vuoden 2021 alussa, ja suoritimme sillä menestyksekkäästi pilottiprojekti asiakkaalla. 

Esimerkkikysymys.