IMPROVE – Zlepšení uznávání neformálního učení kariérových poradců
IMPROVE
-
Pokyny
pro
hodnocení
kompetencí
kariérových poradců
Editoři: Peter Weber & Leonardo Evangelista Autoři: Peter Weber (kapitoly 1-3, 5), Leonardo Evangelista (kapitoly 4, 5), do 5. kapitoly byly použity podklady Leonarda Evangelisty, Zuzany Freibergové, Rachel Nelson, Speranty Tibu, Mary Tountopoulou. Tato příručka je věnována památce Enrica Renau Permanyera, výkonného předsedy DEP Institutu,Barcelona, Španělsko. Tento dokument byl vytvořen v rámci projektu IMPROVE – Improving Validation of NotFormal Learning in European Career Guidance Practitioners č. 510640-LLP-1-2010-1-ITGRUNDTVIG-GMP (2011-2012). Projekt byl financován prostřednictvím evropského Programu celoživotního učení Grundtvig. Více informací je k dispozici na webových stránkách projektu www.improveguidance.eu/. Tento dokument odráží názory partnerů projektu IMPROVE nikoliv Evropské komise. Překlad: Skřivánek, s.r.o. Praha, 2012
1
Obsah ÚVOD
4
1. VŠEOBECNÉ ASPEKTY
7
1.1 POZADÍ A PODĚKOVÁNÍ 1.2 UZNÁVÁNÍ KOMPETENCÍ
7 7
2. ZDROJE POKYNŮ PRO HODNOCENÍ KOMPETENCÍ KARIÉROVÝCH PORADCŮ
12
2.1 PRINCIPY A POKYNY CEDEFOP PRO HODNOCENÍ PŘEDCHOZÍHO UČENÍ 2.2 ZÁKLADNÍ PRINCIPY A POKYNY V PODROBNOSTECH S PŘÍKLADY PRO HODNOCENÍ KARIÉROVÝCH PORADCŮ 2.3 ISO 17024: POSOUZENÍ SOULADU – VŠEOBECNÉ POŽADAVKY PRO ORGÁNY, KTERÉ PROVÁDĚJÍ CERTIFIKACI OSOB 2.4. POKYNY PROJEKTU IMPROVE PRO HODNOCENÍ KOMPETENCÍ PRACUJÍCÍCH OSOB POKYNY PROJEKTU IMPROVE PRO HODNOCENÍ KOMPETENCÍ PRACUJÍCÍCH OSOB 1.ROZSAH 2. SLOVNÍČEK 3. PREAMBULE 4. POKYNY PROJEKTU IMPROVE 2.5. HLAVNÍ ASPEKTY A SROVNÁNÍ POKYNŮ CEDEFOP A NORMY ISO 17024 S POKYNY PROJEKTU IMPROVE
12
3. PŘEHLED O METODOLOGII, KTERÁ JE K DISPOZICI PRO HODNOCENÍ KOMPETENCÍ KARIÉROVÝCH PORADCŮ 3.1 VHODNOST METODOLOGIE PRO HODNOCENÍ VÝKONU A KOMPETENCÍ KARIÉROVÝCH PORADCŮ 3.2 PŘEHLED DOSTUPNÝCH METOD 4. HODNOCENÍ VÝSLEDKŮ FORMÁLNÍHO A NEFORMÁLNÍHO UČENÍ V PRAXI 4.1 ROZVOJ NÁSTROJE PRO HODNOCENÍ VÝSLEDKŮ NEFORMÁLNÍHO A NEOFICIÁLNÍHO UČENÍ 4.1.1 CÍL HODNOCENÍ 4.1.2 CO SE MÁ UZNAT NEBO UDĚLIT NA KONCI PROCESU HODNOCENÍ 4.1.3 SEZNAM PRVKŮ, KTERÉ MUSEJÍ ÚSPĚŠNÍ KANDIDÁTI VLASTNIT NEBO SI OSVOJIT, JEJICH ÚROVEŇ A BODOVACÍ SYSTÉM 4.1.4. DŮKAZY, KTERÉ DEMONSTRUJÍ VLASTNICTVÍ NEBO OSVOJENÍ SI PRVKŮ, KTERÉ ÚSPĚŠNÝ KANDIDÁT MUSÍ VLASTNIT NEBO SI OSVOJIT 4.1.5 PROCES HODNOCENÍ 4.2 PROFESNÍ ZKOUŠKA 4.2.1 CÍL HODNOCENÍ 4.2.2 CO MÁ BÝT UZNÁNO A UDĚLENO NA KONCI PROCESU HODNOCENÍ 4.2.3 SEZNAM PRVKŮ, KTERÉ MUSÍ ÚSPĚŠNÝ KANDIDÁT VLASTNIT NEBO SI OSVOJIT 4.2.4 DOKLADY, KTERÉ DEMONSTRUJÍ VLASTNICTVÍ NEBO OSVOJENÍ SI PRVKŮ 4.2.5 PROCES HODNOCENÍ
14 24 31 32 32 32 34 35 37 49 49 52 58 58 58 59 59 61 63 63 63 64 64 68 72
5. NÁRODNÍ ZPRÁVA PROJEKTU IMPROVE– PŘEHLED NÁRODNÍCH PILOTNÍCH ŠETŘENÍ, KTERÁ BYLA PROVEDENA V ŠESTI ZEMÍCH 78 5.1 ÚVOD 5.2 HODNOTITELÉ A JEJICH ZAŠKOLENÍ
78 79
2
5.2 STRUKTURA PROCESU PILOTNÍHO OVĚŘENÍ PROCESU HODNOCENÍ: TŘI KROKY (ROZHOVORY) 5.3 PRAKTICKÉ ASPEKTY ORGANIZACE PILOTNÍHO OVĚŘENÍ PROCESU HODNOCENÍ 5.4 ZPĚTNÁ VAZBA OD VŠECH ZÚČASTNĚNÝCH STRAN 5.5 VNÍMÁNÍ POKYNŮ PRO PROJEKT IMPROVE
4. LITERATURA
81 82 84 86 88
3
Úvod Cílem tohoto Průvodce je diskutovat základní principy a metodologii, která se týká hodnocení, rozpoznání a uznání kompetencí kariérových poradců s jasným zaměřením na výkon spíše než na kvalifikaci, učební výsledky nebo vědomosti, přístupy nebo jiné aspekty, které tyto kompetence podporují1. Cílem tohoto Průvodce je prezentovat souvislosti s pokyny pro provádění vyhodnocování, rozpoznávaní a uznávaní procesů, a představuje konkrétní a řízený model, který se použije v rámci procesu hodnocení kompetencí. Tento Průvodce je vyvinut pro projekt IMPROVE,2 pro nějž bude představovat příslušný zdroj3. Projekt IMPROVE je mezinárodním projektem, který je spolufinancován Evropskou Komisí v rámci Programu celoživotního vzdělávání Grundtvig. Projekt IMPROVE zahrnuje rozvoj, používání a zlepšování Průvodce hodnocení neformálního vzdělávání evropských kariérových poradců, který má být v souladu s Evropskými pokyny, jak je popisuje organizace CEDEFOP. Projekt zahrnuje partnery a jejich sítě v šesti evropských zemích (Itálie, Španělsko, Rumunsko, Česká republika, Řecko a Německo), kteří pracují na výzkumu a výcviku v oblasti kariérového poradenství a dodávání služeb kariérových poradců. Ve všech těchto zemích byl vyzván určitý počet poradců a dalších účastníků, aby se zúčastnili procesu hodnocení s cílem jeho vyhodnocení a poskytnutí zpětné vazby. Prostřednictvím projektu IMPROVE sledují partneři následující:
lépe porozumět tomu, jak fungují existující struktury pro uznávání kompetencí kariérových poradců,
vyhodnotit, jak stávající struktury efektivně vyhodnocují kompetence kariérových poradců a jejich výkonnost, pokud jde o výkon jejich činností,
identifikovat, jak lze zlepšit efektivitu struktur, a konečně,
jak lze aplikovat současné pokyny organizace CEDEFOP o vyhodnocování neformálního vzdělávání a práce na existující struktury.
Účelem tohoto Průvodce je popsat sadu pokynů pro hodnocení kompetencí kariérových poradců a příslušnou metodologii, jakož i popsat pilotní šetření, které proběhlo v šesti
1
Nejdůležitější termíny naleznete ve slovníčku v části 2.4.
2
Tento dokument sestavil Peter C. Weber
[email protected] pro projekt IMPROVE Zlepšit ověřování výsledků neformálního vzdělávání kariérových poradců 510640-LLP-1-2010-1-ITGRUNDTVIG-GMP (2011-2012). Kapitoly 1-3 napsal Peter Weber. Kapitolu 4 napsal Leonardo Evangelista. Kapitolu 5 sestavil Peter Weber na základě výsledků pilotního šetření, které provedli všichni partneři tohoto projektu. Návrh verze 2 je stále v procesu úprav. Před vypracováním konečné verze druhého návrhu by měly být některé otázky diskutovány v rámci konsorcia. Tento návrh není určen pro šíření mimo konsorcium.
3
http://www.improveguidance.eu/
4
účastnických zemích. Zaměřujeme se na kompetence, které lze aplikovat na hodnocení výkonu při poskytování profesionálního poradenství. Cílem je vyhodnocení těchto kompetencí.
Zaměřujeme
se
na
kompetence,
jež
se
používají
při
poskytování
profesionálního kariérního poradenství. Cílem je vyhodnocení hlavních kompetencí, které jsou potřebné a vykazované při práci (výkonu). Tento Průvodce se nezaměřuje na hodnocení, které se provádí při hodnocení kvalifikace v rámci formálního vzdělávání. V důsledku skutečností, že existuje mnoho paralelních aktivit a struktur pro uznávání kompetencí kariérových poradců, které byly v posledních letech vyvinuty, a vzhledem k bohatství dostupných materiálů není záměrem tohoto Průvodce vytvořit další jedinečný model, ale stanovit pokyny, jak aplikovat stávající a budoucí struktury s cílem zlepšit hodnocení efektivity a spolehlivosti. V souladu s tímto záměrem diskutuje tento Průvodce sadu (minimálních) podmínek, kterých je třeba dosáhnout/splnit v rámci procesu hodnocení kompetencí aplikovaného na aktivity. Tento Průvodce by měl být užitečný pro instituce, které již zajišťují hodnocení kompetencí kariérových poradců nebo s touto činností chtějí začít nebo uvažují o nějaké struktuře, jak podporovat a uznávat vzdělávání a poskytování kvality, které je založeno na využívání příslušných kompetencí. Tento Průvodce je také určen pro subjekty a osoby z oboru poskytování kariérového poradenství, které se zajímají o témata spojená se vzděláváním a praxí kariérových poradců na evropské úrovni, národní úrovni, regionální i lokální úrovni, jakož i v rámci organizací, jež poskytují služby. Tento Průvodce také přináší hodnotnou inspiraci asociacím poradců, subjektům, které provádějí rozhodnutí, jakož i jiným zainteresovaným stranám, které se zabývají kariérovým poradenstvím a hodnocením výsledků neformálního vzdělávání. Je důležité poznamenat, že tento Průvodce není další strukturou pro uznávání kompetencí. Zlepšování uznávání kompetencí kariérových poradců je úkolem, do něhož by se mělo zapojit mnoho různých institucí. Tento Průvodce se tedy obrací na lidi a instituce z oblasti praxe poskytování kariérového poradenství a hodnocení kariérového poradenství, jakož i z oblasti vzdělávání a výcviku poskytovatelů kariérového poradenství a z oblasti příslušného výzkumu.
Předkládaný Průvodce je jedním ze základů pro testování a zdokonalování nástrojů pro hodnocení v uvedených šesti zemích. Procesy hodnocení kariérových poradců ve všech partnerských zemích byly prováděny v roce 2011 na základě stejné metodologie, avšak s některými odchylkami s ohledem na specifika jednotlivých zemí. Kapitola druhá diskutuje všeobecné požadavky a pokyny pro hodnocení (ISO, CEDEFOP) (Kapitoly 2.1 a 2.2).
5
Projekt IMPROVE tato kritéria syntetizuje do Pokynů pro projekt IMPROVE. Ty jsou prezentovány v Kapitole 2.4 společně se slovníčkem nedůležitějších termínů. Kapitola třetí poskytuje přehled možných přístupů při hodnocení kompetencí a prezentuje různé metodologie. Kapitola čtvrtá zahrnuje jednu specifickou metodologii založenou na výkonu: „Rozhovor zaměřený na výkon pracovní činnosti – „Performance-based-interview“ (PFI) (viz EAS, 2007) v pilotní formě (PC), která byla základem pilotního šetření v rámci projektu IMPROVE. Kapitola pátá je shrnutím národních zpráv o pilotním šetření této metodologie. Těchto procesů hodnocení, které byly založeny na popsané metodologii, se zúčastnilo více než 120 kandidátů. Procesy hodnocení budou plánovány a podporovány partnerskými institucemi. Všechny partnerské instituce angažují odborníky z oblasti provádění procesů hodnocení a všichni partneři vytvoří skupinu národních odborníků, která zajistí kvalitu procesu hodnocení a pomůže podpořit rozšiřování a udržitelnost výsledků.
6
1. Všeobecné aspekty 1.1 Pozadí a poděkování Zlepšování celoživotního učení bude v nadcházejícím desetiletí zásadním pro všechny společnosti a jednotlivce. Hodnocení výsledků neformálního a neoficiálního učení je jednou z cest, které by to měly podporovat. Neoficiální a neformální učení se zdá mít rostoucí význam v celé Evropě. Mnohé členské státy EU a Organizace pro ekonomickou spolupráci a rozvoj (OECD) projevují závazek a snahu posílit význam uznávání. Uznávání předchozího učení a kompetencí je považováno za důležitý prvek národních postupů ve vzdělávání, výcviku a zaměstnávání. Uznávání je stále více považováno za součást vzdělávání, výcviku a politik zaměstnanosti. Přístup uznávání hraje v této oblasti přemosťující prvek a může v mnoha směrech podpořit lidi a systémy (viz CEDEFOP 2009: 16). To je důležité pro kontext vzdělávání obecně, jakož i pro specifické oblasti vzdělávání a přípravy na zaměstnání. EU a její členské státy již několik let pracují na principech a společných zásadách, které by pomohly identifikovat a vyhodnotit výsledky neformálního a neoficiálního učení (Evropská rada 2004). V letech 2006-2009 různé země rozvinuly v rámci „seskupení pro uznání učebních výsledků“ a procesu učení se od vrstevníků a za silné spolupráce s Evropskou komisí a organizací CEDEFOP „Evropské pokyny pro hodnocení neformálního a neoficiálního učení“ (viz CEDEFOP 2009: 2). Tyto Evropské pokyny jsou zásadním zdrojem pro tohoto Průvodce. Kromě toho jsou však uznávány také texty příslušných standardů ISO a materiály z oblasti kariérového poradenství. Tento Průvodce je tedy založen na různých zdrojích a publikacích, které existují k tématu kompetencí a teorie kompetencí, hodnocení a uznávání kompetencí a souvisejících oblastí. Některé z těchto zdrojů vypracovali jednotliví výzkumníci nebo výzkumné týmy či asociace kariérových poradců nebo byly vytvořeny v rámci národních či evropských projektů. Seznam zdrojů a materiálů je uveden v příloze na konci tohoto dokumentu v části týkající se literatury. Tam, kde jsou citovány online zdroje, jsou odkazy na tyto zdroje zakomponovány přímo do textu dokumentu.
1.2 Uznávání kompetencí Hodnocení, rozpoznání a uznání kompetencí je jednou ze specifických forem rozpoznání předchozího učení.
7
V zásadě je založeno na konceptu kompetencí, který vychází z definice „klíčových kompetencí“, jak ho používá organizace OECD v projektu deset-Project („Definování a výběr klíčových kompetencí“, 2003): „Kompetence jsou více než jen vědomosti a dovednosti. Zahrnují schopnost plnit komplexní požadavky za využití a mobilizace psychosociálních zdrojů (včetně dovedností a přístupů) v příslušném kontextu. Například schopnost efektivně komunikovat je kompetencí, která může vyplývat ze znalostí jazyka, praktických IT dovedností a přístupu příslušného jednotlivce k těm, s nimiž komunikuje.“ (OECD, 2003, str. 4) Jedním z primárních aspektů této definice kompetencí je, že kompetence jsou považovány za atributy jednotlivce. Je možné se jim také naučit a mohou být více či méně rozvíjeny (OECD, 2003, str. 8). Jiným ústředním aspektem tohoto konceptu kompetencí je, že je orientován na výkon: Mít kompetence znamená být schopen v určité situaci jednat efektivně prostřednictvím vlastnictvím všech příslušných kognitivních a praktických dovedností, vědomostí i přístupů, emocí, hodnot a chování (viz Graf 1; viz Weber, Katsarov u. Schiersmann, 2012).
8
c. Výkon. Určitá kompetence musí být viditelná skrze proces činností, které se týkají konkrétních komplexních problémů. Model kompetencí by měl být na takových komplexních problémech založen a měl by definovat indikátory, které pomáhají vidět, zda daný výkon je nebo není úspěšný.
ROZVOJ KOMPETENCÍ JAKO REKURZIVNÍ PROCES
Kompetence je viditelná, když je někdo schopen vyřešit komplexní problém (výkon).
b. Aktualizace. Kognitivní zdroje, behaviorální zdroje a emocionální zdroje, které jsou relevantní pro plnění činnosti, musí být aktualizovány a organizovány osobou, zatímco tato osoba jedná. To se týká reflektivity a meta‐ poznání. Týká se to také procesu učení, tj. rozvoje kompetencí.
a. Individuální zdroje. Pro plnění činnosti, která se týká komplexního problému, musí osoba vlastnit různé zdroje, např. kognitivní zdroje, behaviorální zdroje a emocionální zdroje, které je třeba aktualizovat. Tyto prvky nejsou kompetencemi samotnými, představují však předpoklady pro kompetentní výkon. Tyto zdroje lze popsat v modulech, plánech, atd.
Graf: Tři úrovně, které tvoří koncept „kompetencí.“ Peter C. Weber (vlastní graf).
Graf 1: Kompetence jako schopnost jednat s ohledem na komplexní problémy (Zdroj: Weber, Katsarov u. Schiersmann, 2012). Kompetence tak zahrnují více než jen sbírku naučených vědomostí. S cílem vyrovnat se s komplexními situacemi musejí být jednotlivci schopni mobilizovat řadu intelektuálních, motivačních a emocionálních zdrojů. To vyžaduje porozumění lidským bytostem jako reflektivním jedincům, kteří jsou schopni „myslet sami za sebe, což je výrazem morální a intelektuální dospělosti, a přijímat odpovědnost za své učení a za své jednání.“ (OECD, 2003, str. 8)
9
„Schopnost „reflexe“ se skrývá v srdci této definice kompetencí: Je možné ji popsat jako proces, prostřednictvím něhož jednotlivci dokáží nalézt smysl v určité (neznámé/nikoliv rutinní) situaci a aplikovat nebo adaptovat příslušné zdroje a zkušenosti (dovednosti, vědomosti, hodnoty, chování, atd.), aby se s touto situací úspěšným způsobem vypořádali. Proto je schopnost reflexe jako kritického myšlení a aktivit úzce propojena s procesem vypořádání se se změnou a prostřednictvím reflexe o zkušenostech je základem učení jako takového“ (viz Weber, Katsarov u. Schiersmann, 2012, str. xx). Hodnocení, rozpoznání a uznání jsou tři kroky, které lze přijmout na podporu poradců, poskytovatelů služeb a certifikačních institucí pro: –
identifikaci výkonu kompetencí u kariérových poradců (hodnocení),
–
dokumentování a prezentaci výsledků transparentním a užitečným způsobem (např. pro poradce samotného) (rozpoznání) a
–
rozhodnutí kompetentního orgánu s příslušným mandátem, zda kompetence dosahují určité úrovně, která je definována např. pro plnění daného úkolu (uznání)
Poslední krok tak může být kombinován s vydáním osvědčení, pokud má … mandát a takové osvědčení se v příslušném oboru očekává a vydává. U kariérových poradců může proces hodnocení, rozpoznání a uznání směřovat k různým cílům. Těmi jsou: –
orientace poradců na vlastní reflexi a plánování budoucího rozvoje,
–
podpora zaměstnavatelů a poskytovatelů služeb při plánování jejich činností osobního rozvoje a náborových procesů,
–
podpora výcviku poskytovatelů v oblasti kariérového poradenství,
–
podpora zaměstnavatelů v procesu náboru a rozvoji lidských zdrojů,
–
poskytnutí důkazů pro instituce, které provádějí hodnocení a certifikování kariérových poradců.
Hlavními cíli hodnocení kompetencí poradců v kontextu kariérové poradenství jsou:
porovnání požadovaných kompetencí a výkonu,
posouzení, rozpoznání, uznání a certifikace takových vykonávaných kompetencí (které byly získány prostřednictvím formálního i neformálního procesu učení),
transparentnost ohledně existujících kompetencí, atd. pro poradce samotné, ale také pro klienty, zaměstnavatele, uživatele a jiné účastníky
Následující tabulka ukazuje, že na hodnocení kompetencí lze aplikovat různé přístupy.
10
„Rozpoznání a zajištění, že je práce vykonávána správně, je neustálým středem zájmu našich moderních společností. Kompetentní osobu definujeme jako osobu, která je schopna udělat něco správně4 nebo, chceme-li se vyjádřit přesněji, podle předem stanovené normy.
Existuje několik přístupů jak zajistit, aby bylo zaměstnání vykonáváno kompetentními osobami (Evangelista, 2008)5. Jako kompetentní můžeme označit například osobu, která:
má specifickou studijní kvalifikaci, má specifické zkušenosti (obvykle se měří na základě délky dosavadního nabývání těchto zkušeností),
má specifické osobní rysy – dovednosti, vědomosti, atd., dokáže přímo prokázat dobrý výkon ve specifické pracovní pozici.“
Tabulka 1: Čtyři přístupy (Evangelista 2011: 7)
Z těchto čtyř přístupů pouze poslední „výkon založený na přístupu“ zahrnuje demonstraci výkonu osoby v rámci specifického úkolu nebo práce. V souladu s cíli projektu IMPROVE se však tento Průvodce vztahuje k metodologii a postupům, které dokáží přispívat k hodnocení kompetencí ve smyslu čtvrtého přístupu (prokázat dobrý výkon ve specifické pracovní pozici). Nejdůležitějšími argumenty pro výběr této strategie jsou:
zaměření se na kompetence bez ohledu na výkon je zavádějící, protože se zaměřují na jiná kritéria (např. osobní rysy, vědomosti, zkušenosti nebo kvalifikace), avšak nikoliv na kompetence ve smyslu uvedené definice,
stávající přístupy v oblasti kariérového poradenství se většinou zaměřují na rozpoznání kvalifikace, zkušeností nebo osobních rysů (vědomosti nebo dovednosti) (viz Evangelista, 2011),
4
Kompetentní. (pozn.). Slovník Cambridge Advanced Learner's Dictionary Online. získáno 3. února2011 ze zdroje http://dictionary.cambridge.org/dictionary/british/competence); jedním z příkladů záznamů je kompetentní sekretářka/žokej/kuchař
5
Evangelista, L. (2008). Dílo The quest for competence. Orientamento.it. Získáno3. února 2011 ze zdroje http://orientamento.it/orientamento/8d.htm.
11
mít blízký vhled do praxe kariérového poradce, zda si ví rady; uvedený přístup by měl být co nejbližší této praxi, aby dal poradci šanci získat vhled a zranitelný zdroj pro reflexi a další rozvoj.
2. Zdroje Pokynů pro hodnocení kompetencí kariérových poradců Různé zdroje definující požadavky nebo zásady pro hodnocení a certifikaci kompetencí a jiných výsledků učení.
CEDEFOP, 2009: „Evropské pokyny pro hodnocení výsledků neformálního a neoficiálního učení“6
ISO/IEC 17024, 2003: „Vyhodnocení souladu – Obecné požadavky pro orgány provádějící certifikaci osob“
Existující struktury pro uznávání kompetencí kariérových poradců.
2.1 Principy a pokyny CEDEFOP pro hodnocení předchozího učení Hodnocení předchozího učení, jakož i hodnocení a rozpoznání kompetencí se stává stále důležitějším procesem. Již v roce 2004 přijala Evropská rada běžné evropské principy pro identifikaci a hodnocení výsledků neformálního a neoficiálního učení.
Jednotlivá oprávnění Identifikace a hodnocení výsledků neformálního a neoficiálního učení by měly být v zásadě dobrovolnou záležitostí příslušného jednotlivce. Měl by existovat rovný přístupů a spravedlivé zacházení s jednotlivci. Je třeba respektovat soukromí a práva jednotlivce.
Povinnosti zainteresovaných osob Zainteresované osoby by měly v souladu se svými právy, odpovědnostmi a kompetencemi ustavit systémy a přístupy pro identifikaci a hodnocení výsledků neformálního a neoficiálního učení. Tyto systémy a přístupy by měly zahrnovat příslušné mechanismy pro zabezpečení kvality. Zainteresované osoby by měly jednotlivcům poskytovat pokyny, poradenství a informace o těchto systémech a přístupech.
6
CEDEFOP 2009. Zdroj http://www.cedefop.europa.eu/en/news/4041.aspx (2011-03-02)
12
Důvěra a záruky Procesy, postupy a kritéria pro identifikaci a hodnocení výsledků neformálního a neoficiálního učení musejí být poctivé, transparentní a musejí být podloženy mechanismy pro zabezpečení kvality.
Hodnověrnost a legitimita Systémy a přístupy pro identifikaci a hodnocení výsledků neformálního a neoficiálního učení by
měly
respektovat
legitimitu
zájmů
a
zajistit
vyváženou
účast
příslušných
zainteresovaných osob. Tabulka 2: Základní principy identifikace a hodnocení ne ‐formálního a neoficiálního učení, Rada Evropské Unie 2004.
V rámci publikace CEDEFOP 2009 „Evropské pokyny pro hodnocení výsledků neformálního a neoficiálního učení“ do této oblasti přispělo i „Evropské uskupení pro rozpoznání výsledků učení,“ a to sadou podrobnějších pokynů pro hodnocení. Ty jsou výsledkem procesu učení se od vrstevníků, který zahrnuje partnery z 29 evropských zemí. Publikace CEDEFOP se zabývá následujícími tématy:
Efektivní proces hodnocení: evropská perspektiva, národní perspektiva, organizační perspektiva a individuální perspektiva
Struktura procesů hodnocení
Metoda vyhodnocování
Hodnocení poradci
Shrnutí principů a pokynů
V tomto Průvodci se vždy, když je to potřebné a vhodné, odkazujeme na Pokyny CEDEFOP. Velký význam mají zejména struktura procesu hodnocení, posouzení metod, hodnocení poradců a kritéria kvality formulovaná v Pokynech CEDEFOP. Pokyny CEDEFOP jsou účelově zaměřené a v jejich rámci můžeme nalézt normy pro hodnocení všech typů předchozího učení. Po několika letech testování způsobů hodnocení kompetencí a předchozího učení v širokém spektru různých konceptů předkládají Pokyny CEDEFOP obecný rámec zásad a pomáhají diskutovat vhodnost existujících či nově navržených struktur pro uznávání kompetencí kariérových poradců.
13
2.2 Základní principy a pokyny v podrobnostech s příklady pro hodnocení kariérových poradců Ze závěru publikace CEDEFOP plyne, že by měly být brány v potaz následující principy a pokyny:
Ústředním bodem hodnocení je jednotlivec. Hodnocení musí být dobrovolné. Je třeba respektovat soukromí jednotlivce. Je třeba zajistit rovný přístup a spravedlivé zacházení. Do zavádění systémů pro hodnocení by měly být zapojeny zainteresované osoby. Systémy by měly zahrnovat mechanismy pro vedení a poradenství pro jednotlivce. (…)
Systémy by měly být podpořeny zajištěním kvality Proces, postupy a kritéria hodnocení musejí být spravedlivá, transparentní a musejí být podpořena zajištěním kvality.
Systémy by měly respektovat legitimní zájmy zainteresovaných osob a snažit se o vyváženou účast.
Proces hodnocení musí být nestranný a je třeba se vyhnout střetům zájmů. Je třeba zajistit profesionální kompetence těch, kdo provádějí hodnocení. Tabulka 3: Základní principy podporující hodnocení: (CEDEFOP 2009: 70)
Ústředním bodem hodnocení je jednotlivec: Aktivity jiných orgánů, které jsou zapojeny do hodnocení, by měly být zvažovány ve světle jejich dopadu na jednotlivce. Pokyny CEDEFOP uvádějí, že k hodnocení by měl mít přístup každý, a důraz na motivaci zapojení se do procesu je velmi významný. Mnohé fáze procesu hodnocení nabízejí jednotlivcům mnohé příležitosti pro rozhodování o budoucím směřování jejich hodnocení. Rozhodování by mělo být podpořeno informacemi, poradenstvím a vedením (CEDEFOP 2009: 72)
14
Hodnocení musí být dobrovolné: Kariérový poradce se účastní procesu hodnocení jeho kompetencí z vlastní vůle a dobrovolně. Hodnocení nemá být třetí stranou, např. zaměstnavatelem, veřejnými orgány nebo profesionálními organizacemi, předkládáno jako povinné.
Je třeba respektovat soukromí jednotlivce: V celém procesu hodnocení je třeba respektovat soukromí zúčastněných kariérových poradců. Zaměstnanci musejí při nakládání s osobními podrobnostmi dodržovat legislativu, která se týká ochrany údajů. Informace, které poskytne účastník, ani informace o procesu hodnocení nebo výsledcích není možné předložit třetí straně.
Je třeba zajistit rovný přístup a spravedlivé zacházení: Hodnotící organizace musí zajistit, aby všichni poradci, kteří se chtějí zúčastnit procesu hodnocení, měli k němu přístup. To zahrnuje nutnost, aby organizace zajistila transparentní a viditelné informace o příležitosti zúčastnit se hodnocení a podrobnosti o tomto procesu. Všechny příslušné zainteresované osoby, sítě kariérových poradců a profesionální orgány by se měly aktivně zapojit pro procesu propagace. S účastníkem procesu hodnocení by mělo být zacházeno spravedlivým způsobem. To v zásadě znamená: aby byl před začátkem procesu informován o tomto procesu hodnocení, o požadavcích, o potřebných zdrojích a příležitostech, aby se všemi účastníky bylo zacházeno stejným způsobem a na základě srovnatelných podmínek, a aby byl výsledek procesu založen výhradně na vyhodnocovaných kompetencích.
Do zavádění systémů pro hodnocení by měly být zapojeny všechny zainteresované osoby: Systém hodnocení kariérových poradců je třeba nastavit v souladu se zainteresovanými osobami z daného oboru. Na všech úrovních, tj. evropské, národní, regionální i místní, by měly být zapojeny zainteresované osoby vždy, když aktér začne vytvářet systém pro hodnocení. Důležitými zainteresovanými osobami jsou: Politici a veřejné instituce, které se zabývají kariérovým poradenstvím Sítě kariérových poradců
15
Zaměstnanci a asociace zaměstnanců Profesionální asociace a příslušné odborové organizace Poskytovatelé vzdělání a výcviku pro kariérové poradce Jiné příslušné zainteresované osoby
Systémy by měly zahrnovat mechanismy pro vedení a poradenství pro jednotlivce: Systém hodnocení, který je zaveden, by měl zahrnovat mechanismy a příležitosti pro vedení, poradenství nebo doporučení ohledně procesů hodnocení. Tato podpora by měla být nezaujatá a informovaná. Kandidáti by se měli před rozhodnutím, zda se zúčastní procesu hodnocení, dozvědět: jaká je jeho přidaná hodnota (např. ve smyslu dalších možností vzdělávání a získání zaměstnání), co mohou očekávat (např. ve smyslu podpory a výsledků), jaké normy je třeba splnit (např. kompetence, které jsou hodnoceny, používané metody hodnocení) jakou formou je třeba předložit doklady o výsledcích učení (např. prezentace dokladů), jak celý proces probíhá (např. časový rozvrh, náklady, postupy) jakou kvalitu lze očekávat (např. formy důkazů, kvality a norem). Pokyny CEDEFOP uvádějí, že účastnícím se poradcům by měly být na konci procesu hodnocení nebo po něm nabídnuty informace a doporučení ohledně potenciálních dalších cest k získání větší kvalifikace a ohledně pracovních příležitostí. Tento typ poradenství a doporučení lze nabídnout při osobním setkání i pomocí jiné struktury na dálku, například online (viz CEDEFOP 2009: 53). Mělo by se zdůraznit, že pro poskytování poradenství spojeného s otázkami hodnocení, techničtějšího poradenství nebo poradenství v osobnějších otázkách jsou potřebné odlišné dovednosti.
Systémy by měly být podpořeny zabezpečením kvality:
Proces, postupy a kritéria pro hodnocení musejí být spravedlivá, transparentní a podpořena zabezpečením kvality: Vše, co bylo uvedeno o zabezpečení kvality systémů hodnocení, se týká také procesu
16
hodnocení, postupů a kritérií. Pro tyto oblasti mají také význam určité profesionální a technické aspekty. Je-li budován systém hodnocení, měl by být definován systém zabezpečení kvality, který bude zahrnovat jasný závazek dodržování kritérií kvality (pokyny pro hodnocení!) na jedné straně a procesy pro zabezpečení kvality a vývoj kvality na straně druhé. Takové postupy by měly zejména obsahovat: jasnou odpovědnost za zabezpečení kvality, definované mechanismy zabezpečení kvality, struktury pro posouzení a zpětnou vazbu, časté revize procesů a postupů, neustálé učení a výcvik pro zapojené zaměstnance, vysokou transparentnost pro všechny zainteresované strany, která se bude týkat modelu zabezpečení kvality a přijatých opatření. Zabezpečení kvality systému je relevantním úkolem pro všechny zapojené zainteresované osoby na úrovni zásad, na organizační úrovni i na úrovni poradců, kteří se zapojí do procesu hodnocení. Navíc je ve zprávě organizace CEDEFOP prezentován hodnotící seznam, který obsahuje všechny pokyny v oblasti kvality hodnotících aktivit. Pro zabezpečení kvality hodnotících postupů navíc Pokyny CEDFOP uvádějí následující indikátory kvality. Jsou to: spolehlivost, platnost, bezpečnost, ochrana a důvěrnost, normy/referenční body pro měření kompetencí, udržitelnost, průhlednost a transparentnost, vhodnost pro daný účel, nákladová efektivita.
Spolehlivost Termín „spolehlivost“ znamená, že proces hodnocení musí dospět ke stejným výsledkům, jeli použit u různých kariérových poradců se stejnou úrovní kompetencí. To je důležité, protože proces hodnocení musí vést k důvěryhodným výsledkům. Pokud se rámce pro učení a
17
hodnocení významně odlišují, musí proces hodnocení tyto rozdíly zohledňovat; kdyby bylo třeba proces opakovat, výsledky musejí být stejné (CEDEFOP 2009: 78).
Platnost Termín „platnost“ popisuje požadavek pro proces hodnocení a metodologii, která se používá pro hodnocení a uznávání popsaných kompetencí. Důkazy dokumentované u jednotlivce musejí být přímo spjaty s normami, které se používají pro hodnocení. Důkazy nesmějí vést k posunu významu norem (CEDEFOP 2009: 78).
Bezpečnost, ochrana a důvěrnost Počáteční a průběžné zapojení do procesu hodnocení od identifikace až po vydání osvědčení nesmí být kompromitováno nedostatkem důvěry a následným snížením motivace pokračovat v účasti.
Normy/referenční body pro měření kompetencí Termín „normy“ se v tomto dokumentu vztahuje ke struktuře, která popisuje kompetence, jež mají být hodnoceny. Tyto normy tvoří základ a účel procesu hodnocení. Rámec kompetencí by měl zahrnovat jasný a operacionalizovaný popis příslušných kompetencí, které se týkají určitých pracovních rolí nebo klíčových pracovních aktivit. Tento rámec kompetencí musí existovat v jasné a jednoznačné formě, v níž mají důvěru klíčové zainteresované osoby, např. příslušná národní sdružení profesionálů, příslušné národní sítě nebo zaměstnavatelé. Tento rámec kompetencí je také „organizační strukturou“ dokumentace výsledků. Bez jasného rámce kompetencí nelze promocí procesu hodnocení provést identifikaci jednotlivých úrovní kompetencí.
Udržitelnost Udržitelnost se vztahuje k průběžné existenci a nabídce procesu hodnocení a certifikace. To je významný faktor, protože procesy hodnocení mohou být náročné na zdroje, zejména pro jednotlivce, kteří se prezentují v rámci hodnocení. Důvěra v hodnocení také závisí na délce fungování procesu a na způsobu, jak je znám a chápán v rámci komunit. Udržitelnost je proto klíčovým aspektem, který je třeba vzít v potaz (CEDEFOP 2009: 79).
18
Průhlednost/transparentnost Aby měl příslušný význam, musí způsob, jímž proces zjišťování a hodnocení funguje, generovat důvěru v posudky. Transparentnost a průhlednost hodnocení je jedním ze zásadních prvků, které podporují důvěru. (CEDEFOP 2009: 79). To je důležité na evropské, národní i místní úrovni. Jde o průhlednost hodnotící organizace a schématu hodnocení a transparentnost zavedených norem/rámce kompetencí. Z toho důvodu má velký význam marketing a vytváření sítí.
Vhodnost pro daný účel Rozličnost metod a rámců pro hodnocení úrovně a dostatečnosti dokladů kompetencí je velmi vysoká. Vybrané metody by měly zapadat do rámce kompetencí, který je základem pro hodnocení, avšak metody by ve své kombinaci měly také vytvářet citlivou a důvěryhodnou sadu nástrojů ve formě hodnotících metod (CEDEFOP 2009:79).
Nákladová efektivita Většinou platí, že procesy hodnocení neformálního a neoficiálního učení jsou vysoce individuální a nejsou spojeny s výhodou použití velkého rozsahu (velké skupiny učebních výsledků jsou hodnoceny podobným způsobem). Proto jsou úspory z rozsahu omezené a náklady je třeba měřit ve vztahu k očekávaným výstupům pro příslušné zainteresované osoby (CEDEFOP 2009:79).
Systémy by měly respektovat legitimní zájmy zainteresovaných osob a usilovat o vyváženou účast: V procesu budování a udržování systémů hodnocení by se měly angažovat i podpůrné zainteresované osoby. Zainteresované osoby jsou takové osoby nebo instituce, které neposkytují poradenství, neprovádí posuzování ani řízení systému hodnocení samotného, avšak mají zájem na úspěšném průběhu hodnocení. Takovými zainteresovanými osobami jsou například: odpovědní zaměstnanci veřejných orgánů, které proces financují, odpovědní zaměstnanci veřejných orgánů, které schválily zásady pro hodnocení, manažeři oddělení lidských zdrojů soukromých společností, vedoucí příslušné komunity, kteří se zasazují o zapojení skupin nebo jednotlivců do
19
procesu učení a zaměstnávání, vzdělávací organizace z formálního sektoru, charity a dárci. Mělo by se uvažovat o zapojení těchto zainteresovaných osob do poradenských výborů. Mohou hrát významnou roli při podpoře, rozvoji a udržování procesu hodnocení kariérových poradců a jako spojovací články s různými komunitami, kterým slouží výsledky hodnocení. Složení takového výboru by mělo být vyvážené (viz CEDEFOP 2009: 69).
Proces hodnocení musí být nezaujatý a musí se vyhnout střetům zájmů. Hodnocení kompetencí je příležitostí pro jednotlivé kariérové poradce. Jak bylo uvedeno výše, mohou se ho zúčastnit na základě svého vlastního rozhodnutí. Kandidát by neměl být k účasti nucen třetí stranou. „Zájmy jednotlivců by neměly být převálcovány zájmy těch, kdo řídí hodnocení, nebo jiných zainteresovaných osob (žádné střety zájmů)“ (CEDEOFP 2009: 79). Proto by organizace a procesy hodnocení i zapojené osoby měly být nezávislé a neutrální.
Musejí být zabezpečeny profesionální kompetence těch, kdo provádějí hodnocení. Hodnotitelé/porotci musejí mít odpovědnost za „vyhledávání a revidování dokladů o učebních výsledcích jednotlivců a za posuzování, co splňuje či nesplňuje specifické normy“ (CEDEFOP 2009: 67). Tyto osoby by tedy měly být „obeznámeny s normami a potenciálně užitečnými metodami hodnocení, které mohou být použity pro porovnání dokladů s těmito normami“ (CEDEFOP 2009: 68). Navíc by hodnotitelé/porotci měli být profesionály v sektoru, v němž jsou účastníci hodnoceni. „Autentičnost hodnotící situace se pravděpodobně zvýší, mohou-li použití hodnotícího nástroje nebo posouzení výstupů jeho použití provádět sektoroví experti“ (CEDFOP: 2009: 68). Osoby, které se tohoto procesu účastní: „musejí být seznámeny s procesem hodnocení (platnost a spolehlivost), nesmějí mít osobní zájem na výsledcích hodnocení (aby se zajistila nezaujatost a vyloučily se střety zájmů), musejí být seznámeny s různými metodologiemi hodnocení,
20
musejí být schopny vzbuzovat důvěru a vytvářet vhodné psychologické prostředí pro kandidáty, musejí mít závazek, že poskytnou zpětnou vazbu ohledně shody mezi výsledky učení a hodnotícími normami/referencemi (prostřednictvím podpůrných systémů), musejí být vycvičeny v posuzování a v procesech hodnocení a musejí znát mechanismy zabezpečení kvality“ (CEDFOP, 2009: 68). Kromě těchto základních principů jsou v publikaci CEDEFOP popsány další pokyny. Nejdůležitější se ve světle praxe hodnocení zdají být ty, které se zabývají hodnocením v praktičtějším smyslu: Struktura procesů hodnocení Metody vyhodnocování Role v procesu hodnocení
Struktura procesů hodnocení: Hodnocení kompetencí kariérových poradců sleduje tři základní kroky: Informace, posouzení a (vnější) audit/uznání výsledků. Tyto tři procesy, tj. orientace/informace a poradenství, posouzení a vnější audit, lze použít pro posouzení existujících procesů hodnocení a na podporu rozvoje nových procesů hodnocení (viz CEDEFOP 2009: 72).
Proces hodnocení se může zdát komplexní, protože jeho mnohé prvky jsou ve vzájemné interakci, mohou však být zjednodušeny za účely komunikace a organizace procesu. V Pokynech CEDFOP se uvádí, že existují tři odlišné fáze procesů hodnocení:
První fází je orientace (informace, poradenství) jednotlivce. Ta zahrnuje aspekty shromáždění a distribuce informací a interakci kariérových poradců se zaměstnanci zapojenými do hodnocení. Konce této fáze je dosaženo prostřednictvím rozhodnutí o účasti, kdy se aktivita začne zaměřovat na vyhodnocování skutečných kompetencí jednotlivce. To zahrnuje například dohodu mezi hodnotícím orgánem a kandidátem ohledně procesu hodnocení, časového rozvrhu, ceny, atd.
Druhým krokem je z pohledu organizace CEDEFOP posouzení kompetencí kariérových poradců. To zahrnuje:
21
celý proces hodnocení od porozumění požadavkům a normám, identifikaci výsledků učení, vyhledání dokladů o kompetencích, jejich organizaci pro hodnocení, a provedení dohodnuté analýzy a procesu hodnocení. Konec této druhé fáze je definován prohlášením hodnotitelů/porotců, které představuje vyjádření orgánu, jenž proces hodnocení prováděl (certifikační orgán), zda příslušná osoba je nebo není kompetentní. Posledním krokem je audit (nebo uznání) procesu hodnocení. Ten je snazší definovat a představuje post-hodnotící fázi, která zahrnuje vnější, nezávislou revizi výsledků hodnocení. To naznačuje, že druhý a třetí krok musí být proveden dvěma odlišnými orgány, tj. na jedné straně organizací, která provádí informování, poradenství a hodnocení, a na straně druhé certifikačním orgánem, který uzná a certifikuje výsledek.
Metody hodnocení: Jsou-li použity pro hodnocení, musejí být příslušné metody přijaty, kombinovány a aplikovány způsobem, který odráží individuální specifičnost a‐nestandardní charakter kompetencí kariérových poradců, které byly získány prostřednictvím neformálního a neoficiálního učení. Metody hodnocení musejí být vhodné pro daný účel (viz CEDEFOP 2009: 72) V Pokynech CEDEFOP se také uvádí, že metody hodnocení výsledků neformálního a neoficiálního učení jsou v zásadě stejné jako metody, které se používají při hodnocení výsledků formálního učení. Toto tvrzení však lze podrobit kritice, protože existují specifické požadavky na metodologii pro hodnocení kompetencí (viz kapitola 4 a 5).
Existují různé metody, které lze použít pro hodnocení kompetencí kariérových poradců. Pokyny CEDEFOP zdůrazňují, že používané metody musejí být přijaty, kombinovány a aplikovány způsobem, který odráží specifičnost příslušného procesu hodnocení, jenž má být proveden. Hodnocení kompetencí kariérových poradců tedy vyžaduje metodologie, které jsou pro něj vhodné. Pro posouzení vhodnosti příslušné metodologii lze použít například následující kritéria: šíře vědomostí, dovedností a kompetencí, které mají být hodnoceny, hloubka učebních výsledků, které jsou požadovány pro získání takových kompetencí,
22
jak běžné nebo aktuální příslušné vědomosti, dovednosti a kompetence jsou, dostatek informací pro hodnotitele/porotce, aby mohl provést posouzení, autentičnost skutečnosti, že překládané doklady jsou opravdu výstupy učení daného jednotlivce (CEDEFOP 2009: 59).
Důležitým aspektem, který je třeba vzít v úvahu, je typ předchozího vzdělání a kompetencí, o něž nám jde, když se zabýváme kariérovými poradci. Zejména jde o:
šíři vědomostí, dovedností a kompetencí, které jsou v této praxi potřebné,
hloubku učebních výsledků, které jsou požadovány pro získání takových kompetencí,
jak běžné nebo aktuální příslušné vědomosti, dovednosti a kompetence jsou (CEDEFOP 2009: 59).
Pokud jde o praxi kariérových poradců, je zřejmé, že se jedná o komplexní, komunikativní, silně zakotvenou sociální službu, která vyžaduje aktuální vědomosti z různých oblastí, jakož i velmi zásadní vědomosti o jednotlivcích. Jak je to diskutováno zejména v
teorii
profesionalizace (např. Mieg: 2005; Singer/Ricard 2009), takový druh profesionálních činností vyžaduje kompetence, které se rozvíjejí v rámci dlouhé a intenzivní doby učení – formálního i neformálního, zatímco formální učení bez praktických zkušeností a reflexe nemůže být nikdy dostatečné. Pokud toto uznáme, metodologie, kterou budeme aplikovat, musí tomuto expertnímu plavidlu a konceptu profesionálních kompetencí odpovídat.
Role v procesu hodnocení: Hodnocení kompetencí se provádí v rámci procesu mezi poradcem, který chce dosáhnout uznání svých kompetencí, a různými odborníky, kteří ho přímo podporují nebo jejichž podpora zabezpečuje celý proces a jeho kvalitu. Pro zajištění nejefektivnější a nejsilnější podpory pro poradce musíme rozlišovat mezi různými rolemi. Následující zásady jsou nejvýznamnějšími aspekty, které je třeba vzít v úvahu. Efektivní řízení procesů hodnocení zásadně závisí na profesionální aktivitě:
Průvodci/praktici kariérového poradenství – poskytují informace, poradenství a vedení
Hodnotitelé/porotci – provádějí posouzení kompetencí
Administrátoři procesu hodnocení – řídí a organizují celý proces
23
Vnější pozorovatelé – zajišťují propojení mezi příslušnými aktéry (např. profesionální orgány, národní fóra), komunikaci a kvalitu.
Příprava a průběžný výcvik těchto osob mají zásadní význam. Vytváření sítí, které umožňují sdílení zkušeností a plné fungování komunity praktikujících poradců, by mělo být součástí rozvojového programu pro poradce. Je třeba zabezpečit profesionální kompetence těch, kdo provádějí hodnocení. Efektivní řízení procesů hodnocení závisí na profesionální aktivitě různých osob. Tyto osoby by měly podstupovat pravidelnou přípravu a výcvik. Zapojené osoby by měly být integrovány do aktivit vytváření sítí, které umožňují sdílení zkušeností. Ustanovení komunity praktikujících poradců by mělo být součástí rozvojového programu pro poradce (viz CEDEFOP 2009: 66).
Interakce mezi různými poradci v příslušném procesu hodnocení pravděpodobně povede k efektivnějším a úspornějším praktikám, které budou podporovat jednotlivce podstupující hodnocení (CEDEFOP 2009: 66). Chceme zdůraznit, že absolutně není možné rozlišit všechny aspekty těchto rolí/funkcí a je možné, že v praxi se některé překrývají. Je možné, že jsou potřebné další role/funkce nebo že jedna osoba musí v různých fázích procesu přijmout více než jednu roli. „Každý proces hodnocení je unikátní a role (funkce) (…) se mohou lišit (…)“ (CEDEFOP 2009: 66). Zdá se být důležité, že pro poradce, kteří chtějí podstoupit hodnocení, jakož i pro vnější aktéry je dobrá kvalita a transparentnost celého procesu. Proto je nezbytné zajistit výcvik, dokumentaci a informace o příslušných rolích a s nimi spojených činnostech.
2.3 ISO 17024: Posouzení souladu – Všeobecné požadavky pro orgány, které provádějí certifikaci osob Navíc k Pokynům CEDEFOP je norma ISO 170247významným zdrojem informací o požadavcích na procesy hodnocení (Evangelista 2011: 31). Norma ISO 17024 se zaměřuje na certifikaci spíše než na hodnocení, definice certifikace je však velmi podobná uvedené definici hodnocení8. Certifikace je definována následovně: „Certifikace osob je jedním z prostředků, jak zabezpečit, aby certifikovaná osoba splňovala požadavky schématu certifikace. Důvěra v příslušná schémata certifikace je dosahována prostřednictvím globálně
7
http://www.iso.org/iso/iso_catalogue/catalogue_tc/catalogue_detail.htm?csnumber=29246 (201103-03)
8
„Potvrzení kompetentním orgánem, že výsledky učení (vědomosti, dovednosti a/nebo kompetence), kterých jednotlivec dosáhl ve formálním, neformálním nebo neoficiálním prostředí, jsou vyhodnoceny oproti předem definovaným kritériím a jsou v souladu s požadavky normy o hodnocení. Hodnocení obvykle vede k vydání osvědčení“ (CEDEFOP, 2009: 71).
24
přijímaného procesu hodnocení, následujícího dohledu a pravidelného přehodnocování kompetencí certifikovaných osob“ (ISO 17024: V). Největší rozdíl tkví v tom, že norma ISO se jasněji zaměřuje na kompetence, zatímco Pokyny CEDFOP se zaměřují na všechny druhy výsledků učení (viz ISO 17024, 2003: V). Tato norma ISO uvádí různé požadavky pro organizace provádějící certifikaci osob. „Certifikace osob je jedním z prostředků, jak zabezpečit, aby certifikovaná osoba splňovala požadavky schématu certifikace. Důvěra v příslušná schémata certifikace je dosahována prostřednictvím globálně přijímaného procesu hodnocení, následujícího dohledu a pravidelného přehodnocování kompetencí certifikovaných osob.“ (ISO/IEC 17024:2003, str. V). Proto může být norma ISO 17024 považována za sadu zásad navíc k Pokynům CEDEFOP, která poskytuje dodatečný základ pro zlepšování existujících schémat hodnocení v oblasti kariérového poradenství.
Podle ISO 2003:59 byla norma ISO 17024 „sestavena s cílem dosáhnout a podporovat globálně přijatelné měřítko pro organizace, které provádějí certifikaci osob. Certifikace osob je jedním z prostředků, jak zabezpečit, aby certifikovaná osoba splňovala požadavky schématu
certifikace.
Důvěra
v příslušná
schémata
certifikace
je
dosahována
prostřednictvím globálně přijímaného procesu hodnocení, následujícího dohledu a pravidelného
přehodnocování
kompetencí
certifikovaných
osob.
(…)
jednou
z charakteristických funkcí personálu certifikačního orgánu je přezkoušení, které využívá objektivní kritéria pro kompetence a vyhodnocování.“ Tabulka 4: Odůvodnění normy ISO 17024 (2003): V
Norma ISO představuje jasnou úpravu následujících bodů:
nezávislost a nezaujatost certifikačních orgánů,
certifikační schéma(ta) musejí být vyvinuta výborem pro tvorbu schématu, který bude jmenován certifikačním orgánem,
tento výbor pro tvorbu schématu je odpovědný za rozvoj a údržbu schématu certifikace,
výbor pro tvorbu schématu musí spravedlivě a nestranně reprezentovat zájmy všech stran,
25
metody a mechanismy, které budou použity pro vyhodnocení kompetencí kandidátů, jsou definovány certifikačním orgánem v souladu s výborem pro tvorbu schématu,
certifikační orgán vyhodnotí metody zkoumání kandidátů,
zkoumání kandidátů musí být spravedlivé, platné a spolehlivé,
bude definována metodologie a postupy (jako je sběr a údržba statistických údajů), aby se alespoň jedenkrát ročně zajistila spravedlivost, platnost, spolehlivost a všeobecný výkon každého zkoumání a došlo k nápravě všech nedostatků,
požadavkem certifikačního schématu může být úspěšné splnění schváleného výcvikového kurzu (který kandidát podstoupil),
certifikační orgán prozkoumá kompetence kandidáta na základě požadavků příslušného schématu prostřednictvím písemného či ústního testu, pozorování nebo jiných prostředků.
Tabulka 5: Požadavky normy ISO 17024 (2003): 2ff.
Nezávislost a nezaujatost certifikačních orgánů: Certifikační orgán je institucí, která má mandát provádět posouzení a proces hodnocení a vydávat osvědčení. Certifikační orgán, jeho zásady a postupy a administrace se budou vztahovat ke kritériím certifikace, budou spravedlivé a rovné pro všechny kandidáty. Budou v souladu se všemi platnými nařízeními a požadavky (ISO 17024: 2). To by mělo být uvedeno v zásadách definovaných příslušným certifikačním orgánem. Organizace certifikačního orgánu by měla být strukturována, pokud jde o jeho kompetence, nezaujatost a integritu a definici osob, které mají celkovou odpovědnost za hodnocení, formulaci zásad a rozhodování o certifikaci, implementaci těchto zásad a postupů, za finance certifikačního orgánu a za udělování pravomocí případným výborům nebo jednotlivcům. Certifikační orgán bude založen jako právnická osoba nebo jako součást právnické osoby (ISO 17024: 2f.). Navíc existují některé další aspekty, které by měly být rozvíjeny, zavedeny nebo garantovány:
jmenování výboru pro tvorbu schématu, který je odpovědný za akreditační schéma,
nezbytné finanční zdroje,
jasné zásady pro odlišení certifikačních aktivit od jiných aktivit,
26
zajištění, aby stejná organizace neposkytovala výcvik nebo pomoc jiným při přípravě na takové služby (s výjimkou případů, kdy daná organizace prokáže, že výcvik je nezávislý na hodnocení a certifikaci),
že má definovány zásady a postupy pro řešení odvolání a stížností, které uchazeči podají,
a že zaměstnává dostatek osob s příslušným vzděláním, výcvikem a technickými vědomostmi a zkušenostmi (ISO 17024: 3.).
Společně tyto body jasně stanovují, že certifikační orgán musí být velmi pečlivě a profesionálně vybudován a definován. Existuje potřeba vysoce rozvinutých postupů a deklarace zásad a velká transparentnost, aby se zajistilo, že nedochází ke zpochybnění důvěrnosti a nezaujatosti.
Certifikační schéma(ta) musejí být vyvinuta výborem pro tvorbu schématu, který bude jmenován certifikačním orgánem: Certifikační orgán zkoumá kompetence poradců v závislosti na požadavcích příslušného schématu prostřednictvím písemného, ústního, pozorovacího testu nebo jinými prostředky. Certifikační orgán ustanoví výbor pro tvorbu schématu: „Certifikační orgán jmenuje výbor pro tvorbu schématu, který bude odpovědný za vývoj a údržbu certifikačního schématu pro všechny typy uvažované certifikace. Výbor pro tvorbu schématu musí spravedlivě a nestranně reprezentovat zájmy všech stran, které budou významným způsobem zapojeny do certifikačního schématu, aniž by umožnil dominanci některého z těchto zájmů. Tam, kde bude certifikační schéma vyvinuto jinou organizací, než je certifikační orgán, musí příslušný tvůrce schématu dodržovat stejné principy“ (ISO 17024: 3). Certifikační schéma definuje „specifické požadavky pro certifikaci, které se vztahují ke specifickým kategoriím osob, na něž se vztahují stejné příslušné normy a pravidla a stejné postupy (ISO 17024:1). Certifikační orgán je odpovědný za definování metod a mechanismů pro posouzení kompetencí kandidátů. To zahrnuje i definování zásad a postupů pro rozvoj a údržbu těchto metod. (ISO 17024: 4). Navíc musí certifikační orgán definovat proces pro (další) rozvoj a údržbu certifikačního schématu. Za splnění tohoto úkolu je odpovědný výbor pro tvorbu schématu. Výbor pro tvorbu schématu musí spravedlivě a nestranně reprezentovat zájmy všech stran. Certifikační orgán je odpovědný za průběžné hodnocení metod zkoumání kandidátů. Toto zkoumání musí být spravedlivé, platné a spolehlivé.
27
Metody a mechanismy, které se používají pro hodnocení kompetencí kandidátů, musí definovat certifikační orgán bude definována metodologie a postupy (jako je sběr a údržba statistických údajů), aby se alespoň jedenkrát ročně zajistila spravedlivost, platnost, spolehlivost a všeobecný výkon každého zkoumání a došlo k nápravě všech nedostatků. (ISO 17024: 4). Kritéria pro posouzení/hodnocení kompetencí musejí odpovídat kritériím, jež definoval certifikační orgán. Tato kritéria by měla být definována v souladu s mezinárodními normami a jinými příslušnými dokumenty. Certifikace bude omezena limitujícími podmínkami, jako jsou nepřípustné finanční požadavky nebo členství v určité asociaci či skupině (ISO 17024: 4).
Systém řízení: Prováděcí organizace zavede systém řízení, který bude zdokumentován a bude pokrývat všechny požadavky mezinárodní normy ISO 17024. ISO 9001 je takovým systémem řízení. Tento systém řízení by měl být zaveden na všech úrovních organizace. Tento systém řízení by měl být přezkoumáván a neustále zdokonalován (ISO 17024: 4).
Subdodavatelé: Uzavřel-li certifikační orgán ujednání o subdodávkách, které se vztahují k certifikaci u jiných organizací, je třeba o tom sepsat písemnou smlouvu, která bude taková ujednání zahrnovat (důvěrnost, předcházení střetům zájmů, atd.). Certifikační orgán je plně odpovědný za své subdodavatele, zejména za výběr partnera, který musí být kompetentní, ochotný a schopný dodržovat mezinárodní normu IS0 17024. (ISO 17024: 4f.).
Záznamy, důvěrnost a bezpečnost: Certifikační orgán musí vést systém záznamů, který bude potvrzovat status certifikovaných osob a dokládat proces hodnocení i jeho efektivní plnění. Formuláře žádostí, zprávy o analýzách/hodnocení, aktivity spojené s dohledem a jiné příslušné dokumenty budou písemně zaznamenávány. Certifikační orgán musí nakládat se všemi informacemi jako s důvěrnými. To bude dokumentováno právně vynutitelnými závazky, které musejí přijmout všechny osoby pracující v rámci příslušného orgánu (členové výboru i osoby jednající jeho jménem). Veškerá zkoumání a zkoušky budou probíhat v bezpečném prostředí (ISO 17024: 5).
28
Osoby se statutem zaměstnanců nebo smluvních partnerů Společně a paralelně s procesem certifikace by měly být definovány nezbytné kompetence zapojených osob. Všechny osoby by se měly zavázat, že budou dodržovat pravidla, která definuje certifikační orgán. Všichni zaměstnanci a smluvní partneři by měli obdržet pokyny, které se budou týkat všech aspektů spojených s jejich povinnostmi a odpovědnostmi. Je třeba identifikovat kompetence osob, příslušné vzdělání, zkušenosti a technickou kvalifikaci. Příslušná
kvalifikace
každého
jedince
musí
být
zdokumentována.
Zkoušející/hodnotitelé/porotci musejí splňovat kritéria certifikačního orgánu podle platných norem, které se týkají kompetencí (ISO 17024, str. 5f.). Zejména musejí:
být obeznámeni se schématem certifikace,
mít vědomosti o příslušných zkušebních metodách a dokumentech,
mít příslušné kompetence v oblasti, kterou budou zkoumat,
plynně mluvit jazykem příslušného kandidáta, a
nemít žádné zájmy, které by ovlivňovaly nezaujatost a nediskriminaci v rámci jejich rozhodnutí (hodnocení).
V případě, že zkoušející má nějaký střet zájmů, musí certifikační orgán zajistit, aby nedošlo ke kompromitaci důvěrnosti údajů a nezaujatosti zkoušejících (ISO 17024: 6).
Proces certifikace Norma ISO 17024 předpokládá tři kroky procesu certifikace, které zahrnují žádost, hodnocení (posouzení) a rozhodnutí o certifikaci. V prvním kroku, „žádosti,“ předkládá norma podrobný popis procesu certifikace, který je vhodný pro používané schéma certifikace. Navíc by měl být vypracován popis požadavků pro certifikaci a práv a povinností uchazečů, včetně etického kodexu. Žádost je dokumentována v podobě formuláře, který bude podepsán uchazečem. Formulář žádosti musí zahrnovat rozsah požadované certifikace, prohlášení uchazeče, že souhlasí s tím, že bude dodržovat požadavky pro certifikaci a že dodá veškeré informace, které budou potřebné pro hodnocení/posouzení (např. všeobecné informace o uchazeči či informace o příslušných kvalifikacích podpořené doklady) (ISO 19024: 6).
Hodnocení (posouzení). Certifikační orgán provede přezkum žádosti uchazeče a potvrdí, že příslušný certifikační orgán má kapacitu provést požadovanou certifikaci, včetně kapacity splnit případné speciální potřeby uchazečů (např. pokud jde o jazyk a/nebo invaliditu), a že
29
uchazeč má požadovanou kvalifikaci, zkušenosti a výcvik, které jsou uvedeny v rámci příslušného schématu. Kompetence budou zkoumány na základě požadavků příslušného schématu prostřednictvím písemného či ústního testu, pozorování nebo jiných prostředků (ISO 19024: 7). Plánování a struktura přezkoušení musí zajistit, že budou objektivně a systematicky ověřeny a zdokumentovány
všechny
požadavky.
Dokumentace
bude
prováděna
vhodným
a
komplexním způsobem a bude zahrnovat informace o výkonu kandidáta a výsledcích zkoumání (ISO 17024:7).
Rozhodnutí o certifikaci bude třetím krokem, který provede certifikační orgán a který bude založen na informacích z hodnocení/analýzy kompetencí kandidáta. Ti, kdo provádějí rozhodnutí o certifikaci, by se neměli účastnit přezkoušení a výcviku kandidátů (ISO 17024: 7). Certifikační orgán vydává certifikáty, přičemž si zachovává výhradní vlastnictví těchto certifikátů. Certifikát má formu dopisu, karty nebo jiného média a je podepsán nebo schválen odpovědnou osobou daného certifikačního orgánu. Obsahuje alespoň následující informace: jméno certifikované osoby, jedinečné číslo certifikátu, jméno certifikačního orgánu, odkaz na příslušné normy týkající se kompetencí a jiné relevantní dokumenty, předmět, jehož se certifikát týká, rozsah certifikace (podmínky platnosti a omezení platnosti), datum účinnosti a datum vypršení certifikace (ISO 17024: 7).
Kromě výše uvedených aspektů zahrnuje norma ISO 17024 další informace, které se týkají např. dohledu, nařízení pro opakovanou certifikaci a používání loga a značení. Příloha popisuje vývoj a údržbu schématu certifikace pro osoby (ISO 17024: 8f.).
Zdá se, že kromě požadavků na platnost metodologie a etických aspektů je třeba se zaměřit také na institucionální aspekty. V kontextu projektu IMPROVE by mělo být cílem využít tyto zásady, kdykoliv to bude vhodné. Některé z aspektů, které jsou zde zdůrazněny, například existence „nezávislých a nezaujatých certifikačních orgánů,“ „výboru pro tvorbu schématu“ nebo jiných aspektů udržitelnosti představují požadavky pro další rozvoj. Zkušenosti s těmito aspekty budou diskutovány v rámci projektu.
30
2.4. Pokyny projektu IMPROVE pro hodnocení kompetencí pracujících osob Následující část popisuje pokyny pro hodnocení výsledků neformálního vzdělávání. Tyto pokyny byly vyvinuty na základě dokumentů, jež byly prezentovány v kapitolách 2.2 a 2.3, jakož i na základě zkušeností a modelů, které existují v oblasti kariérového poradenství (viz Evangelista 2011). Jejich cílem je dosáhnout větší konkrétnosti v oblasti zásadních aspektů ve smyslu hodnocení kompetencí kariérových poradců v rámci přístupu zaměřeného na výkon. Nepopírají obecnější požadavky, které popisuje organizace CEDEFOP a norma ISO 17024. Tabulka č. 6 zobrazuje podrobnosti o specifickém zaměření Pokynů pro projekt IMPROVE ve srovnání s Pokyny CEDEFOP a normou ISO. Dalším důležitým zdrojem je srovnávací studie, kterou vypracoval Evangelista (Evangelista 2011, Studie o existujících strukturách pro hodnocení kompetencí praktikujících kariérových poradců, verze z 24.4.2011).
31
Pokyny projektu IMPROVE pro hodnocení kompetencí pracujících osob10
1.11Rozsah
1.1. Tyto pokyny byly vyvinuty partnery projektu IMPROVE Zlepšení uznávání neformálního učení evropských kariérových poradců 510640-LLP-1-2010-1-IT-GRUNDTVIG-GMP (20112012)12. Více informací lze nalézt na webové stránce projektu: www.improveguidance.eu/. 1.2. Tyto pokyny se vztahují pouze na hodnocení kompetentních pracovníků. Nevztahují se na hodnocení předchozího učení za účelem získání vzdělávacího nebo odborného diplomu či kvalifikace. 2. Slovníček 2.1. Assessment centrum:proces, v rámci něhož skupina kandidátů provádí sadu činností spojených s jejich pracovní pozicí, přičemž jsou pozorováni. Cílem je posouzení jejich osobních charakteristik. Tyto činnosti mohou zahrnovat rozhovory, psychometrické testy, individuální nebo skupinové hraní rolí (rozhovory zahrnují například neřízené diskuse). 2.2. Rozbor prožitku pracovní situace (Behavioral Event Interview - BEI): Jde o typ rozhovoru, který vyjevuje osobní charakteristiky. Kandidát popisuje svými vlastními slovy, co řekl, měl na mysli, cítit a udělal v šesti pracovních situacích – třech pozitivních a třech negativních. Rozhovor je zaznamenán, přepsán a ze záznamu jsou určeny různé osobnostní charakteristiky. U těchto osobních charakteristik se sleduje četnost jejich výskytu v rámci rozhovoru a jejich komplexnost a rozsah, v němž se projevují (Upravil McClelland, 1998). 2.3. Kompetentní pracovník: osoba, která je schopná provádět hlavní činnosti, jež spojeny s jejím zaměstnáním nebo prací, v souladu s předem stanovenou normou. 2.4. Prvky (hodnocení): osobní rysy nebo klíčové pracovní činnosti, které musí pracovník mít nebo si osvojit, aby úspěšně prošel procesem hodnocení. 2.5. Důkaz (hodnocení): doklad, který demonstruje vlastnictví nebo získání prvků, na nichž je založen proces hodnocení. 2.6. Analýza pracovní pozice: systematická studie činností, které jsou vykonávány v pracovní roli, a osobních charakteristik, které jsou pro jejich výkon nezbytné. 2.7. Hlavní pracovní činnost (nebo klíčová pracovní činnost): každá z hlavních identifikovaných a samostatných činností, kterou je osoba v příslušné pracovní pozici
Pokyny projektu IMPROVE (2011), http://www.improveguidance.eu/sites/default/files/Guidelines.pdf (2011-09-16)
10
11
Číslování se shoduje s původním číslováním v rámci Pokynů pro projekt IMPROVE.
12
V abecedním pořadí: Leonardo Evangelista (ASEV Agenzia Sviluppo Empolese Valdelsa www.asev.it, IT), Zuzana Freibergova (Národní vzdělávací fond, o.p.s.www.nvf.cz/spps/, CZ), Rachel Nelson (DEP Institut www.dep.net, ES) Speranta Tibu (ODIP Asociaţia Observator pentru Dezvoltarea Învăţării Permanente www.odip.ro, RO), Mary Tountopoulou ISON Advanced Applications In Management Systems Psychometrica www.ison.gr, EL), Peter Weber (Heidelberg University www.ibw.uni-heidelberg.de/, DE) Projekt je částečně financován Evropskou komisí. Tento dokument odráží pouze názory autorů a Evropská komise nenese žádnou odpovědnost za případné použití informací, které tento dokument obsahuje.
32
schopna vykonávat. 2.8. Učení: proces, při kterém si jedinec osvojuje informace, myšlenky a hodnoty, a tím získává znalosti, know-how, dovednosti a / nebo schopnosti (Zdroj:citace v CEDEFOP (2008) Terminologie evropského vzdělávání a vzdělávací politiky. Výběr 100 klíčových pojmů). 2.9. Výstupy učení: Sada znalostí, dovedností a / nebo kompetencí, které jedinec získal a / nebo je schopen je prokázat po ukončení vzdělávacího procesu bez ohledu na to, zda se jednalo o formální, neformální či informální vzdělávání (Zdroj: citace v CEDEFOP (2008) Terminologie evropského vzdělávání a vzdělávací politiky. Výběr 100 klíčových pojmů). 2.10. Pracovní činnosti: soubor činností, které mohou být znázorněny formou vývojového diagramu popisujícího, jak se daná činnost provádí. Viz také hlavní pracovní činnost. 2.11. Hodnocení založené na (posouzení) výkonu: rámec hodnocení kompetentních pracovníků, kde hodnoceným prvkem je provádění pracovních činností. 2.12. Rozhovor zaměřený na výkon pracovní činnosti (rozhovor zaměřený na výkon pracovní činnosti - PFI): strukturovaný profesní rozhovor (viz níže): Otázky jsou zaměřeny na specifické předem stanovené aspekty výkonu a všichni kandidáti dostanou stejné otázky; hodnotitel však může klást také dodatečné otázky pro vyjasnění nebo lepší porozumění. 2.13. Osobní vlastnosti: osobní atributy (např. dovednosti, znalosti, postoje), potřebné k provedení určité práce. 2.14. Hodnocení založené na (posouzení) osobních charakteristik: rámec hodnocení kompetentních pracovníků, kde hodnocenými prvky jsou vědomosti a osobní charakteristiky. 2.15. Profesní zkouška: metodika pro validaci výsledků neformálního a informálního učení, která byla použita v pilotním ověření procesu hodnocení projektu IMPROVE, a která je založena na rozhovoru zaměřeném na výkon pracovní činnosti – PFI. Profesní zkouška může být realizována v malých skupinách nebo na individuální úrovni. Při individuální realizaci se profesní zkouška skládá ze tří rozhovorů prováděných s hodnotitelem po dobu 1 až 3 týdnů: první rozhovor je informativní o metodice, druhý používá techniku PFI pro posouzení výkonu v hlavní pracovní činnosti, kterých se profesní zkouška týká, v rámci třetího rozhovoru hodnotitel pomáhá hodnocenému sestavit plán osobního profesního rozvoje. Rozhovory se mohou uskutečnit při osobních setkáních nebo na dálku pomocí videokonferenčních nástrojů. 2.16. Profesní rozhovor: diskuse, v rámci níž kandidáti popisují a provádějí reflexi o svém výkonu a vědomostech ve vztahu k požadavkům norem (Read H., 2006). 2.17. Profesní supervize: proces, v rámci něhož proškolený odborník v supervizi pravidelně přezkoumává a podporuje kvalitu práce supervidovaného, rozvoj jeho schopnosti sebereflexe vlastní práce a zvládání pocitů během poradenské práce s klienty. 2.18. Dovednost: osobní způsobilost, která je požadována pro provedení nějaké činnosti nebo zajištění, aby byla tato činnost provedena. Dovednosti mají obecnou povahu. Například vedení je dovednost, ale předávání pokynů podřízeným je výsledkem použití dovednosti vedení (spolu s dalšími dovednostmi) u dané činnosti a nejedná se o dovednost jako takovou. 2.19.Standard: stav považovaný na základě obecného souhlasu za základ pro srovnání
33
(zdroj: Dictionary.com) 2.20. Hodnocení: proces, v rámci něhož příslušný subjekt posoudí a oficiálně uzná, že příslušná osoba, činnost této osoby nebo jeden či více jejích osobních atributů jsou v souladu s předem definovanou normou. 2.21. Rámec hodnocení: sada pravidel pro hodnocení kompetentních pracovníků. 3. Preambule 3.1. Pokud se pojem vzdělávání vztahuje k procesu učení, potom jeho hodnocení musí být vztaženo k výsledkům tohoto vzdělávání. 3.2 Hodnocení výsledků neformální a informálního vzdělávání lze použít v několika různých situacích: A. Získání stupně vzdělání nebo odborné kvalifikace zkrácením doby studia nebo vzdělávací cesty. B. Nábor zaměstnanců nebo změna zařazení stávajících zaměstnanců.
C. Kontrola, zda stávající zaměstnanci vykonávají pracovní činnost v souladu se standardy. V případech B. a C. jsou hodnoceny výsledky jak formálních, tak i neformálních forem vzdělávání. 3.3 Každá z výše uvedených situací vyžaduje různé způsoby hodnocení. Například v případě A. jsou hodnoceny obecné nebo odborné znalosti a některé kognitivní dovedností (čtení, psaní, počítání). V případě B. jsou hodnoceny osobní vlastnosti, které způsobují dobrý pracovní výkon, jako jsou znalosti, dovednosti (obvykle interpersonální a kognitivní), postoje, motivy, atd., v závislosti na charakteru práce. V případě C. je hodnocen pracovní výkon (pozorováním a / nebo rekonstrukcí). 3.4. Všechny hodnoticí rámce zahrnutí čtyři prvky (viz body 3.5, 3.6., 3.7., 3.8). 3.5. Co je uznáno nebo udělováno na konci hodnoticího procesu. Může to být titul, (např. Poradce pro vzdělávání a odbornou přípravu jako případě IAEVG), kvalifikace, atribut kvalifikace (stejně jako v Registru EuroPsy psychologů), osvědčení (např. Evropský certifikát kariérového poradce MEVOC) nebo akademický kredit. 3.6. Hodnocené prvky, které musí kandidát vlastnit (v rámci přístupu založeného na osobních charakteristikách; může jít například o vědomosti, průřezové dovednosti, technické dovednosti, přístupy, charakterové rysy, atd.) nebo si osvojit (v rámci přístupu založeného na výkonu; jde o pracovní činnosti), aby byl uznán kompetentním. 3.7. Důkazy, které demonstrují vlastnictví nebo osvojení si prvků, jež byly identifikovány v předchozím bodu 3.2. Těmito důkazy mohou být dokumenty nebo výsledky testů. Například inženýrský titul v psychologii může být důkazem některých specifických vědomostí, které jsou užitečné pro práci praktikujícího kariérového poradce. Přenosné dovednosti se obvykle projeví a lze je měřit prostřednictvím rozboru prožitku pracovní situace BEI a/nebo neřízené diskuse, která je obsažena v rámci assessment centra. Hlavní pracovní činnosti mohou například být hodnoceny pozorování pracovníka.
3.8. Hodnoticí proces shromažďuje nebo vyvolává důkazy.
34
3.9. Podrobněji platí, že vědomosti a osobní charakteristiky lze obvykle posoudit pomocí kombinace několika následujících metod hodnocení: 1. Životopis nebo profesní biografie kandidáta 2. Vlastnictví studijní kvalifikace a jiných osvědčení o vzdělání nebo výcviku 3. Vlastnictví prokazatelných zkušeností 4. Rozhovor nebo písemný test technických znalostí 5. Testy (dovednosti, osobnost, zájmy, atd.) 6. Hraní rolí, které je zaměřeno na průřezové dovednosti (jak je obsaženo v rámci assessment centra) 7. Rozhovor zaměřený na průřezové dovednosti (jak je obsažen v rozboru prožitku pracovní situace BEI). 3.10. Podrobněji platí, že výkon lze obvykle posoudit pomocí kombinace několika následujících metod hodnocení: 1. Přímé sledování osoby, která provádí své pracovní činnosti 2. Profesní rozhovor 3. Rozhovor zaměřený na výkon pracovní činnosti (PFI) 4. Diskuse případových studií 5. Doporučení od kolegů a supervizorů 6. Doporučení od klientů 7. Průzkum dokumentace, kterou příslušná osoba vytvořila v průběhu provádění své práce 8. Vyhodnocení pracovního portfolia 9. Simulace pracovních činností. 3.11. Ve všech rámcích je nezbytné nalézt dobrý kompromis mezi účinností a váhou příslušného procesu hodnocení. Určitý postup může být velice efektivní, pokud však vyžaduje významné množství času a ekonomických zdrojů, bude existovat pouze minimální pravděpodobnost, že se stane zavedeným a široce uplatňovaným postupem (pokud jeho používání není vynuceno veřejným orgánem). Na druhou stranu postup, který vyžaduje jen málo času, ale je méně efektivní, představuje slabou stránku minimální použitelnosti. 4. Pokyny projektu IMPROVE Obecné principy 4.1. Proces hodnocení výsledků neformálního a informálního vzdělávání musí být založen na posouzení výkonu. Významný záměr procesu hodnocení musí zahrnovat přímý průzkum pracovního výkonu kandidáta a/nebo rekonstrukci výkonu kandidáta například pomocí rozhovoru zaměřeného na výkon pracovní činnosti (PFI). 4.2. Prvky (hlavní pracovní činnosti a pracovní činnosti), které si má kandidát osvojit, musejí být nejprve definovány prostřednictví analýzy pracovní pozice a průzkumu dostupné dokumentace o zaměstnáních. Výsledky průzkumu musejí být diskutovány a odsouhlaseny mezi praktikujícími poradci a dalšími zainteresovanými osobami v rámci sektoru. 4.3. Důkazy, které demonstrují osvojení si hlavních pracovních činností a pracovních činností, by měly být založeny na některé z metod hodnocení, které byly popsány v odstavci 3.10. 4.4. Úspěšné hodnocení nesmí být podmíněno vlastnictvím studijní kvalifikace, doložením zkušeností ani účastní ve specifických výcvikových kurzech nebo členstvím v určité asociaci nebo skupině.
35
4.5. Rámec hodnocení včetně jeho struktury, procesu hodnocení, rolí, systému vyhodnocování a klíčových termínů musí být jasně popsán a volně dostupný. 4.6. Proces hodnocení a metodologie hodnocení, které se použijí, musejí být stejné pro všechny kandidáty a musejí být všemi hodnotiteli používány stejným způsobem. 4.7. Hodnocení může iniciovat organizace, aby prověřila kompetence svých zaměstnanců nebo spolupracovníků, nebo samotní praktikující poradci. V druhém případě by měl proces hodnocení a zejména hodnotitel zajistit důvěrnost výsledků ve vztahu ke třetím stranám. 4.8. Je-li hodnocení iniciováno samotnými praktikujícími poradci, měl by být proces hodnocení zároveň učební zkušeností. Kandidáti musejí obdržet zpětnou vazbu s přesným popisem toho, jak si vedli u každého úkolu, který byl zkoumán, s identifikací případných oblastí pro zlepšení a s doporučeními, jak je možné takového zlepšení dosáhnout. Hodnotitelé 4.9. Hodnotitelé musejí být řádně vycvičeni v procesu hodnocení a musejí mít důkladné pracovní zkušenosti s hlavními pracovními činnostmi, které hodnotí. 4.10. Systém zabezpečení kvality procesu hodnocení musí zahrnovat profesní supervizi mezi hodnotiteli a sdílení jejich zkušeností s jinými hodnotiteli za účelem učení. 4.11. Hodnotitelé musejí deklarovat každý případný střet zájmů a musejí se stáhnout z jakéhokoliv hodnocení, v němž nelze zabezpečit nezaujatost a důvěrnost. Proces hodnocení 4.12. Přímé zkoušení kandidáta (přímý kontakt nebo zprostředkovaný kontakt ve formě videokonference) je povinný. 4.13. Je třeba uchovat kopie všech dokumentů a zaznamenat přímé zkoušení prostřednictvím platných nařízení v oblasti ochrany údajů v kontextu příslušného hodnocení. 4.14. Hodnotitel musí sepsat zprávu o hodnocení, která bude přesně popisovat hlavní odpovědi kandidátů, jak si vedli u každého úkolu, který byl zkoumán, s identifikací případných oblastí pro zlepšení a s doporučeními, jak je možné takového zlepšení dosáhnout. 4.15. Od každého účastníka je třeba prostřednictvím předem stanoveného postupu získat zpětnou vazbu o procesu hodnocení.Zpětná vazba patří mezi dokumenty, které musí být uloženy současně s ostatními dokumenty daného účastníka hodnocení.“ Tabulka 6: Slovníček projektu IMPROVE a Pokyny projektu IMPROVE
36
2.5. Hlavní aspekty a srovnání Pokynů CEDEFOP a normy ISO 17024 s Pokyny projektu IMPROVE
Následující Tabulka je srovnáním předkládaných pokynů publikace organizace CEDEFOP 2009 a normy ISO 17024 s pokyny vyvinutými a aplikovanými v rámci projektu IMPROVE. Tato Tabulka může být základem pro rozvoj a pilotní šetření národních systémů hodnocení kariérových poradců a může také sloužit pro další projednávání Pokynů pro projekt IMPROVE pro hodnocení kariérových poradců.
Kritéria Jednotliví
CEDEFOP praktikující -
kariéroví poradci
ISO 17024
Jednotlivec
ústředním -
je
bodem hodnocení.
-
-
by
měli
být
podporováni pomocí informací
Hodnocení
musí
být
dobrovolné.
-
Je
třeba
rovná
pro
všechny hodnocení kompetentních pracovníků.
Existují definované zásady a postupy pro řešení odvolání a stížností, které podají
Nevztahují se na hodnocení předchozího učení za účelem získání vzdělávacího nebo odborného diplomu či kvalifikace.
uchazeči. (4.8.) Je-li hodnocení iniciováno
a doporučení.
-
a
kandidáty.
Každý by k němu měl mít
Jednotlivci
Certifikace (zásady a postupy) musí být (1.2) Tyto pokyny se vztahují pouze na spravedlivá
přístup.
Pokyny projektu IMPROVE
samotnými praktikujícími poradci, měl by být proces hodnocení zároveň učební zkušeností. Kandidáti musejí obdržet
respektovat
zpětnou vazbu s přesným popisem toho,
soukromí, údaje z hodnocení
37
Kritéria
CEDEFOP
-
ISO 17024
Pokyny projektu IMPROVE
nesmějí být předávány třetím
jak si vedli u každého úkolu, který byl
stranám.
zkoumán, s identifikací případných oblastí pro zlepšení a s doporučeními, jak je
S účastníky je třeba jednat
možné takového zlepšení dosáhnout.
spravedlivým způsobem.
Všeobecná architektura -
Je třeba garantovat napojení -
Certifikační orgán musí být nezávislý a Všechny rámce hodnocení zahrnují tři
systému
na mezinárodní, národní a
nezaujatý.
organizační systémy
nařízení a požadavky. To by mělo být
-
-
Musí
dodržovat
platná prvky:
uvedeno v definovaných zásadách.
Identifikace a zapojená všech
(3.1.) Co se uděluje nebo uznává. Může jít
příslušných zainteresovaných -
Organizace by měla být strukturována
osob
tak, aby vyvolávala důvěru ve všech
Respektování
zainteresovaných stranách.
legitimních
(jako je Evropský certifikát z psychologie EuroPsy) nebo osvědčení (jako je
zájmů všech zainteresovaných -
Certifikační orgán bude založen jako evropské osvědčení MEVOC pro kariérové
osob Zainteresované osoby by
právnická osoba.
měly být zapojeny ve formě poradenského výboru.
-
Bude
jmenován
poradce). výbor
pro
tvorbu
schématu. Ten je odpovědný za schéma akreditace.
o kvalifikaci nebo určitý rys kvalifikace
-
Je třeba zajistit potřebné finanční zdroje.
-
Certifikační aktivity musejí být jasně
(3.2.) Prvky, které musí kandidát vlastnit (v rámci přístupu založeného na osobních charakteristikách; může jít například o vědomosti, průřezové dovednosti,
38
Kritéria
CEDEFOP
ISO 17024 odlišitelné od jiných aktivit.
-
Smlouvy se subdodavateli musejí být transparentní a je třeba zajistit jejich kvalitu.
Pokyny projektu IMPROVE technické dovednosti, přístupy, charakterové rysy, atd.) nebo si osvojit (v rámci přístupu založeného na výkonu; jde o pracovní činnosti), aby byl uznán kompetentním.
(3.3.) Důkazy, které demonstrují vlastnictví nebo osvojení si prvků, jež byly identifikovány v předchozím bodu 3.2. Těmito důkazy mohou být dokumenty nebo výsledky testů. Například inženýrský titul v psychologii může být důkazem některých specifických vědomostí, které jsou užitečné pro práci praktikujícího kariérového poradce. Přenosné dovednosti se obvykle projeví a lze je měřit prostřednictvím rozboru prožitku pracovní situace BEI a/nebo neřízené diskuse, která je obsažena v rámci assessment centra.
39
Kritéria
CEDEFOP
ISO 17024
Pokyny projektu IMPROVE
(3.6.) Ve všech rámcích je nezbytné nalézt dobrý kompromis mezi účinností a váhou příslušného procesu hodnocení. Určitý postup může být velice efektivní, pokud však vyžaduje významné množství času a ekonomických zdrojů, bude existovat pouze minimální pravděpodobnost, že se stane zavedeným a široce uplatňovaným postupem (pokud jeho používání není vynuceno veřejným orgánem). Na druhou stranu postup, který vyžaduje jen málo času, ale je méně efektivní, představuje slabou stránku minimální použitelnosti.
(4.1.) Proces hodnocení musí být založen na posouzení výkonu. Významný záměr procesu hodnocení musí zahrnovat přímý průzkum pracovního výkonu kandidáta a/nebo rekonstrukci výkonu kandidáta například pomocí rozhovoru zaměřeného
40
Kritéria
CEDEFOP
ISO 17024
Pokyny projektu IMPROVE na výkon pracovní činnosti (PFI).
(4.2.) Prvky (hlavní pracovní činnosti a pracovní činnosti), které si má kandidát osvojit, musejí být nejprve definovány prostřednictví analýzy pracovní pozice a průzkumu dostupné dokumentace o zaměstnáních. Výsledky průzkumu musejí být diskutovány a odsouhlaseny mezi praktikujícími poradci a dalšími zainteresovanými osobami v rámci sektoru.
(4.3.) Důkazy, které demonstrují osvojení si hlavních pracovních činností a pracovních činností, by měly být založeny na některé z metod hodnocení, které byly popsány v odstavci 3.5.
(4.4.) Úspěšné hodnocení nesmí být
41
Kritéria
CEDEFOP
ISO 17024
Pokyny projektu IMPROVE podmíněno vlastnictvím studijní kvalifikace, doložením zkušeností ani účastní ve specifických výcvikových kurzech nebo členstvím v určité asociaci nebo skupině.
Transparentnost
-
Informace, které se budou -
Všechny relevantní informace budou (4.5.) Rámec hodnocení, včetně jeho
týkat
obsaženy v definovaných zásadách.
např.
schématu
hodnocení,
struktury, procesu hodnocení, rolí, systému vyhodnocování a klíčových
požadavků,
procesu posuzování a aspektů
termínů musí být jasně popsán a volně
vztahujících
dostupný.
procesu
se
či
k tomuto
kvalitě,
dostupné
budou
potenciálním
kandidátům a třetím stranám. Rámec kompetencí
-
(Kompetence) definovat hodnocení
Je normy
(na
třeba pro
evropské
i
národní úrovni).
-
Tyto
normy
Schéma certifikace musí být vytvořeno (3.2.) Prvky, které musí kandidát vlastnit (v rámci přístupu založeného na osobních
výborem pro tvorbu schématu.
-
Certifikační
orgán
definuje
proces
(budoucího) rozvoje a údržby schématu musejí
být
certifikace.
charakteristikách; může jít například o vědomosti, průřezové dovednosti, technické dovednosti, přístupy, charakterové rysy, atd.) nebo si osvojit (v
42
Kritéria
CEDEFOP
ISO 17024
transparentní
budou -
a
neustále zlepšovány.
Schéma
Pokyny projektu IMPROVE kompetencí
je
definováno rámci přístupu založeného na výkonu; jde
v souladu s mezinárodními normami a o pracovní činnosti), aby byl uznán kompetentním.
dalšími příslušnými dokumenty.
Metodologie
-
Lze
přijmout
rámec -
široký
praktického
metody, které budou splňovat
prostředky prozkoumá certifikační orgán procesu hodnocení musí zahrnovat přímý
specifickou
kompetence, které budou založeny na průzkum pracovního výkonu kandidáta
potřebu
pro
kompetencí
praktikujícího poradce a budou vhodné pro příslušný účel.
např.
standardy
spolehlivost,
definované kompetencí, daný
kvality, platnost, schéma
vhodnost
účel,
účelnost nákladů.
nebo
požadavcích schématu.
-
Certifikační orgán je odpovědný za definování metod a mechanismů pro
Metodologie hodnocení musí splňovat
sledování
jinými na posouzení výkonu. Významný záměr
metod. Měly by být přijímány
hodnocení
-
Prostřednictvím písemného, ústního či (4.1.) Proces hodnocení musí být založen
a/nebo rekonstrukci výkonu kandidáta například pomocí rozhovoru zaměřeného na výkon pracovní činnosti (PFI).
hodnocení kompetencí kandidáta. (4.12.) Přímé zkoušení kandidáta (přímý kontakt nebo zprostředkovaný kontakt ve formě videokonference) je povinný.
pro
udržitelnost, (4.3.) Důkazy, které demonstrují osvojení si hlavních pracovních činností a pracovních činností, by měly být založeny
43
Kritéria
CEDEFOP
ISO 17024
Pokyny projektu IMPROVE na některé z metod hodnocení, které byly popsány v odstavci 3.5.
Proces hodnocení
-
Hodnocení
kompetencí -
kariérových
poradců
vhodný
-
pro
používané stejné pro všechny kandidáty a musejí být
příslušné
všemi hodnotiteli používány stejným
Proces certifikace zahrnuje následující tři
-
žádost,
výsledků
-
vyhodnocení (posouzení), a
hodnocení
musí být nezaujatý a musí se vyhnout střetům zájmů.
způsobem.
(4.7.) Hodnocení může iniciovat
o Audit/uznání
Proces
podrobné (4.6.) Proces hodnocení a metodologie
kroky“
o Posouzení
-
poskytovat
certifikační schéma.
a
doporučení
musí
informace o procesu certifikace, který je hodnocení, které se použijí, musejí být
sleduje tři základní kroky:
o Informace
Žádost
-
rozhodnutí. Očekává
se,
organizace, aby prověřila kompetence svých zaměstnanců nebo spolupracovníků, nebo samotní praktikující
že
tyto
dodržovány.
kroky
budou poradci. V druhém případě by měl proces hodnocení a zejména hodnotitel zajistit důvěrnost výsledků ve vztahu ke třetím stranám.
Funkce/role procesu
v rámci -
Pro provádění hodnocení jsou -
Všechny osoby, které jsou zapojeny do (4.9.)
specifické minimálně čtyři role:
různých rolí a činností, musejí mít vycvičeni pro proces hodnocení a musejí
-
Poradce
(průvodce,
nezbytné kompetence.
mít
Hodnotitelé důkladné
musejí pracovní
být
řádně
zkušenosti
s hlavními pracovními činnostmi, které
44
Kritéria
CEDEFOP
ISO 17024 kariérový -
praktikující
-
a
všech hodnotí.
kvalifikace
zaměstnanců nebo smluvních partnerů
kandidátovi
musí být zdokumentována.
informace,
-
(4.10.) Systém zabezpečení kvality Zejména musejí být obeznámeni se
Hodnotitel, který provádí
schématem certifikace, mít vědomosti o
posuzování kompetencí.
příslušných
Administrátor hodnocení,
procesu který
celý
Vnější pozorovatel, který zajišťuje, aby existovalo spojení
zkušebních
dokumentech
a
kompetence
v oblasti,
metodách
mít
a
příslušné
kterou
procesu hodnocení musí zahrnovat profesní supervizi mezi hodnotiteli a sdílení jejich zkušeností s jinými hodnotiteli za účelem učení.
budou
zkoumat.
proces řídí a organizuje.
-
Kompetence
poradce) který poskytuje doporučení a pokyny.
-
Pokyny projektu IMPROVE
s příslušnými
-
Všichni se musejí zavázat, že budou dodržovat
pravidla,
která
definuje
certifikační orgán.
aktéry a byla zabezpečena komunikace a kvalita.
-
U každé z těchto rolí jsou potřebné
specifické
kompetence a zkušenosti.
-
Osoby,
které
zastupují
při
hodnocení různé role, musejí podstupovat průběžný výcvik.
45
Kritéria
CEDEFOP
-
Je
ISO 17024
třeba
zajistit
kompetence
u
Pokyny projektu IMPROVE
profesní
těch,
kdo
provádějí
posuzování
hodnocení
(jakož
i
a osob
v jiných rolích). Zabezpečení kvality
-
Systém by měl být podpořen -
Certifikační orgán je odpovědný za (4.10.) Systém zabezpečení kvality
zabezpečením kvality, které
průběžné hodnocení metod zkoušení procesu hodnocení musí zahrnovat
bude
kandidátů.
zahrnovat
jasnou
odpovědnost za zabezpečení kvality,
definované
mechanismy
-
řízení (např. ISO 9001), který bude
zabezpečení
zabezpečovat neustálé zlepšování.
kvality a zpětné vazby, revize procesů
a
postupů,
zaměstnanců transparentnost
Měl by existovat definovaný systém
profesní supervizi mezi hodnotiteli a sdílení jejich zkušeností s jinými hodnotiteli za účelem učení. (4.15.) Od každého účastníka je třeba prostřednictvím předem stanoveného
výcvik
postupu získat zpětnou vazbu o procesu
a
hodnocení.
při
zabezpečování kvality. Střet zájmů
-
Certifikační orgán by se měl vyhnout (4.11.) Hodnotitelé musejí deklarovat střetům zájmů.
-
Certifikační orgán neposkytuje výcvik ani pomoc výcvik nebo pomoc jiným při
každý případný střet zájmů a musejí se stáhnout z jakéhokoliv hodnocení, v němž nelze zabezpečit nezaujatost a důvěrnost.
46
Kritéria
CEDEFOP
ISO 17024
Pokyny projektu IMPROVE
přípravě na takové služby (s výjimkou případů, kdy daná organizace prokáže, že výcvik je nezávislý na hodnocení a certifikaci)
-
Zapojené osoby nesmějí mít žádné zájmy, které by ovlivňovaly nezaujatost a nediskriminaci v rámci jejich rozhodnutí.
Dokumentace
-
Certifikační orgán musí mít systém (4.14.) Hodnotitel musí sepsat zprávu o záznamů, který bude potvrzovat status hodnocení, která bude přesně popisovat certifikovaných osob a dokládat proces hlavní odpovědi kandidátů, jak si vedli u každého úkolu, který byl zkoumán,
hodnocení i jeho efektivní plnění.
-
S
veškerými
informacemi
nakládat jako s důvěrnými.
je
třeba
s identifikací případných oblastí pro zlepšení a s doporučeními, jak je možné takového zlepšení dosáhnout. (4.13.) Je třeba uchovat kopie všech dokumentů a zaznamenat přímé zkoušení prostřednictvím platných nařízení v oblasti ochrany údajů v kontextu příslušného hodnocení.
47
Kritéria
CEDEFOP
ISO 17024
Pokyny projektu IMPROVE
Tabulka 8: Srovnání Pokynů CEDEFOP (2009) a normy ISO 17024 (2003) s Pokyny projektu IMPROVE
48
3. Přehled o metodologii, která je k dispozici pro hodnocení kompetencí kariérových poradců Účelem této kapitoly je poskytnout přehled o dostupných metodologiích pro hodnocení kompetencí. Navíc ke krátkým popisům a příkladům z praxe (viz příloha) předkládáme určité body pro reflexi, které pomáhají vybírat a kombinovat metody hodnocení. Přehled o různých metodách lze nalézt v Pokynech CEDEFOP (CEDEFOP 2009). Zdrojem obsáhlejších popisů některých metod, které se používají při hodnocení kompetencí v oblasti služeb, je publikace ENTO (Read, H./Wells, J 2004). Pokyny projektu IMPROVE, které jsou uvedeny v kapitole druhé, zdůrazňují, které metodologie se používají pro účel hodnocení kompetencí zaměřeného na výkon v rámci projektu IMPROVE. Následující části obsahují krátký úvod do potřeby nalezení vhodné metodologie pro účel hodnocení výkonu a kompetencí kariérových poradců (3.1) a v části 3.2 je přehled dostupných metodologií. Kapitola 4 podrobně popisuje metodu PFI. 3.1 Vhodnost metodologie pro hodnocení výkonu a kompetencí kariérových poradců Prvním aspektem, který je třeba vzít v potaz, je typ kompetencí, o něž nám jde, když se zabýváme kariérovými poradci. Jedná se zejména o:
šíři vědomostí, dovedností a kompetencí, které jsou v této praxi potřebné,
hloubku učebních výsledků, které jsou požadovány pro získání takových kompetencí,
jak běžné nebo aktuální příslušné vědomosti, dovednosti a kompetence jsou (CEDEFOP 2009 59).
Pokud jde o praxi kariérových poradců, je zřejmé, že se jedná o komplexní, komunikativní, silně zakotvenou sociální službu, která vyžaduje aktuální vědomosti z různých oblastí, jakož i velmi zásadní vědomosti o jednotlivcích a komunikačních procesech. Jak je to diskutováno zejména v teorii profesionalizace (např. Mieg 2005; Singer/Ricard 2009), takový druh profesionálních činností vyžaduje kompetence, které se rozvíjejí v rámci dlouhé a intenzivní doby učení – formálního i neformálního, zatímco formální učení bez praktických zkušeností a reflexe nemůže být nikdy dostatečné. Pokud toto uznáme, metodologie, kterou budeme aplikovat, musí tomuto konceptu profesionálních kompetencí odpovídat. Proto by měly metody, které používáme při hodnocení kompetencí a výsledků předchozího učení, splňovat určitá kritéria; například kritéria, která jsou uvedena například v Pokynech CEDEFOP: „Je možné zkoumat vhodnost různých nástrojů pro hodnocení pro příslušný účel. U každého potenciálně užitečného nástroje pro hodnocení je třeba prozkoumat následující kritéria“ (CEDEFOP 2009: 59):
„Platnost: nástroj musí měřit to, co je záměrem měřit,
49
spolehlivost: rozsah, v němž by bylo dosaženo identických výsledků pokaždé, kdy by byl kandidát hodnocen za stejných podmínek,
poctivost: rozsah, v němž je rozhodnutí o hodnocení bez předsudků (závisí na kontextu, kultuře a předsudcích porotce /hodnotitele),
kognitivní rozsah: umožňuje daný nástroj porotcům /hodnotitelům posoudit rozsah a hloubku učení (nebo kompetencí) kandidátů?,
vhodnost pro účel hodnocení: zabezpečení shody účelu hodnotícího nástroje se způsobem použití, pro něž je zamýšlen“ (CEDEFOP 2009: 59).
Ve smyslu metodologie hodnocení jsou první dva aspekty nejzásadnější a nejrelevantnější. Můžeme rozeznat dva typy platnosti. Zaprvé: Týká se příslušné měření opravdu toho, co je třeba rozpoznat jako kompetence v praxi? (platnost konstruktu) a zadruhé: zachycuje nástroj vše, co je zahrnuto pod konstruktem kompetencí? (vnitřní platnost). Metodologie tedy musí např. na základě experimentálních podmínek prokázat, že měří to, co by měla měřit (platnost). Mělo by se prokázat, že měřený aspekt je obvykle spojen se schopností výkonu v praxi. Skutečný stav je takový, že žádná ze stávajících metodologií používaných při hodnocení kompetencí kariérových poradců neprokázala svoji platnost v tomto smyslu. Příklady existují v paralelních sektorech, např. VET (Achtenhagen/Winther 2009; Nickolaus u.a. 2009; Abele u.a. 2010; Baethge/Arends 2009).
A druhý aspekt: spolehlivost. To znamená, že je daná kompetence měřena příslušnou metodologií pouze jednou a daný kandidát by měl dosáhnout pokaždé stejného výsledku, ať už bude měření provedeno stejným nebo jiným porotcem/hodnotitelem). Důkaz spolehlivosti je obtížné podat ve smyslu měření výkonu, protože výkon kompetencí je vždy doprovázen a ovlivňován mnoha aspekty (např. vztahem mezi praktikujícím poradcem a klientem nebo mezi praktikujícím poradcem a porotci/hodnotiteli a aktuálním kontextem). Do dnešní doby žádná z používaných metod neprokázala svoji spolehlivost na základě výzkumných podmínek. U obou aspektů, tj. platnosti i spolehlivosti, je třeba provést další výzkumy. Dokud k tomu nedojde, měly by být používány metody, které prokázaly svoji kvalitu v praxi. A tyto metody by měly být používány pouze za podmínek, které zajišťují nejlepší dosažitelné výsledky. Např. větší počet porotců/hodnotitelů, diskutování výsledků v týmech, dokumentace metod a výsledků (např. prostřednictvím zápisu a videa). Poctivost ve smyslu metodologie je dalším faktorem, který by měl být brán v úvahu. Předsudek při hodnocení
výkonu
kompetencí
kariérových
poradců
může
mít
různé
důvody.
Např.
porotci/hodnotitelé mohou mít domněnky o různých přístupech nebo teoriích vedení nebo
50
poradenství. Nebo porotce/hodnotitel a praktikující poradce pocházejí z různých kulturních nebo společenských prostředí nebo mají odlišný mateřský jazyk. V takových případech je třeba zabezpečit, aby metodologie a např. to, jak ji porotci/hodnotitelé používají, byly otevřeny diverzitě. Aspekt kognitivního rozsahu nástrojů by měl být také pečlivě zvážen. Zjištění metod musejí odrážet šíři a hloubku kompetencí, které mají být hodnoceny. Nástroje by měly být pečlivě zkoumány z hlediska jejich schopnosti dosáhnout požadovaných cílů v rámci hodnocení kompetencí. Proces hodnocení kompetencí by měl jasně stanovit, jaký rozsah kompetencí lze hodnotit
vybranou
metodologií
a
procesem.
Kombinací
různých
nástrojů
lze
zvýšit
pravděpodobnost úspěšného vyhodnocení určité kompetence z hlediska její šíře i hloubky. V neposlední řadě je třeba zabezpečit, aby metoda hodnocení prokázala svoji vhodnost pro daný účel. Např. měla by existovat kompenzovaná rovnováha mezi úsilím vynaloženým v rámci dané metodologie a jejími výstupy. Používané metody by měly být dosažitelné pro všechny strany ve smyslu času a nákladů. Tyto aspekty platnosti, spolehlivosti a vhodnosti by měly být vyvážené.
51
3.2 Přehled dostupných metod Metody, které jsou popsány a shromážděny v této kapitole, pocházejí z různých zdrojů. Například Evangelistovy analýzy (Evangelista 2011), studie o hodnocení organizace CEDEFOP Study on Validation (2009) nebo publikace ENTO (Read, H./ Wells, 2004). Jsou sem také přidány metody, které jsou popsány a používány v různých národních kontextech a projektech.13 Důležitým cílem projektu IMPROVE je zahrnout takovou metodologii, která umožní rozpoznat a vyhodnotit kompetence a výsledky zkušenostní a předchozího učení řádným způsobem a v řádné hloubce (Pokyny v Kapitole 3). Ve Studii CEDEFOP jsou uvedena některá kritéria pro výběr metod, která by měla být diskutována při výběru metodologie pro hodnocení výsledků předchozího vzdělávání a kompetencí:
• Metody pro hodnocení neformálního a formálního učení jsou zásadními nástroji, které se používají při hodnocení formálního učení.
• Při jejich používání pro hodnocení musejí být nástroje přijaty, kombinovány a aplikovány způsobem, který odráží specifičnost jednotlivce a ne standardizovaný charakter neformálního a formálního učení.
• Nástroje pro hodnocení výsledků učení musejí být vhodné pro příslušný účel Tabulka 9: Efektivní praxe: metody. CEDEFOP 2009: 72
První argument je velmi obecný a nespecifický a my si myslíme, že se nehodí pro hodnocení kompetencí, protože výkon kompetencí je více než jen rekapitulace (formálně i neformálně) naučených skutečností. Zdá se, že je důležité provést pečlivou reflexi argumentu, jenž se týká přijetí metodologie. Způsob, jak si jednotlivec rozvíjí svoje kompetence, není možné standardizovat, protože je vždy specifický a unikátní. To je ještě důležitější, pokud si uvědomíme, že kompetence jsou vždy kompetencemi pro výkon určité činnosti v konkrétní situaci (viz Weinert, 2001). Chceme argumentovat, že argument „vhodnosti pro daný účel“ by měl zejména odrážet specifické problémy a požadavky, když se snažíme hodnotit výkon kompetencí. V souladu s konceptem kompetencí (Evangelista 2011; Sultana 2009; Schiersmann/Weber 2008; Weinert 2005) je jasné, že kompetence jsou kombinací vědomostí, dovedností a také emocionálních a motivačních
13
Universita v Heidelbergu, EAC, ENTO, ECGC, jiné.
52
aspektů v určitých situacích. Abychom vzali tuto skutečnost v potaz, musí hodnocení zahrnovat metody, které umožňují sledování výkonu spíše než například pouze sebehodnocení na základě katalogů kompetencí.
Užitečné metody pro hodnocení kompetencí a zejména kompetencí kariérových poradců/poradců jsou popsány v několika jednotlivých přístupech (viz Evangelista 2011) a ve srovnání v různých pracovních dokumentech a publikacích (CEDEFOP 2009; Gnahs, 2007; Evangelista 2011). Pro přehled prezentujeme dva z těchto srovnávacích seznamů:
• debata: nabízí kandidátovi příležitost demonstrovat hloubku vědomostí i komunikační dovednosti;
• deklarativní metody: jsou založeny na vlastní identifikaci jednotlivců a zaznamenávání jejich kompetencí; běžně jsou podepsány třetí stranou, aby se ověřilo sebehodnocení;
• rozhovory lze použít k vyjasnění otázek, které budou vzneseny v prezentovaných dokumentárních dokladech a/nebo k přezkumu rozsahu a hloubky učebních výsledků;
• sledování: získávání důkazů o kompetencích od jednotlivce, zatímco provádí každodenní činnosti v práci;
• portfolio metod: použití mixu metod a nástrojů, které se používají v průběhu nesouvislých fází, s cílem vytvořit koherentní sadu dokumentů nebo pracovních vzorků, jež různými způsoby zobrazují individuální dovednosti a kompetence. (…)
• prezentace: může být formální nebo neformální a lze ji použít ke kontrole schopností prezentovat informace způsobem, který je vhodný pro příslušný předmět a publikum;
• simulace a důkazy získané z práce: tam, kde jsou jedinci postaveni před situaci, která splňuje kritéria scénáře z reálného života, přičemž dojde k hodnocení jejich kompetencí;
• testy a zkoušení: identifikace a hodnocení neformálního a neoficiálního učení prostřednictvím nebo pomocí zkoušení ve formálním systému. Tabulka 10: Metody hodnocení (CEDEFOP 2009: 59f.)
Sbírka metod, které jdou ruku v ruce s „přístupem zaměřeným na výkon,“ jenž je prezentován v publikaci „Study of existing Frameworks“ (viz také Pokyny v Kapitole 3)
53
1. přímé sledování osob, zatímco provádějí svoji práci 2. simulace činností a pracovních situací, 3. diskuse případových studií, 4. doporučení od kolegů a supervizorů, 5. přezkum dokumentace, kterou vytvoří jedinec při výkonu své práce, 6. přezkum dokladů založených na portfoliu, 7. PFI - rozhovor zaměřený na výkon pracovní činnosti. Tabulka 11: Metody hodnocení (IMPROVE Evangelista, 2011: 8)
Pro hodnocení praktikujících kariérových poradců/poradců by měly být rozpoznávány různé typy metod hodnocení v různých kategoriích s cílem jasněji prodiskutovat jejich účel, silné stránky a slabé stránky.
Metody typu A: Prezentace
Metody typu B: Sebehodnocení a hodnocení vrstevníky
Metody typu C: Metody orientované na výkon
V procesu hodnocení lze používat a kombinovat všechny typy metod. Každá metodologie má své vlastní silné a slabé stránky. Z pohledu teorie kompetencí, jakož i otázky platnosti hodnocených kompetencí můžeme předpokládat, že metody „typu B“ umožňují hlubší náhled do kompetencí kariérových poradců než metody „typu A,“ a metody „typu C“ umožňují hlubší náhled, než metody „typu B.“ Doporučuje se, aby konkrétní a platný úsudek, zda je příslušná osoba schopná vykonávat určité kompetence v souladu se zadaným úkolem (v rámci určitého nastavení a na základě určitých podmínek životního prostředí), mohl být proveden pouze s použitím metod typu C. Úsilí, které musíme vynaložit na hodnocení výkonu kompetencí, roste proporcionálně s jeho dopadem. Lze tedy diskutovat, jaký typ kombinace metod v celém procesu hodnocení má přijatelnou platnost a přijatelný poměr nákladů a účinků.
Metody typu A zahrnují takové metody, které jsou založeny na písemné nebo ústní prezentaci všech zkušeností a předchozích studijních aktivit, jež jsou relevantní pro daný proces hodnocení. Tento typ metodologie je důležitý z různých důvodů. Zaprvé, žadatel má šanci ukázat alespoň částečně „kým je,“ když předloží určitý obrázek o své (zkušenostní a učební) biografii a navíc také
54
o sobě jako o člověku s určitým pozadím. Díky tomu se doporučují metody, které umožní žadateli připojit biografické aspekty spíše než jen fakta a údaje ze životopisu.
Příklady metod typu A:
životopis (např. evropský životopis),
portfolio dokumentů,
dopis se zkušenostmi, doloženými zkušenostmi a praxí,
portfolio příslušných praktických zkušeností.
Metody typu B zahrnují všechny metody, které vedou ke strukturovanému sebehodnocení oproti určitému katalogu kompetencí. Takové sebehodnocení dává žadateli možnost provést reflexi o širokém rozsahu kompetencí a předložit prohlášení o vlastním vnímání svých kompetencí. Zároveň je zřejmé, že taková metodologie nemůže nikdy plnit požadavky, které byly uvedeny výše. Jedním z problémů je samozřejmě skutečnost, že takové metody spíše testují koncept sebe sama a vnímání sebe sama ze strany účastníka, než aby testovaly kompetence. Dalším slabým místem je, že takové metody jsou velice silně založeny na kognitivním přístupu a na přístupu založeném na jazyku. Jednání, zkušenosti, emoce a afekty, jakož i výkon samotný jsou různými aspekty a tento typ metod je nehodnotí. Předpokládáme, že tyto metody jsou vždy krokem ve směru získání náhledu na kompetence a nikoliv vyhodnocení prováděných kompetencí jako takových.
Seznam metod typu B:
popis a prezentace zkušeností,
sebehodnocení založené na katalozích kompetencí,
přezkum důkazů založený na portfoliu,
doporučení od kolegů a supervizorů,
strukturované rozhovory.
Metody typu C zahrnují všechny metody, které jdou nad rámec hodnocení kompetencí formou sebehodnocení. U všech metod, které byly shrnuty do této kategorie, existují dva aspekty. Prvním aspektem je rozšíření momentu reflexe: Praktikující poradce musí prokázat, kde si rozvinul určité kompetence a jak je aplikuje ve skutečné praxi. Pomocí reflexe může praktikující poradce demonstrovat např. hodnoty, zkušenosti, flexibilitu a úvahy, které provádí v praxi. Druhým
55
aspektem je komunikace s porotcem /hodnotitelem o těchto zkušenostech. Při této komunikaci by mělo být bráno v potaz, že hodnocení uznání kompetencí je odlišné od ústní zkoušky. Účelem není zjistit, zda je účastník schopen dávat „správné odpovědi,“ ale ujistit se, že (a jak) účastník jedná v souladu s určitými kompetencemi, které jsou požadovány v určité situaci. Metody obsažené v této části se blíží získání důkazů o kompetencích, které daný účastník vykazuje ve svém profesním životě. I zde však chybí integrace skutečné a vyvolané situace a důkazy jsou u většiny vyjmenovaných metod „pouze“ nepřímé. Některé z těchto metod se týkají prezentace a vyhodnocení „skutečných“ profesních činností. Jak bylo diskutováno již dříve, takové metody vyžadují vyšší úsilí a větší náklady. Často je více či méně možné prozkoumat pouze jádro modelu kompetencí a nikoliv celý a komplexní model. Dalším omezením je, že každá situace (s klientem) je vždy unikátní (např. spojená se speciálními požadavky) a činění závěrů o obecných kompetencích na základě jediné situace může vést k mnoha omylům. Výhodou ve smyslu teorie kompetencí je, že při jednání v určité situaci se projeví skutečná komplexnost a vykonané kompetence jsou uchopitelné a viditelné pro hodnotitele. Vědomosti, dovednosti a přístupy, přítomnost emocí a kontrola dopadů, jednání a paralelní plánování následujícího kroku, přítomnost základních přístupů, jako je neustálé uvědomění a synchronizace nebo empatie, atd. Je třeba poznamenat, že supervizor by měl používat takový druh hodnotících nástrojů, který mu umožní koncentrovat se transparentním způsobem na nejrelevantnější aspekty a zdokumentovat, co se děje. To je také důležité proto, že ve smyslu poctivosti a učení by supervizor a klient měli mít možnost vést rozhovor o sezení s klientem. V některých přístupech je toto speciálním bodem zájmu také ve smyslu kompetencí praktikujícího poradce (přístupy subjektivní teorie).
Seznam metod typu C:
sebehodnocení a vnější hodnocení se sběrem důkazů o zkušenostech a praktických dovednostech,
reflektivní rozhovor,
hraní rolí,
diskuse o případových studiích,
debata o kompetencích a zkušenostech,
PFI – „rozhovor zaměřený na výkon pracovní činnosti,“
přímé sledování osoby, zatímco provádí svoji práci,
sledování na základě videa ze sezení s klientem,
56
simulace činností a pracovních situací.
Následující Kapitola 5 obsahuje jednu specifickou metodologii typu C, tj. rozhovor zaměřený na výkon pracovní činnosti (PFI), který zde bude podrobně popsán.
57
4. Hodnocení výsledků formálního a neformálního učení v praxi14 Tato kapitola popisuje: A. možnosti a praktické kroky při rozvoji nástroje pro hodnocení výsledků neformálního a neoficiálního učení, B. profesní zkoušku, nástroj pro hodnocení výsledků neformálního a neoficiálního učení, který byl použit v pilotním šetření v rámci evropského projektu IMPROVE. Slovníček termínů, které se používají v této kapitole (hodnocení, osobní rysy, klíčové činnosti, atd.) naleznete ve Slovníčku, jenž je obsažen v Pokynech pro projekt IMPROVE (kapitola 2.4 této Příručky). Podrobnější popis některých existujících rámců pro hodnocení, které se používají v oblasti kariérového poradenství, naleznete v publikacích Leonarda Evangelisty 2011.
4.1 Rozvoj nástroje pro hodnocení výsledků neformálního a neoficiálního učení Při hodnocení formálního a neformálního učení je třeba provést několik rozhodnutí. Předkládáme jejich úplný seznam.
4.1.1 Cíl hodnocení Od počátku se musíme rozhodnout, co je cílem hodnocení. Jsou zde tři možnosti: •
umožnit získání vzdělávacího titulu nebo odborné kvalifikace s cílem zkrácení délky studijní cesty,
•
provést nábor nebo potenciální oceňování (při najímání nových lidí nebo při přesouvání stávajících pracovníků do vyšších nebo odlišných pozic nebo při přidělování nových odpovědností),
•
ujistit se, že pracovníci provádějí svoje aktuální povinnosti optimálně a podle předem stanovené normy
Ve druhém případě chceme zjistit, jaký bude budoucí výkon. Zde je vhodné zdůraznit, že jak ve druhém tak ve třetím případě jsou hodnoceny výsledky všech forem učení (formální, neformální, informální).
14
Leonardo Evangelista, ASEV,3. července 2012, upravila Rachel Nelson.
58
4.1.2 Co se má uznat nebo udělit na konci procesu hodnocení Druhým krokem je rozhodnout, co má být uznáno nebo uděleno na konci procesu hodnocení. Může se jednat o (Evangelista 2011) titul (například Vzdělávací a odborný poradce jako v rámci IAEVG), odbornou kvalifikaci, vzdělávací kvalifikaci, určitý atribut této kvalifikace (jako je Evropský certifikát z psychologie EuroPsy Psychologist), nebo osvědčení (jako je evropské osvědčení MEVOC pro kariérové poradce).
4.1.3 Seznam prvků, které musejí úspěšní kandidáti vlastnit nebo si osvojit, jejich úroveň a bodovací systém Třetím krokem je sestavit seznam prvků, které musejí úspěšní kandidáti vlastnit nebo si osvojit pro získání dobrého hodnocení, a u každého takového prvku specifikovat požadovanou úroveň. V závislosti na cíli hodnocení (každý cíl vyžaduje jiné vedení procesu hodnocení) mohou být posuzovanými prvky vědomostí a kognitivních dovedností (1. cíl), osobní rysy obecně (2. cíl), hlavní činnosti, činnosti a vedlejší činnosti, které jsou prováděny v práci (3. cíl) (viz Tabulka 13). V posledních dvou případech lze seznam těchto prvků označit také jako rámec kompetencí nebo profil kompetencí.
Cíl
Co se posuzuje
1. Vydání vzdělávacího titulu nebo odborné
Obvykle obecné nebo technické vědomosti a
kvalifikace s cílem zkrácení délky studijní
některé kognitivní dovednosti (čtení, psaní,
cesty
počítání, atd.)
2. Nábor nebo potenciální oceňování (při
Osobní rysy, které povedou k dobrým výkonům
najímání nových lidí nebo při přesouvání
v příslušné pracovní pozici, jako jsou vědomosti,
stávajících pracovníků do vyšších nebo
dovednosti (obvykle mezilidské a kognitivní),
odlišných pozic nebo při přidělování nových
přístupy, motivy, atd., v závislosti na cílové
odpovědností)
pracovní pozici
3. Ujištění se, že pracovníci provádějí svoje
Výkon v pracovní pozici (sledovaný a/nebo
aktuální povinnosti optimálně a podle předem rekonstruovaný) stanovené normy Tabulka 11: Cíle hodnocení neformálního a neoficiálního učení a doporučení pro posuzování
59
Seznam prvků lze definovat různými prostředky. Je-li cílem umožnit získání vzdělávacího titulu nebo odborné kvalifikace s cílem zkrácení délky studijní cesty, jsou požadované vědomosti (a někdy také kognitivní dovednosti) a jejich příslušné úrovně uvedeny v sylabu příslušného kurzu. Při náboru a potenciálním hodnocení lze seznam (a někdy také úrovně) požadovaných osobních rysů získat z popisu profilu pracovní pozice nebo ho lze vypracovat přímo s použitím Rozboru prožitku pracovní situace - BEI. BEI lze definovat jako (Pokyny projektu IMPROVE, kapitola 2.4) strukturovaný rozhovor, který zkoumá osobní rysy. Osoba, s níž je rozhovor prováděn, popisuje svými vlastními slovy, co řekla, měla na mysli, cítila a udělala v šesti pracovních situacích – třech pozitivních a třech negativních. Rozhovor je zaznamenán, přepsán a ze záznamu jsou určeny různé osobnostní charakteristiky. Osobní charakteristiky jsou kódovaný z hlediska četnosti jejich výskytu v rámci rozhovoru a úrovně jejich komplexnosti a rozsahu, v němž se projevují.
Seznam hlavních činností (a někdy i úrovně výkonu) lze převzít z popisu profilu příslušné pracovní pozice nebo ho vypracovat přímo prostřednictvím analýzy pracovní pozice. Analýzu pracovní pozice lze definovat (Pokyny projektu IMPROVE, XX) jako systematickou studii činností, které se provádějí v určité pracovní roli. Činnosti jsou identifikovány s pomocí vývojového diagramu, který popisuje, jak se určitá pracovní pozice vykonává, a tímto způsobem jsou hlavní činnosti, činnosti a vedlejší činnosti popsány jako kořen stromu, kde kombinace jednodušších činností umožňuje provádění komplikovanějších činností. Analýza pracovní pozice umožňuje identifikaci hierarchie činností, a to od nejdůležitějších a nejobecnějších (hlavní činnosti) k těm méně důležitým (činnosti a vedlejší činnosti). Nejsou-li ještě k dispozici úrovně (vědomostí, osobních rysů nebo výkonu), je třeba tyto úrovně definovat.
V některých rámcích pro hodnocení nejsou tyto úrovně výslovně definovány, jsou však považovány za splněné, vlastní-li kandidát specifické důkazy. Například vlastnictví specifického vzdělávacího titulu nebo několik let specifických studií lze považovat za dostatečný důkaz vlastnictví adekvátního souboru vědomostí ve specifickém oboru nebo osvojení si specifických kognitivních dovedností.
Většina rámců se spoléhá na implicitní úrovně porozumění ze strany hodnotitele: hodnotitel porovnává důkazy předložené nebo vyvolané kandidátem se svým vlastním názorem na to, jak by příslušná úroveň měla vypadat. V těchto případech je názor hodnotitele často založen na zkušenostech s hodnocením předchozích kandidátů nebo v případě posuzování výkonu na přímých předchozích profesních zkušenostech hodnotitele ve stejných hlavních činnostech, jakou
60
jsou ty, které má hodnotit. Odvozené úrovně mohou být zavádějící, protože různí hodnotitelé mohou mít různý názor na to, co je standardem. Je jasné, že přesné vyjádření úrovní vyžaduje dodatečnou a často těžko postižitelnou práci, taková snaha se však vyplatí, protože umožňuje přesnější a jednotnější hodnocení.
Odvozené úrovně porozumění se požadují i tehdy, existuje-li určitý popis příslušných úrovní. Například Vzdělávací a odborní poradci IAEVG popisují úrovně výkonu některých činností a některé vědomosti následujícími výrazy: (0) zanedbatelný, (1) neadekvátní, (2) kompetentní (3) významný (4) vynikající, avšak význam těchto výrazů není dále popsán (IAEVG, bez data). Přesnější popis úrovní lze nalézt v Evropském rámci kvalifikací EQF, je však stále nedostatečný: například u úrovně 2 není jasné, jak je definován výraz „určitá autonomie.“ Úrovněmi „kompetencí“ jsou1. práce nebo studium pod přímou supervizí ve strukturovaném kontextu; 2. práce nebo studium pod supervizí s určitou autonomií; 3. přijetí odpovědnosti za provádění pracovních nebo studijních činností;4. zvládnutí a transformace pracovních nebo studijních kontextů, které jsou komplexní, nepředvídatelné a které vyžadují nové strategické přístupy a převzetí odpovědnosti za přispívání k profesním vědomostem a praxi a/nebo za přezkum strategického výkonu týmů; a tak dále. (Generální ředitelství pro vzdělávání a kulturu, bez data)
Systém bodování lze definovat pouze tehdy, když byly stanoveny prvky a jejich požadované úrovně. Existuje několik možností: například je možné se rozhodnout, že kandidát musí být hodnocen a splňovat normu u všech prvků nebo pouze u jejich vzorku nebo že je třeba posoudit a obodovat každý z prvků. Podobně lze rozhodnout, že stupnice bodování bude zahrnovat pouze „ano“ a „ne“ nebo že bude obsahovat určitý bodový rozsah, například 1 až 5.
4.1.4. Důkazy, které demonstrují vlastnictví nebo osvojení si prvků, které úspěšný kandidát musí vlastnit nebo si osvojit Jakmile dojde k dohodě o seznamu prvků, je třeba rozhodnout, jaké budou důkazy, které budou potvrzovat jejich vlastnictví nebo osvojení si. V mnoha rámcích pro hodnocení, jejichž cílem je umožnit získání vzdělávacího titulu, mohou být takovým dokladem osvědčení z předchozích (přerušených) studií, která byla udělena vzdělávacími orgány, nebo odborná kvalifikace či osvědčení o délce předchozích pracovních zkušeností, která vydali předchozí zaměstnavatelé. Méně často musí kandidát podstoupit písemné, ústní nebo (v případě odborné kvalifikace) praktické testy.
61
Nástroje pro sběr důkazů, které se vztahují k osobním rysům, jsou početné (Pokyny projektu IMPROVE, kapitola 2.4): 1. přezkum životopisu kandidáta nebo prezentované profesionální biografie (dokladem je prohlášení kandidáta o předchozích pracovních a vzdělávacích zkušenostech), 2. kontrola vlastnictví vzdělávací kvalifikace a jiných osvědčení o vzdělání nebo výcviku (dokladem jsou příslušná osvědčení), 3. kontrola vlastnictví doložených zkušeností (dokladem jsou příslušná osvědčení vydaná předchozími zaměstnavateli), 4. rozhovor nebo písemný test technických vědomostí (dokladem jsou odpovědi na otázky nebo výsledky testu), 5. testy (dovednosti, osobnost, zájmy, atd.) (dokladem jsou bodová hodnocení těchto testů), 6. hraní rolí, které je zaměřeno na průřezové dovednosti (jak je obsaženo v rámci hodnocení assessment centra) (dokladem jsou výsledky jednotlivých hraní rolí), 7. rozhovor zaměřený na průřezové dovednosti (například Rozbor prožitku pracovní situace BEI) (dokladem je bodové hodnocení, které bylo v rozhovoru získáno). Důkazy spojené s výkonem v pracovní pozici lze získat jako kombinaci následujících položek (Pokyny projektu IMPROVE, kapitola 2.4): 1. přímé sledování osob při výkonu jejich práce (důkazem je sledovaný výkon), 2. profesní diskuse (důkazem jsou odpovědi na otázky v rámci rozhovoru), 3. rozhovor zaměřený na výkon pracovní činnosti - PFI (důkazem jsou odpovědi na otázky v rámci rozhovoru), 4. diskutování případových studií (důkazem jsou odpovědi na otázky v rámci rozhovoru), 5. doporučení od kolegů a supervizorů (důkazem jsou příslušná doporučení), 6. doporučení od klientů (důkazem jsou příslušná doporučení), 7. přezkum dokumentace, kterou vytvoří osoba provádějící svoji práci (důkazem jsou příslušné dokumenty) 8. přezkum pracovního portfolia (důkazem je prezentovaná práce), 9. simulace pracovních činností (důkazem je sledovaný výkon).
62
4.1.5 Proces hodnocení Posledním krokem při rozvíjení nástroje pro hodnocení neformálního a neoficiálního učení je zpracování struktury postupu (několik činností v rámci určitého logického a chronologického pořádku, použití kombinace nástrojů pro sběr důkazů uvedených v předchozí části) pro měření vlastnictví nebo osvojení si prvků.
Při zpracovávání struktury postupu a výběru nástrojů je třeba vzít v potaz, že je nezbytné nalézt dobrý kompromis mezi efektivitou a váhou procesu hodnocení. Určitý postup může být velice efektivní, pokud však vyžaduje významné množství času a ekonomických zdrojů, bude existovat pouze minimální pravděpodobnost, že se stane zavedeným a široce uplatňovaným postupem (pokud jeho používání není vynuceno veřejným orgánem). Na druhou stranu postup, který vyžaduje jen málo času, ale je méně efektivní, představuje slabou stránku minimální použitelnosti (Pokyny projektu IMPROVE, kapitola 2.4).
4.2 Profesní zkouška Profesní zkouška (dále jen PZ) je metodologie pro hodnocení výkonu, která byla použita v rámci pilotního šetření projektu IMPROVE. Profesní zkoušku původně vyvinul Leonardo Evangelista díky předchozímu evropskému projektu a další práci a její obsah byl vylepšen, přeložen a pilotně prozkoumán v několika evropských zemích díky partnerům projektu IMPROVE.
Na základě výsledků pilotního šetření prošla struktura PZ několika menšími změnami; v konečné struktuře jsou určité rozdíly mezi zeměmi, které je třeba vzít v potaz v národních kontextech. Následující popis se vztahuje ke struktuře PZ, která vznikla po pilotním šetření a byla adaptována na italský kontext.
Zde popsaná PZ se vztahuje k praktikujícím poradcům, kteří provádějí kariérové poradenství. PZ lze však také aplikovat v jiných oblastech s použitím odlišného seznamu prvků (rámců kompetencí), který vznikne na základě referenčního seznamu činností prováděných v jiných sektorech.
4.2.1 Cíl hodnocení V rámci PZ je cílem hodnocení zajistit, aby praktikující kariéroví poradci prováděli své činnosti podle předem stanovené optimální normy, takže hodnocení je zaměřeno na jejich stávající výkon.
63
4.2.2 Co má být uznáno a uděleno na konci procesu hodnocení Úspěšný kandidát obdrží osvědčení (Osvědčení o profesní zkoušce), které bude obsahovat hlavní činnost(i) a odpovídající prvky, jež byly hodnoceny, a bude uvádět, že odbornost příslušného kandidáta byla vyhodnocena v souladu s příslušnými normami:
Prohlašujeme, že [jméno kandidáta] prošel profesní zkouškou hlavní činnosti/ hlavních činností [jméno příslušné hlavní činnosti/ příslušných hlavních činností]. V průběhu profesní zkoušky byla hodnocena odborná způsobilost kandidáta u následujících prvků [jména hodnocených prvků] a tato způsobilost byla u všech prvků uznána jako odpovídající normám a celkové bodové hodnocení činí [dosažené bodové hodnocení].
Neúspěšný kandidát obdrží osvědčení, které bude obsahovat hlavní činnost(i) a odpovídající prvky, které byly hodnoceny, a bude uvádět, že byl vypracován plán pro zlepšení.
Prohlašujeme, že [jméno kandidáta] prošel profesní zkouškou hlavní činnosti/ hlavních činností [jméno příslušné hlavní činnosti/ příslušných hlavních činností]. V průběhu profesní zkoušky byla hodnocena odborná způsobilost kandidáta u následujících prvků [jména hodnocených prvků]. V průběhu profesní zkoušky vypracoval kandidát plán pro zlepšení.
4.2.3 Seznam prvků, které musí úspěšný kandidát vlastnit nebo si osvojit Protože je cílem PZ posoudit současný pracovní výkon, příslušnými prvky jsou hlavní pracovní činnosti, činnosti a vedlejší činnosti. Hlavní pracovní činnosti, které se hodnotily v rámci PZ, jsou uvedeny a popsány v Tabulce 14.
1. Dodání informací, které
To se obvykle provádí prostřednictvím několikaminutových interakcí
se vztahují ke kariérovému
u přepážek služeb kariérového poradenství nebo telefonicky či
poradenství, jako oddělená
elektronickou poštou. V této hlavní činnosti nezkoumá praktikující
aktivita
poradce hloubku situace klienta, ale jde pouze o získání informací.
2. Provedení rozhovorů
To se obvykle provádí na schůzce ve vyhrazeném prostoru. V
kariérového poradenství (s
průběhu rozhovoru provádí praktikující poradce hloubkovou analýzu
64
dospělými, s mladými
situace klienta a pomáhá mu sestavit realistický a efektivní plán
studenty nebo s oběma
aktivit.
skupinami) 3. Provádění činností
To se obvykle provádí se studenty (často zaměřeno na zlepšení
kariérového poradenství
vědomostí o sobě, o příležitostech ke vzdělání a na zlepšení
v malých skupinách (s
rozhodovacích dovedností) a s dospělými nezaměstnanými (často
dospělými, s mladými
zaměřeno na zlepšení dovedností spojených s hledáním práce).
studenty nebo s oběma skupinami) Tabulka 12: Hlavní pracovní činnosti používané v rámci PZ a jejich popis
Hlavní činnosti 2 a 3 jsou odlišeny druhem klientů v závislosti na tom, zda kandidát pracuje zejména s dospělými nebo s mladými (>18) studenty nebo s oběma skupinami. Z toho důvodu existuje 7 různých druhů Osvědčení o profesní zkoušce, která lze udělit: 3 pro každou hlavní činnost 2 a 3 (1. dodání informací, které se vztahují ke kariérovému poradenství, jako oddělená aktivita, pokud jde o práci s dospělými, se studenty nebo s oběma skupinami a 2. provedení rozhovorů kariérového poradenství s dospělými, s mladými studenty nebo s oběma skupinami, plus 1 osvědčení pro hlavní úkol 1.
PZ má mozaikovou struktur: kandidát si může vybrat, pro jaké hlavní činnosti (a u hlavních činností 2 a 3 i pro jaký druh klientů) chce být posuzován. Diferenciace podle hlavních činností a klientů umožňuje, aby vzal příslušný proces v potaz různé kontexty a specializace, v nichž je kariérové poradenství prováděno. Například v mnoha italských školách je provádění kariérového poradenství svěřeno běžným učitelům, kteří pracují pouze ve škole v jednotlivých třídách. Tito učitelé se mohou rozhodnout, že budou chtít být posuzováni (a získat Osvědčení o profesní zkoušce) pouze pro hlavní činnost 3, tj. provádění aktivit kariérového poradenství s malými skupinami mladých studentů.
U každé hlavní činnosti uvádí PZ seznam činností a vedlejších činností, které umožňují hlavní činnost vykonat. To jsou prvky, které jsou posuzovány a které si musí úspěšný kandidát osvojit. Je třeba zdůraznit, že v rámci PZ nejsou hlavní činnosti posuzovány přímo, ale nepřímo prostřednictvím hodnocení kandidáta při provádění některých činností a vedlejších činností, které umožňují příslušnou hlavní činnost vykonat.
65
Níže uvedená Tabulka 15 obsahuje seznam prvků, na něž se odkazuje v rámci hlavních činností 2 a 3 při práci s dospělými i se studenty15.
Seznam hlavních a vedlejších pracovních činností (prvky), které budou hodnoceny
Hlavní
Hlavní pracovní činnost II. dospělí
pracovní činnost II. – mladiství a studenti
Hlavní
Hlavní pracovní činnost III. dospělí
pracovní činnost III. – mladiství a studenti
1. Použijte vhodné techniky rozhovoru pro řízení takového
X
X
rozhovoru. 2. Použijte vhodné techniky facilitace ve skupině pro řízení
X
X
malých skupin. 3. Pomáhejte dospělým klientům identifikovat profesní
X
cíle. 4. Pomáhejte mladým klientům při jejich výběru vzdělání a
X
X
výcviku. 5. Pomáhejte klientům stanovit a zavést akční plány, které se budou vztahovat k práci nebo
X
X
X
X
učení. 6. Pomáhejte dospělým klientům s hledáním práce.
X
X
7. Pracovní vztahy účastníků s praktikujícím poradcem náleží
X
X
X
X
do působnosti externích
15
Pro dosažení stručnosti zde nejsou uvedeny prvky hlavního úkolu 1.
66
organizací. 8. Dodávejte aktuální a spolehlivé informace o
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
kariérovém poradenství. 9. Rozvíjejte kariérové dovednosti klientů. 10. Rozvíjejte a zavádějte etické postupy. 11. Neustále zlepšujte své vlastní vědomosti a dovednosti i své služby. Tabulka 13: Seznam činností a vedlejších činností pro posouzení (prvků) hlavních činností 2 a 3 s dospělými i s mladými studenty
Prvky 7 až 11 jsou průřezovými vedlejšími činnostmi, které jsou zakotveny v pracovních činnostech a umožňují provádění hlavních činností 2 a 3.
Prvky podtržené v Tabulce 15 je třeba kombinovat v závislosti na hlavní činnosti a na druhu klientů, které si kandidát vybral. Například prvek1. Použijte vhodné techniky rozhovoru pro řízení takového rozhovoru (bez ohledu na typologii klientů) bude posuzován pouze u kandidátů, kteří požadují hodnocení svého výkonu v rámci hlavní činnosti 2. Provedení rozhovorů kariérového poradenství a v rámci prvku 2. Použijte vhodné techniky facilitace ve skupině pro řízení malých skupin hodnotíme pouze u kandidátů, kteří požadují hodnocení svého výkonu v rámci hlavní činnosti 3.
Provádění činností kariérového poradenství v malých skupinách (bez ohledu na
typologii klientů). Kandidát, který požaduje hodnocení svého výkonu v rámci hlavní činnosti 2. Provádění rozhovorů kariérového poradenství s dospělými bude hodnocen v rámci prvků 1, 3, a 5 až 12. Kandidát, který požaduje hodnocení svého výkonu v rámci hlavní činnosti 2. Provádění rozhovorů kariérového poradenství s mladými studenty bude hodnocen v rámci prvků 1, 4, 5 a 7 až 12. Pro popis úrovní každého prvku a pro systém bodování PZ viz následující část.
67
4.2.4 Doklady, které demonstrují vlastnictví nebo osvojení si prvků Je třeba mít na paměti, že při hodnocení je třeba nalézt kompromis mezi efektivitou a váhou příslušného procesu hodnocení, a proto je hlavním nástrojem PZ vybraným pro sběr důkazů rozhovor zaměřený na výkon pracovní činnosti - PFI. Prvek 1. Použijte vhodné techniky rozhovoru pro řízení takového rozhovoru se hodnotí spolu s posouzením kvality interakce mezi kandidátem a hodnotitelem v průběhu PFI (viz Tabulka 18).
PFI lze definovat jako (Pokyny projektu IMPROVE, 2.4): standardizovanou strukturovanou profesní diskusi, tedy jako rozhovor probíhající mezi hodnotitelem a kandidátem n (hodnocenou osobou), v rámci něhož kandidát popisuje své pracovní činnosti a jak jeho výkon dosahuje požadavků, které jsou stanoveny normami. V PFI jsou otázky zaměřeny na specifické předem určené aspekty výkonu a všichni kandidáti musejí odpovědět na stejný seznam otázek. Hodnotitel však může klást také dodatečné otázky pro vyjasnění nebo lepší porozumění.
V PFI mají důkazy formu odpovědí kandidáta, který je hodnocen. Například otázky použité pro sběr důkazů k prvku11. Neustále zlepšujte své vlastní vědomosti a dovednosti i své služby jsou následující:
Otázky
Kritéria, která je třeba zvážit
1. Můžete uvést seznam zdrojů / nástrojů,
U otázky 1: Kandidát nezná většinu zdrojů, které
které můžete použít pro zlepšení svých
jsou uvedeny v dokumentu Informace pro
vlastních dovedností a vědomostí, které se
kandidáty.
týkají kariérového poradenství?
U otázek 2, 3: v posledních 12 měsících kandidát
2. Co jste v posledním roce udělal/a pro
nevykonával žádnou činnost pro zlepšení svých
zlepšení svých vědomostí a dovedností?
vědomostí nebo dovedností (čtení knih, článků,
3. Co uděláte v následujících 12 měsících? 4. Co jste v posledním roce udělal/a pro zlepšení společnosti, v níž pracujete? 5. Co uděláte v následujících 12 měsících?
webových stránek, specializovaných mailingových listů, návštěva konferencí, sdílení případů s kolegy, atd.) nebo nemá žádné plány do budoucna U otázek 4, 5: v posledních 12 měsících kandidát nevykonával ani neplánoval žádnou činnost, s výjimkami tam, kde příslušný případ závisí na striktních postupech a zaměstnanci nedostávají
68
žádný prostor pro vlastní návrhy Tabulka 14: Otázky a limitní kritéria pro prvek 11. Neustále zlepšujte své vlastní vědomosti a dovednosti i své služby
V pravém sloupci jsou uvedena kritéria, která je třeba zvážit „jako pod limitem,“ to znamená, že tato kritéria popisují, kdy je úroveň osvojení nebo chování kandidáta pod úrovní uvedené normy. Pokud například u otázky 2 kandidát potvrdí, že v posledních 12 měsících neprováděl žádné činnosti pro zlepšení svých vědomostí nebo dovedností, je to považováno za výkon pod úrovní normy pro prvek 11.
Pro hodnocení jako úspěšný musí být všechny odpovědi kandidáta PZ nad úrovní limitních kritérií, to znamená, že pokud je jeden z prvků pod limitní úrovní, je hodnocení příslušné hlavní činnosti považováno za neúspěšné. Důvodem pro toto hodnocení je, že všechny prvky PZ jsou považovány za zásadní a povinné pro výkon každé hlavní činnosti podle norem. V případě neúspěšných PZ se nové PZ zaměřovaly pouze na prvky, které nebyly úspěšně splněny, a tyto PZ musely proběhnout v období nejméně 6 a nejdéle 12 měsíců.
Pro přesnější popis obecné odbornosti kandidáta je u každého prvku uvedeno bodové ohodnocení s použití 4bodové stupnice (viz Tabulka 17 níže). Toto hodnocení však neovlivňuje obecné pravidlo, že úspěšný kandidát musí dosáhnout nadlimitní úrovně u odpovědí na všechny otázky. Celkové skóre je v případě úspěšného hodnocení uvedeno na Osvědčení o profesní zkoušce.
Skóre
Význam a kritéria
1
naprosto nesplněno: Kandidát neodpověděl správně na více než 1 otázku v rámci stejného prvku
2
nesplněno: Kandidát neodpověděl správně na 1 otázku v rámci stejného prvku
3
Splněno: když kandidát podá přesvědčivý výkon, avšak nedokáže vysvětlit jasně zakotvenou teorii a principy
4
4 velmi dobře: když kandidát podá přesvědčivý výkon a zároveň dokáže vysvětlit jasně zakotvenou teorii a principy
69
Tabulka 15: Rozpětí skóre a kritéria pro hodnocení jednotlivých prvků
Níže uvedená Tabulka 16 obsahuje Formulář pro hodnocení, který musí vyplnit hodnotitel i příslušný kandidát (viz bod 5 procesu, který je popsán níže).
1. Identifikační číslo hodnotitele ……………………… 2. Identifikační číslo kandidáta ………………………… 3. Hlavní úkol(y) a druh klientů, které si kandidát vybral ……………………. 4. Datum 2. rozhovoru ………………………
Na základě následujících kritérií zaznamenejte své známky k prvkům, které jsou uvedeny níže:
• 1 naprosto nesplněno: zcela pod úrovní normy • 2 nesplněno: mírně pod úrovní normy • 3 splněno: pokud kandidát předvedl přesvědčivý výkon, ale nedokáže vysvětlit jasně zakotvenou teorii nebo principy
• 4 velmi dobře: pokud kandidát předvedl přesvědčivý výkon a dokáže vysvětlit jasně zakotvenou teorii nebo principy
Skóre uvádějte pouze u prvků, které jsou vhodné pro příslušnou kombinaci hlavního úkolu/ hlavních činností a druhu klientů, které si kandidát vybral.
Je-li některý prvek ohodnocen číslem 2 nebo 1, je v důvodech pro získané skóre třeba uvést také počet otázek, na něž nebyla uspokojivé odpověď.
Prvky
Hodnocení
1.A.Používejte vhodné techniky rozhovoru pro řízení takového rozhovoru (vyhodnocení bude založeno na odpovědích na otázky v rámci PFI pro prvek 1)
70
Důvody pro získané skóre …......... 1.B. Používejte vhodné techniky rozhovoru pro řízení takového rozhovoru (vyhodnocení bude založeno na kvalitě interakce kandidáta s hodnotitelem v průběhu celkového PFI) Důvody pro získané skóre …......... 2. Použijte vhodné techniky facilitace ve skupině pro řízení malých skupin. Důvody pro získané skóre …......... 3. Pomáhejte dospělým klientům identifikovat profesní cíle. Důvody pro získané skóre …......... 4. Pomáhejte mladým klientům při jejich výběru vzdělání a výcviku. Důvody pro získané skóre …......... 5. Pomáhejte klientům stanovit a zavést akční plány, které se budou vztahovat k práci nebo učení. Důvody pro získané skóre …......... 6. Pomáhejte dospělým klientům s hledáním práce. Důvody pro získané skóre …......... 7. Pracovní vztahy účastníků s praktikujícím poradcem náleží do působnosti externích organizací. Důvody pro získané skóre …......... 8. Dodávejte aktuální a spolehlivé informace o kariérovém poradenství. Důvody pro získané skóre …......... 9. Rozvíjejte kariérové dovednosti klientů. Důvody pro získané skóre …......... 10. Rozvíjejte a zavádějte etické postupy. Důvody pro získané skóre …......... 11. Neustále zlepšujte své vlastní vědomosti a dovednosti i své služby.
71
Důvody pro získané skóre …......... Celkové skóre Konečný výsledek (výkon v kombinaci hlavního úkolu/ hlavních činností a druhu klientů, které si kandidát vybral) Uznáno / neuznáno Tabulka 16: Vyhodnocení každého kandidáta (hlavní činnosti 2 a 3)16
4.2.5 Proces hodnocení V PZ procesu existují dvě odlišné role: manažer procesu a hodnotitel.
Manažer procesu: •
Přijímá od potenciálních kandidátů žádosti o informace a je-li to potřeba, nasměruje je k dokumentu Informace pro kandidáty PZ, který je k dispozici na webových stránkách PZ.
•
Přijímá od kandidátů žádosti o podstoupení PZ, jejich životopisy a jejich písemný souhlas, pokud jde o ochranu shromážděných údajů, včetně oprávnění nahrávat rozhovory.
•
Přiděluje kandidátům hodnotitele.
•
Kontroluje, aby byl celý proces prováděn v souladu se stanoveným postupem.
•
Prostřednictvím přezkumu videí s rozhovory provádí kontrolu vzorků aktivit hodnotitelů.
•
Zkoumá zpětné vazby od kandidátů ohledně PZ (včetně zpětné vazby o chování a odborných znalostech hodnotitelů).
•
Tiskne a zasílá kandidátům osvědčení PZ.
•
Vede registr kandidátů a výsledků PZ u každého kandidáta.
•
Zasílá kandidátům faktury.
•
Studuje a poskytuje doporučení ohledně zlepšení procesu PZ.
•
Píše pravidelné přehledy o vývoji na trhu PZ.
Hodnotitel: •
Provádí PZ v souladu se stanoveným postupem.
16
Pro dosažení stručnosti zde nejsou uvedeny prvky hlavního úkolu 1.
72
•
Předkládá pravidelné návrhy ohledně zlepšení procesu PZ.
Je vhodné zdůraznit, že externí posouzení je pouze jednou ze složek PZ. Jakmile bylo provedeno posouzení kandidáta, je tento kandidát požádán, aby provedl sebehodnocení s pomocí stejné mřížky, která byla použita hodnotitelem. Pak kandidát a hodnotitel porovnají a diskutují své mřížky. Nakonec hodnotitel pomůže kandidátovi vypracovat Plán pro zlepšení.
S každým přiděleným kandidátem provede hodnotitel v průběhu 1-3 týdnů 3 rozhovory. Aby se ušetřily náklady na cestování, provádí se PZ obvykle s použitím softwaru pro videokonference, jako je aplikace Skype. V každém případě je možné tento proces provádět také osobně tváří v tvář. Aby byl 2. rozhovor lépe zvladatelný, některé prvky jsou hodnoceny prostřednictvím písemných odpovědí. Aby bylo možné provádět kontroly vzorků aktivit hodnotitele, je 2. a 3. rozhovor nahráván a ukládán v oblasti s omezeným přístupem na webových stránkách PZ. Aby se zabránilo střetu zájmů, obdrží hodnotitel životopis kandidáta k posouzení až poté, co byl proveden rozhovor (2. rozhovor).
Podrobný proces PZ je následující: 1. Hodnotitel napíše kandidátovi dopis a dohodne se s ním na načasování PZ. 2. 1. rozhovor: hodnotitel zkontroluje fungování aplikace Skype kandidáta, má-li být tato aplikace použita pro následující rozhovory, a je-li to třeba, poskytne kandidátovi dodatečné informace o PZ. 1. rozhovor je krátký (15-20 minut). 3. Hodnotitel zašle kandidátovi otázky, které se budou týkat prvků 7 až 11, a kandidát na ně písemně odpoví. 4. Hodnotitel obdrží odpovědi elektronickou poštou a zkontroluje tyto odpovědi, které se budou týkat prvků 7 až 11. 5. 2. rozhovor: hodnotitel provede rozhovor s kandidátem pomocí seznamu otázek, které se budou týkat zbývajících prvků. 2. rozhovor trvá přibližně hodinu. Na konci 2. rozhovoru zašle hodnotitel kandidátovi prázdný Formulář pro hodnocení a seznam otázek a požádá kandidáta, aby ve lhůtě maximálně jednoho dne provedl sebehodnocení. Po dokončení rozhovoru hodnotitel také vyplní Formulář pro hodnocení. 6. Kandidát zašle hodnotiteli Formulář pro hodnocení a svůj životopis.
73
7. V maximální lhůtě jednoho týdne přezkoumá hodnotitel Formulář pro hodnocení, jenž byl vyplněn kandidátem, a porovná skóre, která sám udělil, a své komentáře; dále zašle kandidátovi mřížku, kam má kandidát sepsat svůj Plán pro zlepšení. 8. Kandidát zkontroluje zpětnou vazbu hodnotitele, vyplní mřížku Plánu pro zlepšení a zašle ji hodnotiteli. 9. 3. rozhovor: Hodnotitel a kandidát diskutují výsledky 2. rozhovoru a dokončí Plán pro zlepšení. 3. rozhovor trvá přibližně 1 hodinu. 10. Hodnotitel předá kandidátovi odkaz na online dotazník, kde kandidát vyjádří svoji zpětnou vazbu
ohledně
procesu
PZ
a
chování
hodnotitele
a
jeho
odborných
znalostí.
74
1. Identifikační číslo hodnotitele ……………………… 2. Identifikační číslo kandidáta ………………………… 3. Hlavní úkol(y) a druh klientů, které si kandidát vybral ……………………. 4. Datum 3. rozhovoru ……………………… U každého prvku napište, jak můžete zlepšit nebo zachovat aktuálnost svého výkonu nebo profesionálního chování a kdy to můžete udělat. Při vypracovávání tohoto cvičení mějte na paměti, že existuje několik přístupů k učení:
1. navštěvování kurzu, který probíhá tradičním způsobem ve třídě, 2. spolupráce s jinými kolegy prostřednictvím komunity na praxi zaměřených webových stránek nebo mailing listů,
3. samostatně prostřednictvím webových stránek, knih, časopisů, 4. samostatně prostřednictvím reflexe o své praxi 5. na pracovišti ve formě mentoringu od kolegy nebo supervisora. Ve vašem Plánu pro zlepšení může být užitečné:
A. definovat, co se chcete naučit nebo zlepšit, a je-li to možné jasně definovat úroveň vědomostí nebo výkonu, jehož chcete dosáhnout.
B. definovat, jaký typ pomoci chcete získat od komunity praktikujících poradců, kolegů nebo supervisora.
C. rozhodnout se, kolik času a kdy chcete věnovat učení. D. vést si studijní deník, který bude popisovat vaše učení (lze ho sdílet s ostatními studenty prostřednictvím webových sociálních sítí, jako je Facebook).
E. prostřednictvím rozhovoru s přítelem, kolegou nebo supervizorem si periodicky ověřovat, jak se vaše učení vyvíjí,
F. používat mřížky pro sebehodnocení, G. sepsat jeden nebo více esejů, které budou založeny na tom, co jste se naučili.
75
Prvek
Skóre Skóre Jak se mohu zlepšit (sebehodnocení) (hodnotitel)
Kdy se chci zlepšování věnovat
1. Použijte vhodné techniky rozhovoru pro řízení takového rozhovoru 2. Použijte vhodné techniky facilitace ve skupině pro řízení malých skupin. 3. Pomáhejte dospělým klientům identifikovat profesní cíle. 4. Pomáhejte mladým klientům při jejich výběru vzdělání a výcviku. 5. Pomáhejte klientům stanovit a zavést akční plány, které se budou vztahovat k práci nebo učení. 6. Pomáhejte dospělým klientům s hledáním práce. 7. Pracovní vztahy účastníků s praktikujícím poradcem náleží do působnosti externích organizací. 8. Dodávejte aktuální a
76
spolehlivé informace o kariérovém poradenství. 9. Rozvíjejte kariérové dovednosti klientů. 10. Rozvíjejte a zavádějte etické postupy. 11. Neustále zlepšujte své vlastní vědomosti a dovednosti i své služby. 12. Komunikace Tabulka 17: Plán pro zlepšení (pro hlavní činnosti 2 a 3)
77
5. Národní zpráva projektu IMPROVE– přehled národních pilotních šetření, která byla provedena v šesti zemích
5.1 Úvod Pilotní ověření spočívalo v hodnocení praktické činnosti kariérových poradců a rámce hodnocení jako takového. Hodnocené prvky byly vyvinuty v rámci projektu IMPROVE s odkazem na předchozí projekty (viz kapitola 4). Pokyny (viz kapitola 3) se staly základními kritérii kvality pilotního ověření. Je třeba poznamenat, že hodnocení bylo zaměřeno jen na výkon individuálního kariérového poradenství, zatímco další činnosti, jako je například poskytování kariérových informací v rámci hlavní pracovní činnosti nebo poskytování skupinového kariérového poradenství, hodnoceny nebyly. Pilotní ověření se konala v šesti zemích pod patronací šesti partnerských institucí, které se zabývají výzkumem, vzděláváním a poskytováním služeb kariérového poradenství. Partneři projektu IMPROVE provedli pilotní ověření v rámci svých sítí a jejich kontextů, které jsou popsány dále.
CZ. Český partner je neziskovou organizací se silnými vazbami na Asociace výchovných poradců (školní úroveň) a Asociací vysokoškolských poradců. Rady obou asociací od samého počátku nedůvěřivé a neměly zájem o plné zapojení do pilotního ověření procesu IMPROVE. Středisko podpory poradenských služeb v současné době pracuje na národním projektu "Bilan de Compétence" a jeho pracovní skupina je složená ze zkušených kariérového poradců. Také tato skupina nebyla ochotna podílet se na pilotním ověření metodiky hodnocení projektu IMPROVE. Výchozí bod pilotního ověření tak byl poměrně složitý a není snadný. DE. V Německu je tendence podporovat vývoj pro soudržnější systémy kariérového poradenství. Pilotní ověření zajistilo potřebné zkušenosti pro instituce odpovědné za poradenství. Testování nástrojů, dotazníku, organizačního zázemí, kontaktů na hodnotitele je velmi důležité, stejně jako zkušenosti v organizování dalšího vzdělávání a metodiky hraní rolí, zkušenosti s novými komunikačními metodami, jako Skype, atd. je velmi dobrá. ES. DEP Institut je soukromá organizace specializující se na strategický, sociologický a marketingový výzkum a informace v oblasti vzdělávání, odborné přípravy. Má více než 15 let zkušeností s prací na místní, regionální, státní i evropské úrovni. Educaweb.com, který byl založen v roce 1998 DEP, je předním portál akademického a profesního poradenství a informačních služeb ve Španělsku s více než 45.000 zdrojů. DEP neposkytuje pravidelné
78
další vzdělávání, ale má silné vazby na poradce a vzdělavatele prostřednictvím své sítě vytvořené jeho sesterskou společností Educaweb. GR. V Řecku je o hodnocení kompetencí velký zájem, protože neexistuje žádný formální systém pro akreditaci kariérových poradců, jejich počet stále stoupá. Ison Psychometrica byl zodpovědný za pilotní ověření v Řecku a je zodpovědný za zpracování dat a statistických analýz pro celé pilotní ověření. IT. V Itálii nejsou profese kariérového poradenství regulovány (výjimečně jsou v některých regionech a některými sociálními partnery stanoveny obecné požadavky pro práci ve vzdělávacích institucích) a mnoho praktiků kariérového poradenství se učí výkon své funkce kombinací formálního učení (ve větší části), s učení na pracovišti a se samostudiem. Formální vzdělávání: všeobecně zaměřené vysokoškolské programy např. pedagogika, psychologie nebo sociální vědy, v mnoha případech však kariéroví poradci mají vzdělání plně nesouvisející s kariérovým poradenstvím. Učení na pracovišti a sebevzdělávání může obsahovat stáže, studium knih a internetové stránky o kariérovém poradenství, účast na konferencích atd. Z těchto důvodů existuje požadavek na vytvoření metodiky, která by umožnila identifikovat kompetentního kariérového poradce bez ohledu na jeho formální vzdělání. Pilotní ověření bylo v Itálii realizováno ve spolupráci s třemi italskými sdružení kariérových poradců, které měly zájem o přípravu metodiky pro ověřování, které by přispělo k naplnění registru kariérových poradců. Asociace vyzvala své členy k účasti na pilotním ověření jak v roli hodnoceného, tak hodnotitele. RO. Kariérové poradenství je důležité téma zejména pro vzdělávací sektor, ve kterém roste síť praktiků. Akreditace a supervize je zde určená především pro psychology, ale jsou zde i iniciativy pro další profesionály. Reflexe vlastní zkušenosti v dobrém rámci je pro profesionály signifikantní.
5.2 Hodnotitelé a jejich zaškolení Pro zdárný průběh pilotního ověření bylo důležité najít vhodné hodnotitele a adekvátně je vyškolit. Jednotlivé země k tomuto důležitému úkolu přistoupily různými metodami a kroky v souladu s jejich národním kontextem. Zaškolení hodnotitelů se uskutečnila přes Skype a v reálném čase, prostřednictvím hraní rolí a supervizí. Zaškoleni byli v každé zemi přinejmenším dva hodnotitelé. Někteří hodnotitelé byli za odvedenou práci placeni, někteří se angažovali dobrovolně. Ve většině zemí bylo požadováno, aby hodnotitelé byli zkušení praktici s více než 4000 hodin praxí v kariérovém poradenství. Charakteristiky posuzovatelů a způsob jejich zaškolení v každé zemi jsou uvedeny níže.
79
CZ. V Česku byla dohoda na výkon hodnotitele uzavřena se dvěma kariérovými poradkyněmi, každá provedla 11 hodnocení a obě splnily svůj úkol velmi dobře. Výcvik probíhal ve dvou krocích: 1) studium podkladových materiálů a návrhy na jejich úpravy, 2) prostřednictvím Skype konference si obě vyzkoušeli roli hodnoceného i hodnotitele. DE. V Německu bylo do hodnocení zapojeno 6 kariérových poradců s vědeckým zaměřením a zájmem o další vývoj v oblasti uznávání kompetencí. Zaškolení začalo on-line-konferencí, v jejímž průběhu byly diskutovány podkladové materiály a jejich možná vylepšení. Všichni hodnotitelé se pak vzájemně ohodnotili a diskutovali jednotlivé aspekty zkušenosti s hodnoticím nástrojem. ES. Ve Španělsku byli hodnotitelé zapojení do pilotního ověření aktivními poradci a současně i spolupracovníky DEP a Educaweb.com. Hodnotitelé měli zkušenosti jak s akademickým, tak i kariérovým poradenstvím a dlouholeté zkušenosti z práce ve veřejných službách zaměstnanosti. V současné době jsou hodnotitelé aktivní především v akademických poradenských službách pro mladé lidi. Zaškolení hodnotitelů bylo realizováno v rozsahu 6 hodin v rámci dvou setkání, které bylo doplněno dvouhodinovým diskusním setkáním. Zaškolení se skládala z vysvětlení metodiky IMPROVE hodnocení, která byla podrobně diskutována, a hraní rolí. Z iniciativy hodnotitelů z hodnotitelů po počátečním zaškolení každý připravil písemné odpovědi na strukturované otázky hodnocení, které se staly podkladem druhého setkání, na němž všichni společně odpovědi analyzovali včetně udělování bodů. Manažer pilotního ověření se setkával s posuzovateli jednou za měsíc a společně s nimi hledal řešení nastalých situací. GR. Řecký partner vyzval kariérové poradce k zapojení do projektu a ozvalo se 20 zájemců. S každým zájemcem byl proveden rozhovor, během něhož se manažer procesu rozhodl, kdo splňuje minimální standard praktických zkušeností v rozsahu 4000 hodin. Bylo vybráno 6 hodnotitelů a zahájeno třídenní zaškolení. Hodnotitelé se setkávali jednou za měsíc na supervizím setkání. IT. V Itálii bylo pro nalezení hodnotitelů osloveno 3000 organizací poskytujících kariérové poradenství a vytvořena e-mailová databáze. Identifikováno bylo 46 odpovídajících hodnotitelů, z nichž 22 prošlo zaškolením. Zaškolení proběhlo formou „blended learning“ po workshopu, na kterém byly diskutovány teoretické části profesní zkoušky, její struktura a hraní rolí. Byly také uspořádány setkání po Skypu a na webových stránkách byly na diskusním fóru diskutovány dokumenty vztahující se k profesní zkoušce. Hodnotitelé měli za úkol na webu o sobě zpracovat prezentaci, prostudovat si články, účastnit se školení, zúčastnit se jedné profesní zkoušky v roli hodnoceného, provést hodnocení v roli hodnotitele
80
s 5 hodnocenými kariérovými poradci a sledovat hodnocení 5 kandidátů jiným hodnotitelem v reálném čase nebo na videu. Jen 9 hodnotitelů ukončilo úspěšně celé zaškolení. RO. Rumunský partner ODIP zaslal informace o projektu IMPROVE na mnoho institucí, které se zabývají tématem kariérového poradenství. Přihlásilo se 6 zájemců o hodnotitele, všichni v souladu s kritérii projektu IMPROVE pro hodnotitele. Hodnotitelé obdrželi čtyři dokumenty (přeloženy do rumunštiny), které se staly podkladem pro jednodenní zaškolení. Školení bylo rozděleno na část teoretickou (4 hodiny) a část, ve které byly hrány role. Kromě toho se uskutečnilo také třetí setkání.
5.2 Struktura procesu pilotního ověření procesu hodnocení: Tři kroky (rozhovory) Ve všech zemích byly pro pilotní ověření přeloženy hlavní dokumenty. V rozhovorech byla použita škála 1-4. Dvě ze šesti zemí hodnotili jednotlivá témata, ne odpovědi na jednotlivé otázky. Proces byl podobný ve všech zemích s malými úpravami. V téměř všech případech byly provedeny tři kroky – rozhovory. Některá hodnocení probíhala kompletně v rámci osobního setkání, některá prostřednictvím Skypu, ale v některých případech byl k provedení rozhovoru použit i telefon. CZ. V českém jazyce byly použity následující dokumenty: 1. IMPROVE Informace pro účastníky pilotního ověření procesu hodnocení (obsahující informace pro účastníky i hodnotitele) 2. IMPROVE Šablona pro záznam výsledků hodnoticích rozhovorů (obsahuje stručné pokyny k provádění rozhovorů, k přidělování bodů a strukturu otázek) 3. IMPROVE Zpráva pro účastníky pilotního ověření procesu hodnocení (obsahuje výsledek hodnocení deseti tematických okruhů a konečný výsledek – uspěl(a) x neuspěl(a)) 4. IMPROVE Certifikát pro úspěšné účastníky pilotního ověření procesu hodnocení DE. V německém jazyce byly použity následující dokumenty: 1. IMPROVE Informace pro účastníky pilotního ověření 2. IMPROVE Šablona pro záznam výsledků posuzování rozhovorů. Rozhovory se konaly osobně, on-line nebo telefonicky. Po každém rozhovoru byla účastníkovi poskytnuta zpětná vazba týkající se výsledků hodnocení. V Německu nebyl plán dalšího rozvoje součástí pilotního ověření. Pokud taková podpora byla dostupná, byla účastníkům sdělena.
81
ES. Informace pro účastníky a informace pro hodnotitele byly přeloženy do španělštiny s několika drobnými jazykovými úpravami. Dále byl přeložen plán dalšího rozvoje. Hodnotitel se dozvěděl informace o hodnoceném až po ukončení hodnocení. GR. Řecký tým se striktně držel dohodnuté IMPROVE metodiky. V průběhu prvního rozhovoru byl účastníkům vysvětlen proces hodnocení. Trval mezi 25-40 minuty. A odstupem dvou až sedmi dnů byl proveden druhý – hodnoticí rozhovor (telefon, skype nebo face-toface), u něhož bylo vždy čtyři osoby: hodnocený, hlavní hodnotitel, manažer procesu a pozorovatel. Každá otázka byla oznámkována na škále 1-4. Hodnoticí rozhovor trval jednu až jednu a půl hodinu. Po hodnoticím rozhovoru musel hodnocený napsat své silné a slabé stránky, a to, co by se dalo udělat pro jejich zlepšení. Poté hodnotitel poskytl zpětnou vazbu na základě hodnoticího rozhovoru a společně vypracovali plán na zlepšení. Tato setkání byla kandidáty hodnocena velmi pozitivně. On-line zpětnovazební dotazník byl poslední krok pro oba, hodnocené a hodnotitele. IT. Pilotní ověření procesu hodnocení proběhlo podle stanovené metodiky. 1-2 týdny po závěrečném rozhovoru hodnotitel zaslal hodnocenému výsledky a účastníci vyplnili hodnotící dotazník. Ve scénáři rozhovoru byla přidána jedna otázka. Byla použita bodová škála odsouhlasená s partnery. Byly hodnoceny tematické sekce, ne každá otázka. RO. Všechny důležité dokumenty byly přeloženy do rumunštiny. Metodika tří rozhovorů byla použita v souladu s obecnými dohodami. První rozhovor se všemi 24 hodnocenými byl proveden jen manažerem procesu prostřednictvím Skypu. U druhého rozhovoru byl přítomen také pozorovatel (hodnotitel, který nekladl otázky, jen přihlížel). Byla používána čtyř bodová stupnice a výsledky byly vyplněny do elektronického formuláře. Po ukončení všech hodnoticích rozhovorů se hodnotitelé setkali a prodiskutovali výsledky a pak sepsali plány osobního rozvoje pro všechny hodnocené. Hodnocení účastníci dostali odkaz na zpětnovazební dotazník, který vyplnilo 19 hodnocených.
5.3 Praktické aspekty organizace pilotního ověření procesu hodnocení Téměř ve všech zemích proces manažer procesu zabezpečil kontakty, nábor a krátké rozhovory s potenciálními hodnotiteli včetně rozhodnutí o tom, kdo je vhodným hodnotitelem. Hodnotitelé poskytli zpětnou vazbu na proces hodnocení, scénář hodnoticího rozhovoru, atd. a provedli hodnoticí rozhovory. Skypové konference ne vždy fungovali, a v některých případech bylo potřeba použít telefon, nebo alespoň nepoužívat během Skypové konference video. Využití Skypu bylo hodnocené jako užitečné. Trvání pilotního ověření bylo ve většině případů příliš krátké.
82
CZ. Na začátku sami hodnotitelé kontaktovali kariérové poradce přihlášené do pilotního ověření, ale to nefungovalo. Tým se proto rozhodl, aby si sami účastníci vybrali svého hodnotitele a kontaktovali jej do určitého data, jinak budou vyřazeni. To zabralo. Téměř všechny rozhovory proběhly na přání účastníků při osobním setkání. Zbytek se konal přes Skype. Problém byl nedostatek času hodnotitelů, kterým začaly akademické povinnosti a pilotní ověření muselo být provedeno velmi rychle. DE. Struktura procesu pilotního ověření byla projednána na zasedání s potenciálními hodnotiteli a kolegy z Ústavu v rámci jednodenního semináře v září 2012. Struktura byla projednána také s potenciálními hodnotiteli v průběhu on-line setkání. Všichni potenciální hodnotitelé dostali příslušné podklady a poskytli zpětnou vazbu na proces pilotního ověření. Nábor hodnotitelů byl organizován pomocí absolventů sítě Heidelberg University. Všichni absolventi magisterského studia "kariérové poradenství a organizační rozvoj" byli vyzváni, aby se dobrovolně zapojili se do projektu jako hodnotitelé nebo pozorovatelé. Osm se přihlásilo a šest dokončilo zaškolení. Pilotní ověření bylo provedeno v rámci osobních setkání, prostřednictvím Skypových konferencí anebo Adobe Connect Pro. Většina hodnotitelů měla zkušenost s oběma formami (tváří v tvář a on-line). V německém pilotním ověření bylo součástí konceptu hodnocení dvěma hodnotiteli. Důvodem bylo ověření vnitřní spolehlivosti nástroje. Kromě toho byli u všech osobních rozhovorů přítomni pozorovatelé. Pozorovatel dokumentoval hodnoticí proces, zpětnou vazbu od účastníků (hodnocených, hodnotitelů a pozorovatelů). ES. Skype byl použit k provedení většiny rozhovorů (75%). Pokud nefungoval, nebo bylo spojení přerušeno, byly rozhovory dokončeny po telefonu (15% rozhovorů). Pouze 10% rozhovorů bylo provedeno pouze telefonicky. Logistické nástroje používané v projektu přinesly největší problémy (Skype byl použit poprvé u několika účastníků) a najít volné termíny hodnocených a hodnotitelů. Záznam videa rozhovoru ne vždy fungoval, ale pořízení zvukového záznamu bylo velmi užitečné. GR. Pilotní ověření bylo v Řecku zabezpečováno třemi pracovníky. Rozesílali maily, ve kterých oznamovali možnost zapojení do pilotního ověření. Přihlásilo se osm hodnotitelů a 36 zájemců o hodnocení. Manažer procesu se krátce sešel se všemi osmi hodnotiteli a rozhodl, že všichni splňují daná kritéria. Hodnoticí proces byl rozdělen: prvního rozhovoru se účastnil jen hodnotitel a hodnocený, k druhému rozhovoru se připojil pozorovatel a manažer procesu. O týden později proběhl třetí rozhovor. S dvanácti hodnocenými proběhl třetí rozhovor osobním setkáním, se šesti prostřednictvím Skypu. V jednodenních diskusních skupinách, kterých se zúčastnili všichni hodnotitelé, byly diskutovány náměty na zlepšení. Hodnotitelé dostali za svou práci finanční odměnu. Skypová konference ne vždy fungovala, a proto byl použit telefon.
83
IT. Manažer procesu s pomocí dalších pracovníků z ASEV vypracoval všechny překlady, zajistil technické zázemí jako software pro pořizování videonahrávek a jejich úložiště, organizoval celý nábor procesu a výběr. Hodnotitelé prováděli hodnocení a poskytli zpětnou vazbu, vyplnili dotazníky. RO. Rumunský tým uskutečnil 24 rozhovorů (18 přes Skype, 6 při osobním setkání). Každý rozhovor byl hodnotitelem vyhodnocen do papírového formuláře a poté výsledky přenesl do elektronického formuláře. Hodnotitelé prošli jednodenním zaškolením a třemi dalšími setkáními, ve kterých vzájemně hráli role hodnoceného a hodnotitele.
5.4 Zpětná vazba od všech zúčastněných stran Součástí pilotního ověření hodnoticího procesu bylo sběr strukturované a systematické zpětné vazby od všech zúčastněných stran: hodnocených, hodnotitelů a pozorovatelů. Pro tyto účely byly vypracovány a použity různé formy získávání zpětné vazby (prostřednictvím on-line dotazníku, formou fokusech skupin). Hodnocení byli vyzváni, aby vyjádřili svůj názor na proces hodnocení. Byly podniknuty různé akce pro nalezení hodnotitelů a hodnocených pro pilotní ověření. Účastníci měli možnost prokázat své odborné kompetence pro poskytování individuálních kariérového poradenství a stanovit si akční plán pro zlepšení těchto kompetencí. Dokument "Informace pro účastníky" byl důležitý pro hodnocené, aby pochopili proces hodnocení. Ve všech zemích byly zkušenosti z pilotního ověření projednány ve fokusních skupinách hodnocených a hodnotitelů. Zpětná vazba od cílových skupin zdůraznila kvalitu použité metodiky a potenciál rozvoje, který hodnocení kompetencí má pro hodnocené. Bylo řečeno, že způsobe provedení hodnocení kompetencí odbornou diskusí o tom, jak kariéroví poradci pracují se svými klienti, v praxi funguje docela dobře. Zároveň vyvstaly některé otázky a metodické problémy, které by měly být dále zkoumány. Důležitá doporučení od cílových skupin se týkají různých aspektů hodnoticího procesu jako je kombinace různých hodnoticích nástrojů, bodovací systém, pravomoci a školení hodnotitelů a nakonec možné zkreslení výsledku hodnocených, kteří jsou více či méně extrovertní. V některých zemích bylo diskutováno, zda lze pokrýt široké spektrum kompetencí jedním hodnoticím nástrojem a jedním hodnoticím rozhovorem.
CZ. Jen čtyři z účastníků souhlasili s účastí na fokusní skupině. Dva se vyjádřili v tom smyslu, že účast na pilotním ověření byla zajímavá zejména tím, že o otázkách, na které v průběhu hodnocení odpovídali, předtím vůbec neuvažovali. Dalším ze zajímavých poznatků bylo, že hodnotitelé předpokládají, že hodnocení jsou schopni být ke klientům empatičtí, že se umějí vcítit do situace klientů. Pro hodnotitele byla obtížná čtyřbodová
84
stupnice. Například hovornější hodnocení dosahovali lepší skóre než ti, kteří měli problém se rychle a jasně vyjádřit. Jeden hodnotitel se vyjádřil v tom smyslu, že hodnoticí rozhovor by neměl být jediným nástrojem hodnocení kompetencí. I s úspěšnými hodnocenými bylo prodiskutováno, jak postupovat v dalším profesním rozvoji. Použití Skypu bez videozáznamu nebyl v průběhu hodnocení problém. DE. Dva druhy fokusních skupin diskutovaly hodnoticí proces, dosažené výsledky a náměty pro jejich zlepšení. Kriticky byla projednána šíře a záběr scénáře hodnoticího rozhovoru. V kombinaci s ostatními nástroji, které byly využity při pilotním ověření, by mohlo být užitečné sebehodnocení. Kompetence hodnotitele je skutečně podstatná pro kvalitu hodnoticího procesu. Doporučuje se další rozvoj nástrojů hodnocení a kompetenčního modelu. ES. Fokusní skupina se uskutečnila prostřednictvím Skypové konference dva týdny po závěrečném rozhovoru a poté, co byly rozeslání účastníkům zpětnovazební zprávy. Zájem o účast v diskusi mezi 21 účastníky byl vysoký a nakonec se jej zúčastnilo sedm hodnocených. Fokusní skupina se konala prostřednictvím Skypu a trvala přibližně 1 hodinu. Hodnocení se vyjadřovali v tom smyslu, že zkušenost z profesní zkoušky byla velmi zajímavá, přínosná a bylo užitečné slyšet od hodnotitele své silné i slabé stránky. GR. Fokusní skupiny na Skypu se zúčastnilo sedm hodnotitelů. Obecně shledali, že bylo hodnocení velmi zajímavé a užitečné pro identifikaci silných a slabých stránek. Otázky týkající se teorie ve scénáři hodnoticího rozhovoru by měly být přehodnoceny. Mnoho z účastníků neuspělo, protože neuměli odpovědět na otázky týkající se teorií a uznávaných představitelů těchto teorií. Skype byl považován za inovativní, i přes četné technické problémy. Důležité: Informace, které hodnocení dostali k průběhu hodnoticího procesu, byly oceněny pozitivně, stejně jako ve zpětnovazebním dotazníku. Stejně pozitivně byl hodnocen závěrečný rozhovor. Hodnoticí proces se většině hodnotitelů zdál adekvátní. Byly předneseny i některé návrhy na jeho rozšíření např. zařazení pozorování práce hodnoceného nebo řešení případové studie, nebo opakování hodnocení znovu o rok později v případě, že byla hodnocenému navržena nějaká aktivita za účelem posílení kompetencí. Řecko bylo spokojeno, hodnotitelé byli vybráni správně, což potvrdili všichni hodnocení, kteří jsou přesvědčeni, že tímto hodnoticím procesem by měli projít všichni kariéroví poradci. IT. Hlavní návrhy hodnotitelů pro změny v procesu hodnocení jsou následující: Zkrátit délku hodnoticího rozhovoru tím, že by se na vybrané méně významné otázky odpovídalo písemně (např. tematické okruhy č. 5, 8, 9) před hodnoticím rozhovorem. Provádět hodnocení i v rámci závěrečného rozhovoru a oznámit hodnocenému výsledek hodnocení až na konci tohoto rozhovoru. Zavést novou kategorii konečného výsledku hodnocení „podmíněně uspěl(a)“, v případě kdy hodnocený dosáhl u jednoho tématu dva body. Přepracovat
85
tematický okruh č. 3, přidat další související tematický okruh pro práci se studenty a vypracovat aktivity navazující po hodnocení jako je koučování a monitorování. Ze zpětné vazby od účastníků vyplývají následující doporučení: Jedna část účastníků si myslí, že hodnoticí rozhovor není vhodný pro skutečné posouzení způsobilosti. Důvodem jsou problémy komunikace v důsledku Skype (viz odpovědi na otázky 6, 12, 14, 16), použití rozhovoru (deklarace znalosti, ne její "skutečné" prokázání, otázka 16), scénář hodnoticího rozhovoru (otázka 12). Hlavním problémem pro účastníky bylo použití Skype (otázky 6, 12). Většina z účastníků považuje hodnocení kompetencí za cennou zkušenost poznat, co ještě neznaní, ale byli i tací, kteří si tak jen potvrdili to, co o sobě dávno věděli (viz otázky 6 a 8). RO. Pět hodnotitelů se domnívá, že proces hodnocení byl velmi užitečný a měl by tímto projektem skončit. Hraní rolí bylo dobrým nástrojem pro zaškolení hodnotitelů a stejně jako příprava plánů osobního rozvoje jsou velmi dobrá cvičení pro hodnotitele: přesná, pozitivní, jasná. Scénář hodnoticího rozhovoru byl sice vcelku hodnocen velmi pozitivně, přesto bylo navrženo, aby měl každý tematický okruh stejnou strukturu. Bylo doporučováno některé otázky přeformulovat. Bodovací systém byl nejdiskutovanější téma. Hodnotitelé dospěli k závěru, že by měla být hodnocena každá otázka. Je potřeba vypracovat detailní kritéria hodnocení. Hodnocení byli spokojeni s průběhem hodnoticího procesu i s jeho metodami a plánem osobního rozvoje. Dokument Informace pro účastníky byl vyhodnocen jako jasný a dobře sestavený.
5.5 Vnímání Pokynů pro projekt IMPROVE Po pilotním ověření procesu hodnocení kariérových poradců zúčastnění partneři projektu, hodnotitelé, kariéroví poradci a další odborníci považují Pokyny projektu IMPROVE (viz kapitola 2.4), jako pozitivní a užitečné. Byla prokázána vysoká akceptace a přínos těchto obecných pokynů: "posuzovatelé pokyny dodržovali".
CZ. Oba hodnotitelé a všichni pilotní účastníci byli před pilotáží seznámeni s Pokyny projektu IMPROVE a nikdo z nich nevznesl žádný návrh na jejich zlepšení. DE. Pokyny projektu IMPROVE byly projednány po ukončení pilotního ověření. Bylo konstatováno, že pokyny odrážejí důležité a stěžejní kvalitativní kritéria pro validaci a mohou být použity pro další validačních činnosti v oblasti kariérového poradenství a také v dalších souvisejících oblastech. ES. Pilotní ověření ve Španělsku bylo provedeno v souladu s Pokyny projektu IMPROVE. Rámec hodnocení, včetně jeho struktury, procesu hodnocení, rolí, bodovacího systému,
86
klíčových pojmů, byl jasně popsán v příručce pro uchazeče, který měli všichni k dispozici, a používané metodiky a postupy byly známé pro každého účastníka. GR. Zvolená metodika vycházela ve všech detailech z Pokynů pro projekt IMPROVE a PFI. Byla to také sebepoznávací zkušenost se získáním zpětné vazby a způsobu, jak zlepšit a udržovat svoji výkonnost. Řecko se drželo IMPROVE pokynů. IT. Bod, který bude projednán, je co měří hodnoticí proces založený jen na deklaraci znalostí (jako je PFI) a zda je tato metodika účinná pro rekonstrukci výkonu. RO. Vzhledem k tomu, že iniciativa přišla od kariérových poradců, byl proces pozitivně potvrzen. Hodnotitelé dodrželi postupy a hodnoticí proces byl v souladu s Pokyny pro projektu IMPROVE.
87
4. Literatura
CEDEOFP (2009): Evropské pokyny pro hodnocení výsledků neformálního a neoficiálního učení. Luxemburg: Úřad pro úřední tisky Evropských společenství. Webové stránky projektu EAS. Získáno 26. června 2012 ze zdroje http://www.corep.it/eas/uk/ Generální ředitelství pro vzdělávání a kulturu (bez data) Evropský kvalifikační rámec pro celoživotní vzdělávání. Získáno 26. června 2012 ze zdrojehttp://ec.europa.eu/education/pub/pdf/general/eqf/leaflet_en.pdf (2012-07-12). Evangelista L. (2008) EAF Accreditation Framework for the Career Guidance Practitioners at Glance. (krátký náhled na akreditační rámec pro kariérové poradce) Získáno 26. června 2012 ze zdrojehttp://orientamento.it/orientamento/1e.htm Evangelista L. (2011) Study on Existing Frameworks to Validate Competence of Career Guidance Practitioners. (studie na základě stávajících rámců pro ověření způsobilosti kariérových poradců) Získáno 26. června 2012 ze zdroje http://www.improveguidance.eu/sites/default/files/Evangelista_2.pdf (2012-07-12). Gnahs, D. (2007): Kompetenzen - Erwerb, Erfassung, Instrumente. Bielefeld: Bertelsmann. IAEVG Mezinárodní asociace pro studijní a profesní poradenství (bez data): Žádost o studijního a profesního poradce (Educational and Vocational Guidance Practitioner – EVGP), kterého nabízí Mezinárodní asociace pro studijní a profesní poradenství (International Association for Educational and Vocational Guidance - IAEVG). Získáno 26. června 2012 ze zdroje http://www.cce-global.org/Downloads/EVGP/app-en.pdf ISO/IEC (2003): Hodnocení souladu – Obecné požadavky pro orgány provádějící certifikaci osob. Mieg,
H.
(2005):
Professionalisierung.
V:
Rauner,
F.
(Hrsg.)
Handbuch
Berufsbildungsforschung. Bielefeld: Bertelsmann, 342-349. Read, H./ Wells, J. (2004): Excellence in initial assessment. Putting it into practice. Leicester: ENTO. Schiersmann, Christiane/Bachmann, Miriam/Dauner, Alexander/Weber, Peter (2009): Qualität und Professionalität in Bildungs- und Berufsberatung. Bielefeld: W. Bertelsmann Verlag. Singer, W./Ricard, M. (2008): Hirnforschung und meditation: Ein Dialog, (1. Aufl., Orig.Ausg.). Frankfurt am Main: Suhrkamp.
88
Sultana, R. (2009): Competence and Competence Frameworks in Career Guidance: Complex and Contested Concepts. Dordrecht: Springer. Weber, Peter/Katsarov, Johannes/Schiersmann, Christiane (2012): V publikaci: Erasmus NICE/ Síť pro inovace v kariérovém poradenství a poradenství (evropské vysokoškolské vzdělávání v oblasti kariérového poradenství - 2012): Evropské vysokoškolské vzdělávání v oblasti kariérového poradenství. NICE Příručka pro navrhování a rozvoj studijních programů v kariérovém poradenství a poradenství v Evropě. Výsledky programu Erasmus Nice 2009-2012. Heidelberg: Univerzita v Heidelbergu (v tisku). Weinert, F. E. (2001): Concept of competence: Conceptual Clarification, v publikaci: D. S. Rychen (Ed.) Defining and selecting Key Competencies. Seattle [u.a.]: Hogrefe & Huber, 45-65. Werquin, P. (Ed.) (2010): Recognising non-formal and informal Learning : Outcomes, Policies and Practices, Paris: OECD.
89