Feedbackbevraging in de Vlaamse overheid

Feedbackbevragingen in de Vlaamse overheid: een brochure 17-10-2006

Feedbackbevraging in de Vlaamse overheid Doelstelling

De bedoeling van deze brochure is u de nodige informatie aan te reiken om u op weg te zetten en een leidraad te geven bij het situeren, organiseren en volgen van een feedbackbevraging. Meer bepaald wordt ingegaan op de bottom-up evaluatie (BUE) over het werkjaar 2006 (evaluatieof ontwikkelgericht). Als instrumentarium wordt daarvoor een basisaanbod, inclusief de nodige timing, aangeboden.

Inhoud

Deze brochure bevat de volgende rubrieken: 1. Situering: waarom feedbackbevragingen?.................................................. p. 2 2. Algemene informatie over het basisaanbod BUE………………………… p. 3 3. De basisprincipes en randvoorwaarden van het basisaanbod BUE………. p. 5 4. Concrete informatie over het basisaanbod (onder andere een chronologisch overzicht).………………………………………………………………… p. 8 5. Voorstel van communicatieplan………………………………………… p. 12 6. Ondersteuning tijdens het natraject……………………………………… p. 14 7. Basisaanbod BUE en de mogelijkheid tot maatwerk ervan……………….p. 16 8. Checklist bij de organisatie van een feedbackbevraging……………….

BUE-website

p. 19

De bestaande BUE-website wordt herwerkt en aangepast aan de BU-bevraging over het werkjaar 2006. U kunt die website het best geregeld raadplegen, vooral de rubriek “Informatie voor de interne begeleiders”. Deze brochure is daarin opgenomen. U kunt de BUE-website bereiken via de volgende link: http://www2.vlaanderen.be/personeelsbeleid/informatie/bue/info/index.htm. De website richt zich tot iedereen die betrokken is bij de BU-bevraging (evaluatieof ontwikkelgericht) over het werkjaar 2006: de medewerkers/ feedbackgevers, de functioneel leidinggevenden, de evaluatoren van die leidinggevenden en uzelf als P & O-professional, respectievelijk lokale feedbackbegeleider van het BU-proces. U vindt er ook alle coördinaten van de ondersteunende actoren, waaronder de lokale feedbackbegeleiders (normaliter u dus) en de externe instanties (technische ondersteuning en consulting tijdens na-traject). Daarnaast zijn er de 'Veelgestelde vragen' en een concept van vragenlijsten en rapport en. Voor het na-traject is eveneens in een handleiding voor de feedbackbegeleider voorzien, naast tips voor de direct betrokken leidinggevenden. Ten slotte vindt u er de “Laatste berichten”. Wij adviseren u als lokale feedbackbegeleider van het BU-proces om ook die rubriek regelmatig te raadplegen. Zo blijft u op de hoogte van het verloop van de BU-bevraging via het basisaanbod en verneemt u belangrijke up-to-date informatie.

1


1. Situering: waarom feedbackbevragingen?

Kwaliteit van leidinggeven

Eén argument om geregeld feedbackbevragingen te houden is het stijgende belang van goed leidinggeven. Gezien het belang van kwaliteitsvol leidinggeven, wordt er sedert jaren aan alle betrokkenen (de P & O-professionals, het lijnmanagement, de chefs …) gevraagd om op expliciete basis daadwerkelijk rekening te houden met de kwaliteit van leidinggeven. Deze bekommernis komt zowel elke individuele leidinggevende als de hele organisatie ten goede. Het doel is natuurlijk het beste uit elke leidinggevende te halen en alle noodzakelijke middelen in te zetten voor ontwikkeling en verbetering. Daarom is het nodig af en toe wat afstand te nemen en het profiel van sterkere en nog te verbeteren punten op te maken. De functioneel leidinggevende zelf heeft hierin de eerste verantwoordelijkheid, maar zijn eigen chef moet hierbij de nodige stimulansen en ondersteuning aanreiken. De PLOEG-instrumenten zijn gemaakt als hulpmiddel. Tijdens de evaluatiefase wordt aan de chef gevraagd om (ook) de leidinggevende competenties van zijn medewerkers met een leidinggevende functie te beoordelen, en eventueel te waarderen. Die evaluatie moet normaliter onderwerp zijn van het evaluatiegesprek en zijn neerslag vinden in het (naar aanleiding daarvan geformuleerde) evaluatieverslag. Om de chef hierbij te ondersteunen, is het van belang dat hij1 over alle mogelijke informatiebronnen beschikt. Eén ervan, maar niet de minste, is de informatie die de directe medewerkers van de functioneel leidinggevende kunnen verschaffen. Die informatie vergaren is het doel van de feedbackbevragingen (BUE, BUA, Personeelspeilingen, …). Om dat proces zo efficiënt mogelijk te laten verlopen en zo veel mogelijk maatwerk mogelijk te maken, is het van belang dat de P & O-professional, c.q. feedbackbegeleider, een zo uitgebreid en genuanceerd mogelijk feedbackinstrumentarium kan aanbieden.

Werken aan een feedbackcultuur

Feedbackbevragingen verlopen niet in het luchtledige. Ze maken integendeel deel uit, van de organisatiecultuur en ze zijn er een weerspiegeling van. Ze kunnen dus een uiterst geschikt draagvlak zijn bij het uitbouwen van een open communicatieen feedbackcultuur. De overkoepelende organisatiecultuur van de Vlaamse overheid kenmerkt zich evenwel door een grote verscheidenheid aan entiteitsculturen. De verschillen komen eveneens tot uiting in de wijze waarop leidinggegeven wordt. Voor een duurzame organisatie, waarin de talenten van alle medewerkers maximaal aangesproken worden, zijn de betrokkenheid van iedereen en een constructieve, open organisatiecultuur nodig. Dat is allang geen luxe -item meer. Zowel ethische overwegingen als de doelmatigheid en de productiviteit die we aan de Vlaamse gebruikers van onze diensten verschuldigd zijn, maken het dwingend om daar blijvend werk van te maken. 1

De mannelijke vorm in deze brochure verwijst zowel naar mannen als naar vrouwen.

2


2. Algemene informatie over het basisaanbod BUE

Regelgeving

Voortaan krijgt het lijnmanagement meer ruimte om al dan niet (jaarlijks) gebruik te maken van bottom-upbevragingen. Daarom wordt in het raamstatuut, dat in werking trad bij de implementatie van BBB, het volgende bepaald (artikel IV, 2):

•

Voor wie het basisaanbod kiest

Wie wordt bij een BUbevraging betrokken?

“De lijnmanager (= hoofd van een departement of agentschap) kan beslissen dat in de evaluatie van personeelsleden rekening gehouden wordt met informatie van categorieën personeelsleden aan wie ze leidinggeven of met wie ze samenwerken.”

Door het Agentschap Overheidspersoneel (AgO) wordt hieraan nog, het volgende toegevoegd door middel van een basisaanbod. •

Alle leidinggevenden (en hun evaluatoren) kunnen gebruikmaken van BUinstrumenten. Als ze willen gebruikmaken van het basisaanbod (zie verder), moeten zij en hun feedbackgevers uiteraard worden opgenomen in het databestand (organigram en bevragingslijnen) dat gehanteerd wordt door de externe ondersteunende instantie. Deze bevraging is ofwel een bottomupevaluatie (BUE) die georganiseerd wordt in december 2006 (basisaanbod), ofwel is het een bottom-upappreciatie van ontwikkelingsgerichte doelstellingen (BUA). Die laatste vorm van BU-bevraging is volledig vraaggestuurd. Dit betekent dat de functioneel leidinggevende de aanvrager is van de bevraging en integraal ‘eigenaar’ is van het proces. Hij alleen krijgt dan het rapport ter beschikking. Tijdens het voorjaar van 2007 zal een dergelijke BUA- bevraging voor die vrijwilligers georganiseerd worden. Het basisaanbod voorziet hierin voorzover (1) het budget nog toereikend is en (2) de groep van betrokkenen of geïnteresseerde leidinggevenden groot genoeg is.

•

De BU-bevraging richt zich tot alle (directe) medewerkers van wie de leidinggevende eerste evaluator en (dus) directe functionele chef is en tot de leidinggevenden zelf (zelfevaluatie).

•

Als het aantal betrokken medewerkers per leidinggevende in totaal kleiner is dan vijf, wordt het aantal aangevuld tot minimaal vijf medewerkers, in overleg met de evaluator van de leidinggevende. Is dat echt onmogelijk, dan verdient het wellicht, met het oog op de anonimiteit, aanbeveling om de BU- bevraging vooralsnog niet door te voeren. Elke entiteit beslist daar zelf over.

•

Als er minder dan vijf respondenten per leidinggevende effectief hebben deelgenomen, verdient het aanbeveling om per geval of per entiteit in haar geheel voorafgaand te overleggen welke de beste manier is om de rapporten vooralsnog aan te maken en te bezorgen (bijv. rechtstreeks aan de leidinggevende, of via de lokale feedbackbegeleider).

3


360°-evaluatie?

•

In het basisaanbod zullen in voormeld geval de rapporten elektronisch aan de lokale feedbackbegeleider bezorgd worden. Als u een andere vorm van distributie verkiest, moet u dat via de feedbackbegeleider rechtstreeks meedelen aan de externe technische instantie (zie verder) .

•

Andere parameters: à De medewerkers moeten minstens 3 maanden gewerkt hebben voor de betrokken leidinggevende. Dat gebeurt in overeenstemming met de PLOEG- evaluatie top-down. à Gegevens zoals naam, geslacht, niveau, rang, graad en entiteit zijn bekend bij de externe technische instantie. Daarnaast zullen een aantal contextvragen geformuleerd worden die de samenwerking medewerker en leidinggevende in kaart moeten brengen (zoals periode, intensiteit van samenwerking). Dat alles dient (louter) voor een analyse van de geaggregeerde gegevens.

De lokale feedbackbegeleiders wordt gevraagd om in hun entiteit te peilen naar de bestaande interesse, de evaluatoren te sensibiliseren en eventueel te ondersteunen (aanbod van instrumenten, vragenlijsten, tips …) om aanvullende informatie (van collega's van leidinggevenden, interne of externe klanten) in te zamelen met het oog op persoonsgerichte feedback. Een aantal entiteiten, waaronder Kind en Gezin, ‘FIT’(feedback van collega’s ) en de vroegere administratie Personeelsontwikkeling (momenteel agentschap Overheidspersoneel van het beleidsdomein Bestuurszaken) hebben inmiddels al ervaring opgedaan met dergelijke 360°-experimenten. Hun ervaringen zijn verwerkt tot waardevolle aanbevelingen. U kunt ze steeds opvragen. Ervaringsuitwisseling of gedachtewisseling met dergelijke entiteiten is uiteraard interessant.

3. Basisprincipes en randvoorwaarden:

Welke basisprincipes?

Om kwaliteitsvol leidinggeven en een open feedbackcultuur optimaal te stimuleren, worden de volgende principes voor de feedbackinstrumenten vooropgesteld: niet-selectiviteit, (semi-)anonimiteit, bevraging (minstens) kerncompetenties leidinggeven, BU-bevraging als (ontwikkel)traject en feedbackbegeleider als spilfiguur.

Wat nadere uitleg

Wat wordt hiermee concreet bedoeld? 1. Niet selectief zijn: alle directe medewerkers van een leidinggevende moeten de kans krijgen om feedback te geven. 2.

Semi-anonimiteit: de medewerkers die feedback geven, kunnen erop rekenen dat hun mening opgenomen wordt in een alomvattend rapport, zonder dat prijsgegeven wordt wat zij individueel en precies geantwoord

4


hebben. Die informatie is wel bekend bij een neutrale derde instantie (in dit geval de externe technische ondersteunings instantie). Sommige zelfgeschreven commentaren (op het einde van de vragenlijst) kunnen gemakkelijker geïdentificeerd worden, maar dat hoort tot de verantwoordelijkheid van de desbetreffende feedbackgever en de instelling van de feedbackontvanger. Hoe dan ook moeten de feedbackgevers steeds gestimuleerd worden om de eventuele zelf te schrijven commentaren constructief en ontwikkelgericht te formuleren. 3. Kerncompetenties van leidinggeven: de feedback van de medewerkers moet minstens gaan over de kerncompetenties van kwaliteitsvol leidinggeven (zie competentiewoordenboek). De vragenlijsten uit het basisaanbod zijn daar expliciet op gebaseerd en richten zich tot de competenties van drie categorieën van leidinggevenden: het middenkader, de leidinggevenden net onder het middenkader (bijvoorbeeld diensthoofden) en de operationeel leidinggevenden. Er bestaan dan ook drie types van vragenlijsten, telkens in een korte en lange versie , waaruit u kunt kiezen. 4. Een BU-bevraging moet opgevat en georganiseerd worden als een (ontwikkel)traject van kwaliteitsvol leidinggeven en niet enkel als een evaluatiemoment (dat wil zeggen het louter periodiek invullen van een BUE-vragenlijst). Een BU-bevraging kan dus nooit vrijblijvend zijn. U moet iets aanvangen met de resultaten. Als u dat wilt, kunt u daarvoor een beroep doen op externe ondersteuning. 5 De organisatie en het verloop (tot en met het na-traject) van een dergelijk project gebeurt steeds in nauwe samenwerking met de lokale feedbackbegeleider. Hij is de spilfiguur tijdens het hele project.

Verantwoording

Vanwaar (de keuze voor) deze basisprincipes? •

Het principe van non-selectiviteit garandeert dat alle directe medewerkers de kans krijgen om aan de bevraging deel te nemen, waardoor willekeur uitgesloten wordt. Als voorafgaandelijk medewerkers geselecteerd zouden worden (door wie?), is dat altijd op subjectieve basis. Ongeacht welke parameters u hierbij hanteert , zou een dergelijke selectie zowel een favoritisme betekenen voor de “happy few” en tegelijk een benadeling van de directe medewerkers die niet aan de parameters beantwoorden.

•

Het principe van (semi -)anonimiteit is ingegeven door de wetenschap dat bottom-upbevragingen door veel medewerkers nog als bedreigend ervaren worden als ze verplicht zijn om hun naam te vermelden.. Om de anonimiteit te kunnen laten vallen, is een zeer hoog niveau van maturiteit vereist van alle feedbackgevers en alle feedbackontvangers. Met een dergelijk hoog niveau zouden eigenlijk geen feedbackinstrumenten meer nodig zijn. Maar ook in omgevingen die aan die voorwaarde beantwoorden, kan een regelmatige anonieme BUE nog erg zinvol zijn. Leidinggevenden kunnen op die manier nagaan of zij er nog altijd in slagen om uit de dagelijkse omgang met hun medewerkers het volledige spectrum van relevante feedback te halen.

5


Een nadeel dat door sommige leidinggevenden ervaren wordt, is dat ze sommige feedback niet goed kunnen plaatsen als zij niet weten wie de feedback gegeven heeft . Dat probleem kan opgevangen worden door een beperkte ondersteuning te vragen aan een externe (of een interne) begeleider, die kan zorgen voor verdere duiding zonder dat de anonimiteit doorbroken wordt (zie hoofdstuk 6. “Ondersteuning tijdens het na-traject”, p. 14 ).

Maatwerk en onderliggende waarden

•

Aangezien het een basisaanbod betreft, is het vrij logisch dat het zich focust op de kerncompetenties van leidinggeven. Ook de koppeling aan het competentiewoordenboek werd in acht genomen. Maatwerk werd in die zin aangebracht door de diverse vragenlijsten voor de diverse doelgroepen leidinggevenden telkens te enten op de functiefamilies, inclusief hun competentieprofielen, van de respectieve doelgroepen.

•

Het BUE-project voorstellen als een (ontwikkel)traject is ingegeven door de bekommernis om deze bevraging niet pro forma en als vrijblijvend, laat staan als een terugkerend verplicht nummertje , af te handelen. Integendeel, een BUE is een ideaal platform om blijvend te investeren in kwaliteitsvol leidinggeven aan de hand van (maatgerichte) verbeteracties en -trajecten.

•

Dat de lokale P & O-professional, c.q. de feedbackbegeleider tijdens het hele proces, vanaf de voorbereidingsfase (communicatieplan), als spilfiguur fungeert, is bedoeld om aan de hand van deze BUE- begeleiding zijn expertise en meerwaarde ook duidelijk te maken aan het lijnmanagement (zie verder).

In het basisaanbod worden de bovenvermelde basisprincipes gerespecteerd. Dat betekent niet dat die basisprincipes eveneens desgewenst op maat vertaald kunnen worden. We illustreerden dat al aan de hand van de (problematiek rond de) semi-anonimiteit. Er wordt wel verwacht dat u die vertaalslag doorvoert voorzover de waarden die ten grondslag liggen aan de basisprincipes (zoals vertrouwen en openheid; transparantie; eerlijkheid en integriteit; afwezigheid van willekeur; accepteerbaarheid ….) niet in gedrang gebracht worden.

Randvoorwaarden

•

Elektronische bevraging, verwerking en distributie van rapporten: er moet tot elke prijs vermeden worden dat de BU- bevraging als een log en traag proces ervaren wordt, met te veel papierwerk. Daarom verdient een elektronische bevraging en distributie van rapporten waar mogelijk de voorkeur. U kunt een papieren versie hanteren, om uitsluiting te voorkomen van individuen of groepen die geen elektronische toegang hebben.

•

a) Interne begeleiding: elke entiteit stelt een feedbackbegeleider aan die als kernopdracht heeft alle betrokkenen te begeleiden tijdens alle stappen van de BU-bevraging (cf. supra). b) Externe ondersteuning: u kunt een beroep doen op ondersteuning vanuit het agentschap Overheidspersoneel (centrale coördinatie) of op een aantal externe consultants. Ook die aanvraag verloopt via de feedbackbegeleider.

6


4. Concrete informatie over het basisaanbod BUE-proces

Inhoud2

In dit onderdeel vindt u een chronologisch overzicht van het verloop van het hele BUE-proces, vanaf de voorbereiding, over de eigenlijke uitvoering, tot en met het na-traject en de evaluatie ervan.

Basisaanbod: de De volgende elementen kenmerken de essentie van het basisaanbod: essentie Ø gebruik van onlinetool (offline indien echt nodig); Ø BUE-ronde (2006) en BUA-ronde (2007); Ø keuze uit drie modules van vragenlijsten (telkens lange en korte versie) Ø doelgroepen leidinggevenden: middenkader – net onder middenkader – operationeel leidinggevenden; Ø helpdesk tijdens bevraging wordt bemand door externe technische partner ; Ø mogelijkheid tot ondersteuning van functioneel leidinggevenden (en hun chefs) door pool van externe consultants tijdens het na-traject; Ø voornaamste elementen qua timing: o

o

Ondersteunende rollen in het proces

BUE-ronde: §

online (via aanbod sjabloon) inbrengen en aanpassen van organigram en bevragingslijnen à van 23 oktober tot en met 13 november 2006;

§

bevraging à van 4 tot en met 15 december 2006 (offline start een week vroeger: vanaf 27 november 2006);

§

distributie van rapporten à vanaf 19 januari 2007 (elektronisch, rechtstreeks naar functioneel leidinggevende en zijn chef);

BUA-ronde: §

bevraging à voorjaar 2007 (data nog nader te bepalen);

§

distributie van rapporten à twee weken na einde van bevraging.

•

Centrale coördinator basis aanbod: vanuit het agentschap Overheidspersoneel coördineert Marcel Van Lerberge (adviseur HRM) de proces- en kwaliteitscontrole in de diverse entiteiten

•

Feedbackbegeleiders per entiteit (hun coördinaten zijn op de BUE-website te raadplegen).

•

Tijdens bevraging: externe technische instantie à technische helpdesk.

2

Zie ook hoofdstuk 8. ‘Checklist voor de organisatie bij een feedbackbevraging ’, p. 18 en volgende.

7


Chronologisch overzicht

•

Vanaf de overhandiging van de rapporten en tijdens het na-traject à een ‘pool’ van externe consultants maatwerkondersteuning (hun coördinaten en het aanbod zijn eveneens op de BUE-website te raadplegen).

•

Tijdens het hele proces is een specifiek daartoe geactiveerde e- mailbox ter beschikking voor alle mogelijke vragen of opmerkingen à [email protected].

1. Voorbereiding •

23 oktober 2006: start inventarisatie organigram en bevragingslijnen van de entiteit (via aanbod van sjabloon door externe technische instantie) Opgelet: vergeet hierbij niet de feedbackgevers op te lijsten die offline bevraagd moeten worden, naast de deelnemers of leidinggevenden met hun respectieve feedbackgevers die buiten de verplichte categorieën vallen (cf. supra). wie? feedbackbegeleiders

•

13 november 2006: uiterlijke indiendatum organigram en bevragingslijnen van de entiteit rechtstreeks aan de externe technische instantie wie? feedbackbegeleiders

•

vanaf 2 oktober tot uiterlijk 20 oktober 2006: bevraging binnen entiteit naar antwoord op prioritaire keuzes : (welke? à zie hoofdstuk 5: ’Voorstel van communicatieplan’) wie? leidend ambtenaren (bevraagd door lokale feedbackbegeleider)

•

vanaf 16 oktober 2006: communicatie over BUE aan alle betrokkenen en alle personeelsleden (iedereen heeft recht op informatie over wat een BUE-proces inhoudt) wie? feedbackbegeleiders In hoofdstuk 5. ‘Voorstel van communicatieplan’ wordt hier dieper op ingegaan.

2. Uitvoering van BUE-bevraging •

vanaf 27 november 2006: verzenden van offlinevragenlijsten (papieren versie) naar feedbackgevers en leidinggevenden (zelfevaluatie) wie? externe technische instantie

•

4 december 2006: verzenden van onlinevragenlijsten (feedbackgevers) en zelfevaluatie- vragenlijsten (leidinggevenden) wie? externe technische instantie

•

15 december 2006: afsluiten van de BUE-bevraging wie? externe technische instantie

•

3 januari tot 18 januari 2007: verwerken vragenlijsten en opmaak individuele rapporten wie? externe technische instantie

8


•

vanaf 3 januari 2007: communicatie aan evaluatoren à informeren over tips, advies over de integratie van de BUE-resultaten in het evaluatieverslag (zie BUE-website) en over de begeleidingsmogelijkheden tijdens na-traject wie? feedbackbegeleider

•

19 januari 2007: elektronisch versturen door externe technische instantie van de individuele rapporten aan de respectieve leidinggevenden en hun evaluatoren. Als u een andere vorm of een ander kanaal van distributie verkiest, moet de lokale feedbackbegeleider dat rechtstreeks aan de externe technische instantie kenbaar maken. wie? externe technische instantie (rechtstreeks versturen,tenzij u een andere distributie verkiest)

•

TIJDENS de uitvoeringsfase: -

Een technische helpdesk wordt bemand door een externe technische ondersteuner via een uniek telefoonnummer en emailadres (zie BUEwebsite).

-

In geval van elektronische bevraging zal er door de externe technische instantie één herinneringsmail worden gestuurd naar de respondenten die nog niet geantwoord hebben. Als de papieren versie van de bevraging gebruikt wordt zal de externe technische instantie aan de respectieve feedbackbegeleiders een overzicht bezorgen van de respondenten die nog niet geantwoord hebben, zodat de feedbackbegeleiders eventueel een 'gericht' rappelbericht kunnen versturen.

-

Lokale feedbackbegeleider treedt op bij eventueel problematisch verloop van het proces en intervenieert bij conflictsituaties. Hij wordt mogelijk ondersteund door ext erne consultant(s) of centrale coördinatoren van het BUE-proces.

-

Lokale feedbackbegeleider treedt op als spilfiguur van het geheel en als eerste contactpersoon voor de feedbackgevers, de leidinggevenden, de evaluatoren, de externe ondersteuners (technische instanties en consultants na-traject) en voor de centrale coördinatoren van het BUE-proces.

3. Na-traject van BUE (na ontvangst van individuele rapporten) •

vanaf 22 januari 2007: vraaggestuurde ondersteuning (zie ook hoofdstuk 6) door externe consultants mogelijk. Op de ondersteuning door de feedbackbegeleider kan uiteraard permanent een beroep worden gedaan. De aanvrager (evaluator of leidinggevende) wordt steeds gevolgd via de feedbackbegeleider. ondersteuning: externe consultant (desgewenst), maar steeds in nauwe samenwerking met de feedbackbegeleider

•

Op de BUE-website is een korte handleiding “Bestellingen consulting BUE na-traject” beschikbaar.

•

vanaf februari 2007: bij het opstellen van de planning voor het nieuwe werkjaar (cf. na-traject) wordt zo veel mogelijk rekening gehouden met onder andere de BUE-resultaten, als dat nodig of gewenst is uiteraard (vooral met ontwikkelingsgerichte acties/ doelstellingen, individuele ontwikkelplannen …). Eventuele interne of externe ondersteuning is hierbij beschikbaar.

9


aanvrager: evaluator of leidinggevende ondersteuning: feedbackbegeleider, eventueel in samenwerking met externe consultant In hoofdstuk 6. ‘Ondersteuning tijdens het na-traject’ wordt daar dieper op ingegaan.

4.

Uitvoering van BUA- bevragingsronde In het voorjaar van 2007 (data nader te bepalen) zal een BUA-bevragingsronde aangeboden worden. Het spreekt vanzelf dat de voorbereiding en het na-traject van de BUAbevragingsronde overeenkomen met die van de BUE-bevraging. Enkel de respectieve data voor de diverse stappen worden aangepast. Aangezien het een vrijwillige BU-appreciatie betreft, is de aanvragende leidinggevende eigenaar van het individuele rapport. Desgewenst kan hij dat rapport uiteraard ter inzage en eventuele bespreking voorleggen aan derden, waaronder zijn chef.

5. Evaluatie van BUE-bevraging •

mei 2007: evaluatie BU-proces over werkjaar 2006 generiek én maatwerk; topkader én middenkader wie? georganiseerd door werkgroep Feedback en MOP ter gelegenheid van vergadering HR-netwerk, met input van alle feedbackbegeleiders (deelnemers basisaanbod en entiteiten die hebben gekozen voor maatwerk) en terugkoppeling (evaluatieverslag) door externe partners

•

juni 2007: evaluatieverslag met beleidsaanbevelingen voor toekomstige BUbevragingen wie? centrale coördinatoren met input van de werkgroep Feedback en MOP en leden van het HR-netwerk.

5. Voorstel van communicatieplan Wie?

Een feedbackbevraging is communicatie. Over de doelstellingen, de achtergronden, de wijze waarop ze georganiseerd wordt enzovoort moet doordacht gecommuniceerd worden. Een communicatieplan opstellen is geen overbodige luxe. Het communicatieplan is de complementaire verantwoordelijkheid van de centrale coördinatie, het management en de lokale P & O-professional. In het basisaanbod kan de centrale coördinatie maximale inspanningen leveren om correcte boodschappen, weliswaar in compacte vorm, aan te bieden aan de betrokkenen (bijvoorbeeld e-mail met nadere informatie; een inleidend scherm met ‘instructies voor invullen vragenlijst’ enzovoort ). Die basisinformatie moet uiteraard bestemd zijn voor alle deelnemende entiteiten.

10


Maar die beperkte standaardcommunicatie zal nooit volstaan om het BUEinstrument optimaal te positioneren en in te schakelen in de specifieke verbeteringsprocessen binnen elke entiteit. De verantwoordelijkheid van het management en de lokale feedbackbegeleider bestaat erin om die procesmatige communicatie, ten volle geënt op de eigenheid van elke deelnemende entiteit, te formuleren en door te voeren. Daarbinnen kan het ‘instrumentele’ gebeuren zinvol geplaatst worden (zie hieronder voor illustraties).

Wat?

Procesmatig kunnen de volgende hoofdstappen onderscheiden worden. •

Laat/ help beslissen over prioritaire keuzes (cf. supra): Ø [Gaan we al dan niet een BUE organiseren?] Ø Wie is de verantwoordelijke lokale feedbackbegeleider? Ø Kiezen we voor het basisaanbod? Ø Voor welk maatwerk kiezen we? (aanpassing aan basisaanbod, integraal maatwerk…) Ø Wie zijn onze doelgroepen van functioneel leidinggevenden? Ø Welke module van vragenlijst kiezen we per doelgroep leidinggevenden? Ø Hoe zullen de rapporten gedistribueerd worden? (zie voorstel basisaanbod) Ø Hoe zullen rapporten met (te) lage respons (< vijf respondenten) gedistribueerd worden? (zie voorstel basisaanbod) Ø …..

•

Maak een communicatieplan: (Ent de standaard-informatie vanuit de centrale coördinatie op de eigenheid van de entiteit). Illustraties: Ø Waarom houden we feedbackbevragingen? Waarom op die wijze? Ø Waartoe dienen feedbackbevragingen? Wat willen we ermee bereiken? In welk breder kader willen we ze situeren? Welke verbeterprocessen dienen ze? … Ø Wat is de timing? Ø Hoe ondersteunen we de terugkoppeling door de chef naar de functioneel leidinggevende / door de functioneel leidinggevende naar de feedbackgevers? Ø Hoe ondersteunen we de functioneel leidinggevenden en hun chefs tijdens het na-traject? Ø Hoe zullen we het proces evalueren? Ervan leren? Optimaliseren? Ø ….. Vergeet ook niet het volgende te communiceren: Ø Hoe positioneren we een BUE binnen een breder kader van prestatiemanagement, ontwikkelgerichtheid (individueel en organisatorisch) en -bereidheid om te werken aan kwaliteitsvol leidinggeven en een loopbaanontwikkelbeleid? Ø Welke zijn de coördinaten en de rol van de lokale feedbackbegeleider?

11


Ø Hoe en waarvoor raadplegen we de BUE-website, en hoe en wanneer gebruiken we de BUE-mailbox? Ø Welke basisprincipes hanteren we en waarom? Ø Voor welke maatwerk opteren we binnen onze entiteit en waarom? Ø Hoe gaan we berichten en boodschappen aan feedbackgevers diversifiëren? ( à niet alle feedbackgevers zijn van niveau A) Ø Hoe en wanneer gaan we eenduidig communiceren over opzet, doelstelling, aanpak en verloop (ook van na-traject) van de BUE aan alle betrokkenen, en ook aan degenen (evaluatoren, leidinggevenden en feedbackgevers) die voor het eerst kennismaken met een BU- bevraging en aan degenen die niet betrokken zullen worden in de bevraging? Ø Hoe verloopt de timing van de verschillende stappen van het BUE – proces concreet? Ø Wat is het telefoonnummer en wat is het e-mailadres van de technische helpdesk? (zie BUE-website) Ø Voor evaluatoren en leidinggevenden à wat is het telefoonnummer en wat is het e-mailadres van de externe consultant(s) maatwerkondersteuning bij het na- traject? (zie BUE- website) Ø …….. •

Voer het communicatieplan uit: Ø Wie communiceert wat, hoe en wanneer? Ø Aan welke doelgroepen van betrokken leidinggevenden en feedbackgevers wordt er gecommuniceerd? Ø Welk rol vervult het lijnmanagement hierbij? Ø Welke rol vervullen de betrokken functionele leidinggevenden en hun chefs hierbij? Ø Welke rol vervult de verantwoordelijke lokale feedbackbegeleider hierbij? Ø …….

6. Ondersteuning tijdens na-traject

Ondersteuning door feedback begeleider

De lokale feedbackbegeleider van het BUE-proces is de juiste man of vrouw om de (eventuele vraaggestuurde) ondersteuning uit te voeren. Hij heeft immers beroepshalve permanent contact met de vraagstellers, heeft voeling met wat er reilt en zeilt in de entiteiten, de afdelingen, met openlijke of verdoken problematieken . Hij kan dus het best de vraagstellin g inschatten en er professioneel op ingaan. Vanuit die positie kan hij ook het best beslissen of de eventuele inbreng van externe consulting al dan niet relevant is en toegevoegde waarde kan verschaffen. Kortom, het BU-proces én het na-traject ervan vormen een ideale gelegenheid om de meerwaarde van een interne HR-ondersteuning aan het lijnmanangement

12


aan te tonen en kunnen een belangrijke stap betekenen op weg naar een strategische HR- aanpak. (cf. supra)

Externe ondersteuning na bevraging

Zie op de BUE-website de handleiding “Bestellingen consulting BUE na-traject” Houd u hieraan strikt, met het oog op een gestandaardiseerde aanpak en een vlotte afhandeling en financiering van de dossiers. Als u in het na-traject opteert voor externe consulting, moet dat steeds in permanent overleg en samenwerking gebeuren met de lokale feedbackbegeleider. De centrale coördinatie heeft op dat vlak, naast een adviserende en administratieve rol (onder andere voor het beheer van het centrale budget), ook als taak om de kwaliteit en de toegevoegde waarde van de externe consulting na te gaan. Entiteiten die gebruikmaken van het basisaanbod, kunnen een beroep doen op: maatwerkondersteuning (voor evaluatoren en leidinggevenden). Er zijn evenwel belangrijke verschillen op vlak van de financierende instantie (zie verder)! Voorbeelden van maatwerkondersteuning: -

voor evaluatoren: ondersteuning bij duiding van de resultaten en integratie van BUE-resultaten in evaluatieverslag, zonder de anonimiteit prijs te geven (cf. opmerking bij anonimiteit , p. 6);

-

voor leidinggevenden: behoefte aan het (h)erkennen van de resultaten in hun eigen situatie; de leidinggevende of de evaluator wilt een aanvullende gedetailleerde analyse en exploitatie van de gegevens van de BU-bevraging met behulp van aanvullende verzamelde informatie (aanvullende gesprekken), maar zonder de anonimiteit prijs te geven (bijvoorbeeld: extreme scores, abnormale respons, afwijkende scores van een of meer medewerkers); een groter project is aan de gang binnen de organisatie waarvan de leidinggevende deel uitmaakt; de organisatie en de leidinggevende bevinden zich in moeilijke omstandigheden; de leidinggevende heeft minder rechtstreekse contacten met de medewerkers (hij werkt bijvoorbeeld vooral samen met buitendiensten); de leidinggevende bevindt zich in een conflictrelatie met (sommige) medewerkers; de leidinggevende heeft behoefte aan ondersteuning bij de vertaalslag van de resultaten naar ontwikkelmogelijkheden ("wat moet ik hier mee aanvangen?"); de leidinggevende heeft behoefte aan ondersteuning bij de opmaak en voortgangscontrole van individuele ontwikkelplannen (IOP's);) nood aan coaching van leidinggevenden om hun aanpak te optimaliseren.

-

-

Afspraak met Herman gemaakt voor overleg: Financiering

•

[De kosten voor de technische ondersteuning bij het gebruik van het basisaanbod worden gedragen door het centrale budget van het MVG.]

•

De kosten voor maatwerkondersteuning tijdens het na-traject (externe consulting) worden, enkel (1) voor de entiteiten van het MVG (2) die

13


gebruikmaken van het basisaanbod, gedragen door het centrale budget van het MVG. De andere entiteiten (cf. infra: lichte wijzigingen in basisaanbod) of de entiteiten die opteerden voor integraal maatwerk en de VOI’s financieren zelf de maatwerkondersteuning. Ook aanvullend maatwerk bij het basisaanbod wordt door de desbetreffende entiteit gefinancierd. •

De feedbackbegeleider moet telkens voorafgaandelijk nagaan tot op welke hoogte de vraag (ook financieel) verantwoord is (cf. supra). Hij is tijdens het natraject de eerste contactpersoon en werkt permanent samen met de externe partner, hij volgt de kwaliteit en evalueert het geheel.

7. Het basisaanbod en de mogelijkheden tot maatwerk ervan

Het basisaanbod:

Er wordt samengewerkt met een externe technische instantie die u voor de BUbevraging van het middenkader de volgende basisdienstverlening aanbiedt:

concreet

• •

de interne begeleider heeft de online mogelijkheid om het organigram van de entiteit en de bevragingslijnen in te brengen of bestaande bevragingslijnen te verifiëren en aan te passen; vrije keuze tussen drie modules van vragenlijsten naar gelang van de doelgroep van leidinggevenden: een vragenlijst middenkader, een vragenlijst

14


• •

• • • •

leidinggevenden net onder middenkader en een vragenlijst operationeel leidinggevenden. Per vragenlijst kunt u ook kiezen voor een korte of een lange versie; ter beschikking stellen van de vragenlijsten op het internet of van een papieren versie van de vragenlijsten als dat nodig is; organisatie van de feedbackverzameling: planning en uitvoering van de BUbevraging, verspreiding van de vragenlijsten (via e-mail of offline, indien nodig ), voortgangscontrole van de respons (eventueel met herinneringsmailing); verwerking van de feedback tot individuele rapporten; rechtstreeks elektronisch bezorgen van de feedbackrapporten aan de respectieve evaluatoren en leidinggevenden (tenzij anders gewenst); geaggregeerde (anonieme) rapportage volgens de wensen van de opdrachtgever ten behoeve van algemene evaluatie van het project; evaluatieverslag van het BU-proces met aanbevelingen voor aanpassingen aan toekomstige onlinebevragingen.

De kosten voor het basisaanbod worden gedragen door het centrale budget van het agentschap Overheidspersoneel.

Maatwerk: aanvullingen aan of wijzigingen in basisaanbod

Het basis aanbod kan in overleg met de externe partner verder aangevuld of aangepast worden. Bijvoorbeeld: • vragenlijst: lichte aanpassingen (bijvoorbeeld andere of aanvullende competenties; andere of aanvullende gedragsindicatoren; andere of aanvullende evaluatievragen); • berichtgeving op maat; • aanpassen van rapport agewerkwijze; • lay-out van de vragenlijst of het rapport. • … De extra kosten van deze aanvullingen aan of wijzigingen in het basisaanbod worden gedragen door de betrokken entiteit.

Integraal maatwerk

In dit geval werkt de entiteit zelf (eventueel in samenwerking met een zelfgekozen externe instantie) een traject uit op basis van een eigen inhoud (vragenlijst), organisatie en bevragingswijze. Ook de rapportering is uiteraard op maat. De entiteit financiert in dit geval zelf integraal het BUE- proces. Belangrijke randvoorwaarde: Uiteraard moet te allen tijde een zekere standaardisatie nagestreefd worden over alle beleidsdomeinen heen.

15


Evaluatie van aanpak: basisaanbo d én maatwerk

Opdat de hele Vlaamse overheid zou kunnen leren uit de ervaringen met de verschillende aanpakken, wordt aan alle lokale feedbackbegeleiders, zowel van de entiteiten die hebben gekozen voor het basisaanbod als van de entiteit en die hebben gekozen voor (integraal) maatwerk, gevraagd hun begeleidings - en ondersteuningsactiviteiten te evalueren en die plenair te delen, minstens in de vorm van een evaluatieverslag, met de P & O- collega’s van het hele HR-netwerk (zie Overzicht van het verloop van het BUE- proces à evaluatie mei 2007).

16


Notities

17


8. Checklist bij de organisatie van een feedbackbevraging

Doelstelling

Planning : doelbepaling

Met deze checklist willen wij de feedbackbegeleider een leidraad en een set van richtlijnen aanbieden aan de hand waarvan het mogelijk is om tijdens alle belangrijke stappen van het bevragingsproces de voornaamste aandachtspunten te overlopen. Zo vergroot de garantie dat het bevragingsproces effectief en efficiënt zal verlopen.

Ø Ondersteunt de organisatiecultuur de soort feedbackbevraging waarvoor u opteert? Voor u een bepaalde feedbackbevraging kiest, moet u een inschatting maken van de organisatiecultuur. Een cultuur van openheid, wederzijds vertrouwen, eerlijkheid en integriteit, samen met een oprechte behoefte aan het verbeteren van de prestaties , biedt uiteraard meer garantie op succes van de bevraging. Maar dat vergt tijd. Elke feedbackbevraging moet afgestemd worden op de evolutie binnen de entiteit inzake evaluatie- en ontwikkelingspraktijken, en die evolutie is wellicht voor elke entiteit verschillend. Daarom is er een behoefte aan maatwerk. Ø Zijn het doel en de beoogde effecten duidelijk en aanvaard? Feedbackbevragingen met een duidelijke en aanvaarde doelstelling (bijvoorbeeld evaluatie, ontwikkeling) zijn vrijwel steeds effectiever, vooral als ze ingebed zijn in organisatorische strategieën en gekoppeld kunnen worden aan bestaande of nakende (verbeter)processen in de organisatie.

Planning: proces

Ø Hoe sterk i s het lijnmanagement betrokken bij het feedbackproces? Een dergelijk engagement is een sleutelfactor in de geloofwaardigheid van een feedbackbevraging. Een top-downbenadering, waarbij het topmanagement het voorbeeld geeft in het ontvangen van feedback van hun medewerkers, kan hierbij helpen. Als het topmanagement getuige kan zijn van het succes van een feedbackbevraging in een onderdeel van de entiteit, is dat eveneens een stimulans voor betrokkenheid. Ø Hebben alle personen die betrokken zijn bij de bevraging kunnen deelnemen aan de voorbereiding en de planning ervan? Alleen deze aanpak kan eventuele weerstand of angst voorkomen en voldoende vertrouwen opwekken voor het feedbackproces . Anders gesteld: inspraak verwekt uitspraak.

18


Notities

19


Ø Is de (reden van de) keuze voor de doelgroepen (feedbackgevers en leidinggevenden) duidelijk en aanvaard? De keuze van de soort feedbackgevers moet geloofwaardig zijn voor de ontvanger van de feedback opdat hij er iets mee wil aanvangen nadien. Ook de keuze ‘pro of contra anonimiteit’, naast het bepalen van een minimumaantal feedbackgevers per leidinggevende, is hier op zijn plaats. Het spreekt vanzelf dat als er eenmaal een beslissing over die keuzes genomen is, u die consequent moet volgen tijdens het hele proces. Ø Verwijst de vragenlijst naar relevante functieprestaties en maakt ze gebruik van relevante, specifieke gedragsindicatoren? De vragenlijst moet betrekking hebben op actuele functievereisten en moet relevant zijn voor de feedbackgevers in hun dagelijkse omgang met de leidinggevende. Daarom zal het vaak nodig zijn om verschillende versies van vragenlijsten te gebruiken, naar gelang van diverse functiebeschrijvingen van de betrokken leidinggevende. De vragenlijst moet verwijzen naar bestaande systemen en modellen in de organisatie (bijvoorbeeld competentiemanagement, -woordenboek) en moet eveneens ingebed zijn binnen de heersende organisatiecultuur en haar waarden (bijvoorbeeld . ‘waardegebonden competenties’). Ten slotte moet de vragenlijst uiteraard voldoen aan de vereiste betrouwbaarheid en validiteit. Ø Worden de resultaten aangeboden op een bruikbare en uitnodigende wijze? Naast gemiddelden van geaggregeerde gegevens verdient het aanbeveling ook de spreiding van de scores aan te geven. Afhankelijk van de sensitiviteit en de maturiteit van de feedbackontvanger, moet u aandacht besteden aan de vorm waarin de resultaten gegoten worden en aan de eventuele implicaties van de lagere scores. Dat geldt in het bijzonder als ook vrije commentaren meegedeeld worden.

Ø Is voldoende aandacht besteed aan de ondersteuning tijdens het na- traject? Planning: ondersteuningsAls de feedbackbevraging (ook) tot doel heeft om ontwikkeling te bevorderen, dan tools is het belangrijk om al bij de planning de nodige aandacht te besteden aan de middelen en manieren waarop dergelijke activiteiten ondersteund kunnen worden. (bijvoorbeeld mogelijkheden van ondersteuning door externe consultants, praktische regeling van de ondersteuning, concrete verwachtingen). Dergelijke aandacht van in het begin helpt om het proces te blijven focussen op de belangrijkste doelstellingen.

Uitproberen

Vooral als een dergelijke feedbackbevraging nog niet bestond in een entiteit, loont het de moeite ze eerst uit te proberen bij een testgroep. Dat kan onzekerheden wegnemen en levert nuttige informatie op voor de verdere planning en communicatie. De bruikbaarheid van het instrument kan op die manier ook onderzocht worden.

20


Notities

21


De volgende aandachtspunten moeten onder de loep genomen worden: Ø Staat de testgroep positief tegenover een dergelijk experiment? Ø Zijn de vragen niet te wollig, te positief geformuleerd? Ø Zijn de nodige ontwikkelingsmogelijkheden bij het na -traject, inclusief de ondersteuning daarbij, bepaald? Ø Is de vragenlijst voldoende relevant voor alle betrokkenen? Ø Is de vragenlijst voldoende betrouwbaar en valabel(= de mate waarin de vragen duidelijk verwijzen naar de betrokken competentie)? Ø Is de (minimum)lengte van de vragenlijst in overweging genomen, afhankelijk van het doel dat u beoogt? Ø Is de nodige vertrouwelijkheid van de resultaten bij de testgroep verzekerd?

Implementatie

Het meest krit ieke element van de implementatiefase ligt in het feit dat alle betrokkenen heel duidelijk (en tijdig) moeten weten wat het proces allemaal inhoudt (doel, aanpak, timing, na-traject …) en welke specifieke rol ze daarbij vervullen. Ø Is er een duidelijke communicatie aan alle betrokkenen? Ø Is het voor iedereen duidelijk wie de feedbackbegeleider is? Ø Is het duidelijk hoe de ondersteuning (bijvoorbeeld helpdesk) georganiseerd is? Ø Is de timing (deadline) duidelijk? Ø Zijn de instructies voor het invullen van de vragenlijsten duidelijk? Ø Zijn de feedbackgevers voldoende getraind in de nodige vaardigheden?

Rapportering

Effectieve rapportering van de resultaten (terugkoppeling) is de meest efficiënte springplank naar daaropvolgende ontwikkeling en is cruciaal voor het succes van het feedbackproces . Ø Hoe verloopt de rapportering aan of de terugkoppeling naar de feedbackontvanger? Face-to-face? Of (enkel) via een rapport, zonder betrokkenheid van een ‘facilitator’ (zie verder)? Ø Wanneer zal de rapportering of terugkoppeling plaatsvinden? Hier is slechts één advies op zijn plaats à zo vlug mogelijk na de feedbackbevraging! Zo wordt ook gegarandeerd dat de terugkoppeling geënt is op de functie die de feedbackontvanger bekleedde tijdens de bevraging. Maar zelfs als de feedbackontvanger bij de rapportering al een andere (leidinggevende) functie bekleedt, blijft het uiteraard relevant om te vernemen hoe

22


hij totnogtoe ervaren werd in zijn leidinggevende functie, ook en vooral met het oog op verdere ontwikkelingsinspanningen (cf. de waardegebonden competentie: voortdurend verbeteren). Overigens zal het (nieuwe) competentieprofiel inzake leidinggevende competenties meestal niet zo bijster veel verschillen van het vorige. Ø Hoe verloopt de ondersteuning van de leidinggevende (en eventueel zijn chef) bij het ontvangen van het rapport? In de eerste plaats moet gesteld worden dat het ontvangen van een dergelijk rapport zonder enige ondersteuning, zeker als het net voor een weekend of vakantieperiode gebeurt, niet ideaal is en vaak sterk negatieve consequenties kan hebben. De ‘best practice’ bestaat erin dat de feedbackbegeleider (eventueel ook een externe consultant) permanent stand-by is om de resultaten met de betrokkenen te helpen interpreteren. Idealiter gebeurt dat proactief à hij biedt tijdig en uit eigen beweging zijn ondersteuning aan, voorafgaand aan het bezorgen van het rapport, tijdens het overhandigen van het rapport of kort erna. Voordeel is dat meteen nagedacht kan worden over mogelijke ontwikkelingsopportuniteiten en dat deze stap niet louter tot een terugkoppeling van de BU-resultaten beperkt blijft. In organisaties met een open feedbackcultuur kan de feedbackontvanger aangemoedigd (en ondersteund) worden om rechtstreeks contact op te nemen met de feedbackgevers. Ook dan kan de feedbackbegeleider het best ondersteuning bieden om het proces effectief en efficië nt te laten verlopen. Een en ander is opnieuw afhankelijk van de heersende feedbackcultuur binnen de entiteit (cf. supra).

Voortgangscontrole en evaluatie

Ø Heeft de feedbackbevraging beantwoord aan de doelstelling? De hamvraag is natuurlijk of met de feedbackbevraging de aanvankelijke doelstelling is bereikt . Was de doelstelling ontwikkelingsgericht à zijn er relevante ontwikkelingsbehoeften en -initiatieven geïdentificeerd? Was de bedoeling hoofdzakelijk evaluatiegericht à heeft de bevraging de vereiste informatie op een faire en geloofwaardige wijze aangeleverd? Ø Heeft de bevraging een prestatieverbetering opgeleverd? Vanuit organisatiestandpunt is het raadzaam om dergelijke bevragingen op regelmatige basis te herhalen. Zo kunt u evoluties en trends detecteren, volgen en bijsturen. Vanuit individueel perspectief is het nuttig om de feedbackontvangers er bewust van te maken dat, hoewel hun prestaties mogelijk verbeterd zijn, zich dat niet noodzakelijk hoeft te weerspiegelen in de scores die ze hebben ontvangen. Dat komt onder andere omdat het houden van feedbackbevragingen verwachtingen creëert en zich concreet focust op het te verwachten of te verbeteren gedrag. Dat betekent dus dat de feedbackgevers niet vlug tevreden zullen zijn. Ze kunnen integendeel steeds kritischer worden. Die dynamiek moet uiteraard met alle omzichtigheid gemanaged worden en realistische verwachtingen moeten worden gekoesterd.

23


Samenstelling en layout Afdeling Human Resources Management Verantwoordelijke uitgever Willy De Weirdt, Hoofd Afdeling P & O Kenniskruispunt Druk Repro AZF Depotnummer ……. Uitgave Oktober 2006

24

Feedbackbevraging in de Vlaamse overheid

Recommend Documents