Zouden we t weer zó doen?

Zouden we ’t weer zó doen? Evaluatie van de Sioo MOOC over Organiseren en Veranderen

Marguerithe de Man, Brechtje Kessener, Heleen Tours en Peter de Korte

Inhoud Doelstelling Sioo MOOC ................................................................................................... 2  Typen MOOCs ................................................................................................................... 2  Opzet en inhoud Sioo MOOC ............................................................................................ 2  Deelnemers en deelname ................................................................................................... 4  Leren en Leerrendement .................................................................................................... 4  Waardering van de MOOC opbouw .................................................................................. 5  Waardering van de MOOC inhoud .................................................................................... 5  Waardering van de MOOC begeleiding............................................................................. 6  Waardering van de MOOC techniek.................................................................................. 6  Marketing en publiciteit ..................................................................................................... 7  Tijd en kosten..................................................................................................................... 7  Opbrengsten (sub)doelstellingen ....................................................................................... 7  Zouden we ’t weer zó doen? .............................................................................................. 8  Was het de moeite waard? ................................................................................................. 9 

Doelstelling Sioo MOOC MOOCs zijn in opkomst, dat is onbetwist waar. Neem een kijkje op de MOOC list en zie de overweldigende wereldwijde keus. De platforms die achter de MOOCs zitten zijn ook enorm actief in het creëren van nieuw aanbod. Om te verkennen hoe Sioo gebruik kan maken van social media is in de zomer 2013 besloten om te experimenteren met een Sioo MOOC; een Massive Open Online Course. Door het organiseren van de MOOC wilden we relatief snel en goed zicht krijgen op mogelijkheden voor versterking van onze bestaande programma’s met Social media en voor aanvulling van ons portfolio. Onze subdoelstellingen waren:  Het landschap van Organiseren & Veranderen ontsluiten voor een grote en brede doelgroep.  Bekendheid Sioo vergroten (ten behoeve van instroom op de langere termijn).  Inzicht en ervaring opdoen met social media en leren  Alumni boeien en binden. Typen MOOCs Het beeld van de hedendaagse MOOC, een beeld waar de media stevig aan bijdragen, is dat van de inhoud gedreven MOOC: “MOOC staat voor Massive Open Online Course, ofwel een online college. Universiteiten filmen hun colleges en zetten die online.”, zegt de NRC van 18 december 2013. Dat is echter slechts een van de drie hoofdvormen van MOOCs die er zijn:  De netwerk gedreven MOOCs; waar de exploratie en de dialogen en interactie rondom content het belangrijkste doel is.  De taak gedreven MOOCs, waarbij de nadruk ligt op het uitvoeren van opdrachten op basis van de geleverde input, om vaardigheden aan te leren.  De inhoud gedreven MOOCs, waarbij de nadruk ligt op kennisverwerving. Elk type MOOC heeft eigen kenmerkende opvattingen over leren. De taak en inhoud gedreven MOOCs zijn het meest ‘schools’, maar ook het meest bekend. Opzet en inhoud Sioo MOOC In onze optiek schiet het leren in de taak en inhoud gedreven MOOCs op een bepaalde manier tekort; er wordt vooral geconsumeerd. In een aantal stevige discussies kozen we dan ook bewust voor een netwerk gedreven MOOC in de traditie van Bandura en George Siemens. Bandura sprak al in de jaren ‘20 van de vorige eeuw over de sociaal-cognitieve leertheorie, waarin hij het leren in de interactie tussen de omgeving, de persoonlijke factoren en het gedrag beschreef en het belang van sociaal leren; leren door het waarnemen van gedrag van anderen en dat zelf toepassen. George Siemens publiceerde

begin 2000 zijn connectivistische leertheorie. Vooral door de komst van de informatietechnologie en social media voldeden de oude hoofdstromingen, behaviourisme, cognitivisme en constructivisme, niet langer. Het connectivisme is gebaseerd op de integratie van principes uit de chaostheorie, netwerktheorie, complexiteitdenken en de principes van zelforganisatie. Een treffende uitspraak is: “I store my knowledge in my friends” of “Collecting knowledge through collecting people”. Andere uitgangspunten waren:   

Openstelling voor mensen die niet eerder iets bij Sioo gevolgd hadden. Werken aan profiel en onderhanden vraagstuk met nabije begeleiding om het kenmerkende van reguliere Sioo programma’s ook in de MOOC zichtbaar te maken. Veel keuze mogelijkheden per week om de grote variëteit van leerwensen te kunnen bedienen.

Om te kunnen werken aan profiel en onderhanden vraagstuk met nabije begeleiding werden de deelnemers aan de MOOC ingedeeld in Homegroups’; vaste groepjes deelnemers met facilitator, waar deelnemers elkaar en hun werk persoonlijk leerden kennen en waar gewerkt werd aan persoonlijk profiel en de eigen veranderopgave. Elke week kwam er een hoofdvraag met drie tot vijf bijbehorende activiteiten en materialen beschikbaar om de interactie en dialoog met elkaar op gang te brengen en te bevorderen. De keuzemogelijkheden in content werd vormgegeven door wekelijks nieuwe Er-op-uitWebgroups. De Er-op-uit-groep was met een stelling losjes gekoppeld aan de Homegroup-vraag van de week. Daarachter lagen vier of vijf thema’s die elk weer werden uitgewerkt in een tot vijf activiteiten met materialen. In week 3 zag dat er zo uit: Week

Leidende vraag

Stelling

Thema’s Er-op-uit

Veranderende opvattingen over rollen, posities en verantwoordelijkheden in de organisatie leiden tot andere organisaties en andere organisatievraagstukken.

Externe adviseurs en interimmanagers Het geweten van staf en support in de organisatie Managementperspectief en veranderen Medewerkers in de hoofdrol

Homegroups

3

Wie doen er mee in het veranderingsproces?

De activiteiten waren erg gevarieerd. Vaak boden ze een stukje content in de vorm van een artikel, blog of videofilmpje. Daaraan gekoppeld was dan een opdracht of discussielijn.

Deelnemers en deelname In het totaal hebben 350 mensen zich ingeschreven. Iets meer dan de helft van de deelnemers kwam uit de profit sector. Een zeer groot deel van de deelnemers werkt in, met of aan veranderingen en heeft veranderkunde en organisatiekunde als direct relevante vakgebieden. De redenen om deel te nemen waren vooral de verdieping in het vakgebied van veranderen en organiseren en de kennismaking met het fenomeen MOOC. 250 mensen hebben daadwerkelijk een of meer keren op Webgroups ingelogd. Uit de literatuur is bekend dat slecht 50% van de inschrijvers ook daadwerkelijk iets bekijken. Wij zitten met onze MOOC op 71% een aanzienlijk stuk hoger. Zoals verwacht liep de deelname langzaam terug naar, in de weken 4 en 5, gemiddeld ruim 100 bezoeken. De redenen om niet of minder actief deel te nemen liggen meestal in drukte op het werk of ontwikkelingen thuis. 21% van de deelnemers noemt de opzet van de MOOC als reden. Leren en Leerrendement In de praktijk van onze MOOC bleek er minder interactie tussen deelnemers en tussen deelnemers en begeleiders te zijn, dan waarop we hoopten. In de evaluatie is aan deelnemers gevraagd naar de wijze van leren tijdens de MOOC. Het consumerend leren door kennisname van de aangeboden teksten en filmpjes voert duidelijk de boventoon. 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%

N.v.t. zeer weinig weinig gemiddeld veel zeer veel

De respondenten gaven de volgende scores op de vraag ‘in hoeverre heeft de Sioo MOOC een impuls gegeven aan uw professionalisering?’:

100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%

weet niet zeer weinig weinig gemiddeld veel zeer veel

De 13 deelnemers die het hele programma ‘gepassioneerd’ (naar eigen beoordeling en die van de facilitator) hebben deelgenomen en de eindopdracht instuurden, kregen een persoonlijke reactie en certificaat. Uit alle opdrachten blijkt dat ze veel geleerd hebben en er echt zichtbaar profijt van hebben gehad in hun werkpraktijk. De literatuur geeft geen duidelijk antwoord op wat gebruikelijke afrondingspercentages zijn. De getallen die daar genoemd worden variëren tussen 4% en ‘minder dan 10%’. In ons geval heeft 5,2 % van de gestarte deelnemers afgerond. Waardering van de MOOC opbouw Onze conclusie is dat de MOOC niet aansloot bij de verwachting van de deelnemers: Online colleges waar ze naar konden kijken. De deelnemers waren niet goed in staat om hun eigen leren te sturen door de gelaagdheid en keuzevrijheid in onze MOOC. Al bleek wel dat hoe scherper en duidelijker de leervraag was waarmee deelnemers binnen kwamen, hoe minder last zij hadden van ‘verdwalen’. Ook hadden we meer uitval dan we verwacht hadden, waardoor onze dicht-op-de-huid-begeleiding niet zo uitpakte als we hoopten. Natuurlijk waren er uitzonderingen, maar dit beeld gaat over de meerderheid van onze deelnemers. In de evaluatie waardeerden de deelnemers de opbouw van de MOOC (schaal 1-5) met een 2,8. Waardering van de MOOC inhoud Uit de ingevulde deelnemersevaluaties blijkt dat de deelnemers de MOOC inhoud positief waarderen met een 3,7 (schaal 1-5). Gedurende de MOOC werd wel duidelijk dat een aantal deelnemers geen eigen praktijkervaringen wilde plaatsen, omdat ze de groep deelnemers te groot vonden om persoonlijke of bedrijfsgegevens te delen. Mensen

‘bekijken’ de MOOC erg veel. Reageren op aangereikte of andermans stukken gebeurt ook wel, maar het zelf plaatsen, een poll invoeren of bewerken duidelijk minder. De meest populaire items waren die opdrachten waar iets kleins werd aangeboden en vervolgens actief om een reactie of antwoord van de deelnemer werd gevraagd. Waardering van de MOOC begeleiding De deelnemers waarderen de begeleiding van de facilitators met een ruime 3 (schaal 15), zonder grote uitschieters naar boven of beneden. Facilitators waren en zijn enthousiast over het initiatief van Sioo om een MOOC te organiseren. Het innovatieve aspect om op zoek te gaan naar nieuwe manieren van leren en daar sociale media voor te gebruiken wordt gewaardeerd, maar ook de nieuwe samenwerkingsvorm die Sioo opzoekt door alumni en docenten aan te spreken op hun competenties en kennis om inhoud aan te leveren en leergroepen te begeleiden. Een belangrijke motivatie voor facilitators om te participeren was: Mensen ontmoeten, leren over leren met behulp van sociale media, nieuwe dingen zien. Waardering van de MOOC techniek De meeste MOOCs worden aangeboden op speciaal daarvoor ontwikkelde platforms, denk aan Coursera, Udacticy, EdX. Dat brengt echter kosten met zich mee en elk platform heeft beperkingen. Bovendien was een van de nevendoelen van de MOOC het benutten en verder ontdekken van de mogelijkheden van Webgroups. Daarom was ons uitgangspunt dat we onze MOOC met Webgroups zouden doen. Toch blijkt Webgroups, in deze opzet, niet ideaal voor een MOOC, dat blijkt wel uit de reacties. In hoeverre bent u tevreden over het platform (viadesk/ webgroups) waarop de SiooMooc werd aangeboden? Notificatie faciliteit Mogelijkheden voor interactie Gebruiksgemak Uitstraling 0,00

0,50

1,00

1,50

2,00

2,50

3,00

3,50

Ook de facilitators zijn van mening dat de mogelijkheden tot interactie op Webgroups niet ideaal zijn. Het hoogst gewaardeerd wordt de notificatie faciliteit, maar het navigeren op Webgroups wordt als ingewikkeld en onoverzichtelijk getypeerd. Er waren voldoende mogelijkheden tot interactie, maar de uitstraling van Webgroups kan beter. Nota Bene: Webgroups is bezig met de ontwikkeling van een nieuw platform dat zich misschien beter leent voor veel interactie. Het zou kunnen dat dat ook een goed alternatief is voor Webgroups. We zullen het met aandacht volgen.

Marketing en publiciteit Er is flink getwitterd over de Sioo MOOC. De MOOC heeft ook geresulteerd in veel positieve publiciteit op internet. Er zijn zowel door Sioo, door facilitators als door deelnemers artikelen en blogs gemaakt over de Sioo MOOC en daarnaast is de Sioo MOOC regelmatig vermeld in artikelen en blogs van anderen. De tweets, blogs en andere publicaties waren over het algemeen zeer positief. Vooral het feit dat Sioo een dergelijk experiment start, werd zeer positief gewaardeerd. Dit beeld zien we ook terug in de deelnemer evaluaties. Van 74 reacties zijn er 50 (zeer) positief, 1 negatief. De expertise op veranderkundig gebied en het feit dat Sioo het MOOC experiment aanging worden specifiek als positief genoemd. Tijd en kosten Het is lastig om een benchmark te maken over de kosten, daar er weinig gegevens beschikbaar zijn. Het lijkt erop dat een MOOC maken gemiddeld €40.000 tot €50.000 kost (we hebben geen zicht op de ‘run’-kosten van ander MOOCs, alleen op het kengetal van de maakkosten). Voor de Sioo MOOC zitten we voor opzet en uitvoering iets boven dit bedrag. Opbrengsten (sub)doelstellingen In het algemeen kunnen we stellen dat we beter toegerust zijn dan voorheen voor het integreren van online elementen in programma’s, conferenties etc., maar het vraagt wel dat we daar Sioo-breed op bedacht zijn en niet direct in onze routine schieten. Als we in de markt kijken zijn er een aantal mensen/partijen die zeer actief zijn in social learning en daar ook veel verstand van hebben en er zijn de adviesbureaus die social learning en social media eigenlijk nog niet inzetten als interventierepertoire in hun organisatieontwikkelingstrajecten. Sioo kan, mede op basis van het netwerk dat we inmiddels ook hebben bij de social learning mensen, juist een mooie brug functie vervullen. We kunnen ons hierop duidelijk positioneren als bruggenbouwers tussen die twee werelden. De resultaten op de vier subdoelstellingen vatten we hieronder kort samen:

Landschap van Organiseren & Veranderen ontsluiten voor een grote en brede doelgroep

In het totaal hebben 250 mensen meer of minder kennisgemaakt met de vakgebieden organiseren en veranderen. Deze mensen hadden meer werkervaring dan we op voorhand hadden ingeschat. Toch geeft een groot deel van hen aan geleerd te hebben van de MOOC. Wij zijn van dan ook van mening dat we dit doel hebben behaald. Inzicht en ervaring opdoen met social media en leren

Als kerngroep hebben we social media beter leren gebruiken en hebben we zicht gekregen op hoe social media gebruikt kunnen worden om (social) leren te versterken. De Sioo collega’s die een facilitatorsrol hebben opgepakt, hebben deze doelstelling deels behaald. Helaas is het niet gelukt om alle collega’s goed te laten aansluiten. Daarmee hebben we dit doel gedeeltelijk behaald. Bekendheid Sioo vergroten

De Sioo MOOC heeft veel positieve publiciteit in de vorm van blogs en tweets voor Sioo opgeleverd (ook veel publiciteit van anderen over Sioo). De eerste aanmeldingen van deelnemers zijn binnen. Of dit zich doorzet kunnen we in de loop van de tijd nagaan. Alumni boeien en binden

De MOOC heeft Sioo een nog hechter netwerk opgeleverd. Facilitators hebben zich kunnen profileren, niet alleen op kennis en ervaring met het leveren van materiaal voor leren en het begeleiden van leergroepen, maar ook op hoe ze omgaan met het onverwachte en innovatie. De leerervaring is voor Sioo en facilitators minstens zo groot geweest als voor deelnemers en deze gedeelde ervaring maakt het netwerk hechter. Bijvangst: Materialen

Onverwachte bijvangst van de MOOC is de enorme rijkdom aan materialen en opdrachten die door de facilitairs is verzameld en ontwikkeld. Een groot deel daarvan is nogmaals te gebruiken in vervolg e-learning activiteiten en/of in de reguliere programma’s. We weten nu onder meer welke facilitator we kunnen vragen als we onderdelen hergebruiken in, bijvoorbeeld, een in company programma. Zouden we ’t weer zó doen? Met de kennis die we nu hebben, kunnen we zeggen wat we een volgende keer wel of niet anders zouden doen. Hieronder staan een paar van die punten genoemd: Wat we deden

Wat we zouden (kunnen) gaan doen

Globale outline maken, direct de marketing starten en die vooral viraal laten verlopen.

Dat is een goede en snelle manier van werken.

We kozen voor een echte ‘Sioo MOOC’; netwerk en interactie gedreven, met een complexe opbouw en een enorme rijkdom aan inhoud en keuzemogelijkheden.

Hier zijn we wat voorbij gegaan aan de beelden in de markt bij het begrip MOOC. Met de kennis van nu zouden we óf een nietSioo MOOC maken, simpel, recht toe recht aan óf onze bijzonder opzet vooral beter over de bühne brengen en daar op contracteren.

Alumni en experts droegen materiaal en opdrachten aan. We hadden wel wat aanwijzingen, instructies, handreikingen etc. daarvoor op papier, maar de slag maken was voor sommigen lastig.

Wat we hadden kunnen doen was een webinar organiseren over MOOCs, materiaal en opdrachtontwikkeling.

Voor de facilitering door Homegroupbegeleiders hebben we skypes sessies georganiseerd.

De skypes aanvullen met een of twee webinars over online facilitering.

In de Homegroup zat ook de koppeling met profiel en onderhanden vraagstuk, wat wel een echt Sioo kenmerk is

Als we Sioo zichtbaar willen maken in de markt, bij mensen die Sioo niet kennen en we onze meerwaarde willen laten zien, dan zou dit gehandhaafd moeten worden. Dit is immers precies waardoor mensen slagen maken, dat bleek ook uit de eindwerkstukken.

De Er-op-uit-groepen kregen elke week een ander thema met een 4 tot 6 subthema’s met elk gemiddeld vijf opdrachten; ofwel de rijkdom.

Als we deze MOOC over zouden doen, handhaven we de rijkdom, maar misschien een tandje minder; maximaal vier sub-thema’s en vier opdrachten per thema en misschien ook met een wat meer gestandaardiseerde opbouw.

Er was geen face-to-face contact met deelnemers in de MOOC (skypesessies daargelaten).

Anders beginnen met de MOOC: Eerst in kleine groepjes contract maken en daar de basis leggen voor online werken! In strikte zin is het dan geen MOOC meer, maar so what!

We maakten een heel uitgebreide MOOC.

De kwaliteit van de opdrachten werd als hoog ervaren, de kwantiteit deed afbreuk aan het geheel. We stellen niemand teleur als we miniMOOCjes maken

Was het de moeite waard? Het kernteam is van mening dat de variëteit van opbrengsten de investering in tijd en geld waard is geweest. Een andere vraag is of we opnieuw zo’n zelfde MOOC zouden moeten organiseren. Wij denken van niet. Wel zien we een aantal verschillende manieren om met de opgedane kennis en inzichten Sioo verder te versterken.