TooFAST – Een programma voor anonieme on-line cursus- en lesevaluatie. 1. Inleiding. Bij technische opleidingen hoort men vaak zeggen: Meten is weten of ook wel: Feiten liegen niet. Bij cursussen en opleidingen is er in het algemeen ook een grote behoefte om te analyseren wat er in de cursus of de opleiding is geleerd en wat men van de cursus, het lesmateriaal, de docent, etc. heeft gevonden en of men ideeën voor verbetering heeft. We willen feiten en niet alleen wat vage, positieve meningen. Vaak gebruikt men daarbij evaluatieformulieren, hoewel er natuurlijk ook andere vormen zijn om deze nuttige informatie te achterhalen. De meeste formulieren die worden gebruikt hebben vaak twee grote nadelen (dat geldt tenminste bij veel van de formulieren die wij van de diverse leercentra van SeniorWeb hebben gezien). Ondanks goede bedoelingen en veel werk is het resultaat dan minder dan wat maximaal haalbaar is. Het eerste probleem is dat het erg lastig is om een werkelijk goed formulier te maken. We verstaan hierbij dat dat een formulier is waarin de juiste vragen op de juiste manier worden gesteld. En welke soort vragen moet men dan stellen? Open vragen, gesloten vragen of meerkeuzevragen? Bij goede vragen kan men ook verwachten dat er valide en bruikbare antwoorden op worden gegeven. Het tweede nadeel is het gebrek aan echte anonimiteit. Vaak wordt dat wel gesuggereerd omdat de cursisten geen naam hoeven in te vullen. Maar als b.v. de docent de formulieren ophaalt in dezelfde volgorde als waarin de deelnemers aan tafel zitten is anonimiteit niet echt gegarandeerd. Cursisten voelen dit vaak haarscherp aan en als zij aan de anonimiteit twijfelen dan is de kans reëel dat de vragen gedeeltelijk in de door de organisatie gewenste vorm beantwoord worden of wel te positief dan wel onvolledig. Jammer, want dan kan men onvoldoende waarde hechten aan de antwoorden. En evalueren betekent toch letterlijk Ergens de waarde van bepalen. Dit programma (TooFAST) lost deze beide problemen eenduidig op. Het voorziet in een gestructureerd on-line echt anoniem middel voor evaluatie formulieren en vragenlijsten en de verwerking van de resultaten na invulling, zowel numeriek als grafisch.
2. Samenvatting. Met het programma TooFAST maakt u dus op een redelijk eenvoudige manier specifieke vragenlijsten en evaluatieformulieren aan. U kiest hierbij uit enkele honderden vooraf gedefinieerde, goede vragen, onderverdeeld in een aantal categorieën. U heeft hierbij ook de keuze uit verschillende vraagvormen. Bij voorbeeld: meerkeuze vragen, ja/nee vragen, vragen met een tekstantwoord, vragen met een Likert schaal, etc. Natuurlijk kunt u ook nog steeds uw eigen vragen formuleren. Maar bij het doorscannen van de database met vragen komt u er ongetwijfeld een aantal tegen die voor u goed bruikbaar zijn. Als de vragenlijst klaar is stuurt u deze on-line toe aan de cursisten of studenten. Dit kan zowel in de lesruimte zijn (b.v. aan het einde van de laatste les) als ook naar het e-mail adres van de cursist of student thuis. Zij loggen dan in met een eenmalig te gebruiken wachtwoord dat de docent niet kent en ook niet te weten kan komen. Op deze manier is een echt anoniem gebruik mogelijk. Het programma maakt daarna een gedetailleerde samenvatting aan met de resultaten van alle ingezonden antwoorden. Voor cursisten, die vergeten zijn de vragenlijst tijdig te beantwoorden en in te sturen kan er een herinneringsemail worden verstuurd. SeniorWeb heeft de Nederlandse versie van dit programma verzorgd evenals de hosting in Nederland. Tevens zijn specifieke vragen toegevoegd voor de leersituaties van SeniorWeb, waaronder ook de on-line training Leuker en beter lesgeven. Daar het programma freeware is kan het ook (zoals b.v in Canada en enkele andere landen aan de orde is) worden gebruikt op scholen, hogescholen, universiteiten, etc. Omdat het programma in de Engelse versie al enkele jaren met tevredenheid in gebruik is heeft dit het
voordeel dat alle kinderziektes er al uit zijn verdwenen. Naast deze handleiding bestaat er ook de mogelijkheid om een extra instructie en hulp te krijgen. Stuur hiervoor een mailtje aan
[email protected] Verder is er een korte videofilm op de site, die het gebruik van TooFAST toelicht (deze laatste is er tot nu toe helaas alleen in het Engels).
3. Het begin. 3.1. Het aanmaken van een account voor TooFAST Opmerking vooraf: Deze handleiding is ook in te zien (en eventueel te printen) op de website van TooFAST, ook als u nog geen account heeft aangemaakt. Klik hiertoe op de homepage in het menu aan de linkerzijde op Hulp met een pdf bestand.(Wel eerst bovenaan even kiezen voor de Nederlandse taal (Dutch)). 3.1 Als u op de homepage van het programma bent (www.toofast.seniorweb.nl) of ook de originele site (www.toofast.ca) en dan ziet u de Engelse versie van de homepage. Om de website en ook deze homepage in het Nederlands te zien klikt u daarna in de menuregel aan de bovenzijde op Dutch. U ziet dan het venster ongeveer zoals figuur 1 hieronder aangeeft.
Figuur 1 Het hoofdvenster van TooFAST in de Nederlandse versie.
3.2. Vervolgens kiest u in het menuvenster aan de linkerzijde op Maak een account aan. U wordt dan in een volgend scherm (figuur 2 op de volgende pagina) gevraagd om enkele gegevens in te vullen op een formulier. Denk bij het invullen aan het volgende: a. U kiest een gebruikersnaam en een wachtwoord (voor de gebruikersnaam vrije keuze, maar wel 5 tot maximaal 20 tekens (letters en cijfers en het onderstrepingsteken (_). b. Uw wachtwoord moet minimaal uit 5 en maximaal 20 tekens bestaan (alleen cijfers of letters of één van de volgende tekens: ! @ # of $). Een voorbeeld zou kunnen zijn ‘ abcde123@’ maar u bedenkt ongetwijfeld een beter.
c. Zorg ervoor dat u uw e-mail adres goed invult, want uw gebruikersnaam en wachtwoord zullen naar dit adres worden verstuurd, handig als geheugensteuntje wanneer u b.v. later het wachtwoord van uw account zou zijn vergeten. d. Aan de onderzijde van het venster geeft u de tekens in die u in het plaatje ziet. Dit zoals bekend om misbruik door spam of andere problemen zoveel mogelijk te voorkomen. e. De eerste 6 regels zijn verplicht (*) en als organisatie kunt u b.v. ingeven de naam van uw leercentrum, b.v. SeniorWeb Amsterdam. 3.3. Als u klaar bent met het invullen klikt u aan de onderzijde van het venster op: Maak een account aan. Vervolgens wordt er een e-mail verstuurd naar het door u opgegeven e-mailadres, waarin de zojuist gekozen gebruikersnaam en het wachtwoord worden vermeld. 3.4. U kunt nu inloggen met uw gebruikersnaam en wachtwoord in het venstertje aan de linkerzijde op de homepage.
Figuur 2 Het aanmaken van een account.
4. Hoe leert u werken met de website van het programma TooFAST? 4.1. De startpagina Zodra u een account heeft aangemaakt bent u klaar om de website van TooFAST te gaan verkennen en uw eerste vragenlijst aan te maken. Nadat u bent ingelogt komt u op een pagina die er (voor een deel) uitziet zoals hieronder aangegeven. Dit zou u kunnen zien als de gereedschappenkist van TooFAST. Daar u nog geen vragenlijst heeft aangemaakt zal er onder de regel Evaluatieformulieren / vragenlijsten nog geen namen van door u aangemaakte vragenlijsten vermeld staan, maar You have no surveys at this time of in het Nederlands U heeft momenteel nog geen vragenlijsten.
a. Heeft u wel eerder vragenlijsten aangemaakt dan staan die alle vermeld onder het kopje Evaluatieformulieren / vragenlijsten en als u één daarvan bewerken dan klikt u onder de regel Evaluatieformulieren / vragenlijsten op de titel van het evaluatieformulier / de vragenlijst en dan komt u in een venster met het overzicht van de eigenschappen van het formulier. Nu eerst de procedure om een nieuw evaluatieformulier / vragenlijst aan te maken. b. Onder het kopje van de TooFAST gereedschappen (aan de linkerzijde van de startpagina) ziet u een paar mogelijkheden, waaronder de link naar het venster Maak een evaluatieformulier / vragenlijst
Figuur 3: De gereedschappen van Toofast
4.2. De opties. Nadat u heeft geklikt op Maak een evaluatieformulier / vragenlijst ziet u een nieuw venstertje met enkele invulregels (zie figuur 4 hieronder).
Figuur 4: Naam en wachtwoord voor een nieuw evaluatieformulier – vragenlijst.
a. Als eerste vult u de gewenste naam van de vragenlijst in. Randvoorwaarden weer 5 tot 20 tekens en alleen letters en cijfers en het teken _ ( underscore / onderstrepingsteken). In ons voorbeeld: Windowscursus01 b. Vervolgens geeft u een wachtwoord op. Dat is het wachtwoord waarmee uw cursisten straks toegang hebben tot de vragenlijst. U kiest uiteraard een ander wachtwoord dan bij het inloggen op
uw account. U moet wel want de randvoorwaarden zijn anders, t.w. Alleen letters of cijfers zijn toegelaten en de lengte moet wel weer tussen de 5 en 20 tekens liggen.
5. Nu gaan we echt van start. 5.1. Het aanmaken van een evaluatieformulier / vragenlijst a. Op de homepage van TooFAST (www.toofast.seniorweb.nl) logt u in met uw gebruikersnaam en wachtwoord b. Zodra u bent ingelogt klikt u op Maak een evaluatieformulier / vragenlijst in het menuvenster aan de linkerzijde van het hoofdvenster c. Geef een naam en een wachtwoord op voor het evaluatieformulier / vragenlijst. Dit wachtwoord geeft u later door aan de cursisten / studenten om hen toegang te geven tot het evaluatieformulier / de vragenlijst. d. Klik op Maak een evaluatieformulier / vragenlijst. Het nieuwe evaluatieformulier / vragenlijst wordt nu toegevoegd aan het menu aan de linkerzijde onder het kopje evaluatieformulieren / vragenlijsten
Figuur 5: De verschillende opties voor een vragenlijst.
5.2. Vragen toevoegen aan het evaluatieformulier / de vragenlijst. a. Zodra u bent ingelogd klikt u op het kopje Evaluatieformulieren / vragenlijsten op de naam van uw vragenlijst waaraan u vragen wilt toevoegen. b. Als volgende klikt u op Vragen Toevoegen/ Veranderen/ Verwijderen van vragen in de lijst van opties. (zie figuur 5) N.B. Het bovenste gedeelte van het venster is bedoeld voor het bepalen van de verwerking van de resultaten van een ingevulde vragenlijst. Daarover straks meer.
c. U wordt nu gevraagd om ofwel het aantal vragen op te geven in uw nieuwe formulier / vragenlijst ( de defaultwaarde is 10 vragen) dan wel een bestaande vragenlijst te ‘clonen’. Het clonen van een evaluatieformulier / vragenlijst is feitelijk niets anders dan een kopie ervan te maken onder een andere naam. Dit kan handig zijn als u een bestaand formulier op hoofdlijnen kunt gebruiken maar wel aan uw eigen omstandigheden wilt aanpassen of dat u dezelfde vragenlijst meerdere keren wilt gebruiken voor verschillende cursussen maar de antwoorden gescheiden wilt houden. Dit alles kan overigens (tot nu toe) alleen binnen uw eigen account d. Laten we beginnen met het kiezen van het aantal vragen, in dit geval b.v. 15. Klik daarna op Doorgaan. d.1. TooFAST zal nu een lijst voor het opgegeven aantal, maar nu nog lege, vragen, voor u aanmaken. (zie figuur 6 volgende pagina) d.2. U kunt nu op drie verschillende manieren de vragenlijst invullen. d.2.1. zelf de vragen formuleren en intypen. d.2.2. de vragen selecteren uit de database met vragen d.2.3. de vragen uit de database kiezen via het kiezen van een of enkele categorieën. d.3. Als U kiest voor de eerste optie (d.2.1.) kunt u per vraag de gewenste tekst ingeven. Vervolgens kiest u het soort vraag uit de 7 verschillende mogelijkheden, zoals: d.3.1. Z.g. Likert schaal (5 keuzes variërend van Helemaal mee eens tot Helemaal mee oneens). De opties zijn dan zoals gebruikelijk O geheel mee eens O mee eens O mee eens noch mee oneens O mee oneens O geheel mee oneens N.B. 1 Uiteraard moet u de vraagstelling zodanig formuleren dat dit de juiste mogelijke antwoorden zijn N.B. 2 Hoewel wij er zelf de voorkeur aan geven om een even aantal keuzemogelijkheden aan te geven (dit om de kans te verkleinen dat men ‘gemakshalve’ maar op de middelste variant kiest, hebben we hier toch voor de officiële versie van de Likert schaal gekozen, zoals die overigens ook wordt gebruikt door de meeste gerenommeerde enquête bedrijven zoals b.v. dat van Maurice de Hond, Intomart, etc d.3.2. Likert schaal en lang antwoord (idem plus een tekstantwoord) d.3.3. Lang antwoord (alleen tekst) d.3.4 Meerkeuze vraag (geeft u de mogelijkheid om zelf meerdere mogelijke antwoorden in te geven) d.3.5. Meerkeuze vraag en lang antwoord (idem plus een tekstantwoord) d.3.6. Ja / Nee vraag d.3.7. Ja / Nee vraag en lang antwoord (idem plus een tekstantwoord) Als u kiest voor de meerkeuzevraag verschijnt er een tekstveld waarin u de verschillende mogelijkheden kunt ingeven, gescheiden door puntkomma’s. Voorbeeld: bij ingave van 2008;2009;2010;2011 wordt het resultaat 0 2008 0 2009 0 2010 0 2011 In de bovenstaande gevallen laat het programma uiteraard maar 1 keuze toe. f.
Als u klaar bent met het invullen van alle vragen scrolt u naar de onderzijde van de pagina en klikt daar op Maak de vragenlijst
N.B. De onderste regel Verwijder de antwoorden van het evaluatieformulier / de vragenlijst gebruikt u als u het bestaande formulier opnieuw wilt gebruiken.
Figuur 6: (Een deel van de) nog lege vragenlijst.
Ad d.2.2. Nu gaan we de database van vragen gebruiken. 1.1. 1.2. 1.3.
1.4. 1.5. 1.6.
.
Aan de bovenzijde van het venster (figuur 6) staat Database met vragen. Als u daarop klikt ziet u het venster van figuur 7 verschijnen als overlay. N.B. Als u voor meerdere werkbalken in uw browservenster heeft gekozen kan het zijn dat u van de toelichting op de vragen database de onderzijde met de twee knoppen niet ziet. U kunt dan tijdelijk met F11 de werkbalken verwijderen en de knoppen zichtbaar maken. U kunt nu kiezen voor Volledige lijst met vragen en categorieën. Dan wel voor alleen Kies de Categorieën. Als we kiezen voor Kies de Categorieën verschijnt het venster van figuur 8. Als u (als voorbeeld) kiest voor algemene vragen ziet u het venster van figuur 9. Wij stellen voor dat u eens op uw gemak door de verschillende categorieën bladert om te zien welke vragen u voor uw eigen gebruik zinvol acht. En om niet direct te beginnen met alle vragen zelf te formuleren. Dat lijkt handig, maar vergeet niet dat er veel werk is gemaakt om in de database relevante vragen op te nemen. Wellicht komen sommige vragen u wat vreemd voor, maar bedenkt dan dat dit programma in eerste instantie is ontworpen voor gebruik in colleges op universiteiten. Kijk met name eens naar de vragen over de praktijkoefeningen. Wij hebben de indruk dat er aan dit belangrijke onderdeel van onze cursussen om de vaardigheid van cursisten te stimuleren niet alleen vaak te weinig tijd wordt besteed maar dat daar ook nauwelijks wordt geëvalueerd.
Figuur 7: Naar de vragen database.
Figuur 8: De lijst met categorieën
1.7. 1.8. 1.9. 1.10. 1.11. 1.12. 1.13.
U kunt in deze lijst 1 dan wel meerdere vragen tegelijk aanvinken. In het laatste geval worden de vragen in uw lijst ingevuld en moet u uiteraard nog steeds wel het type vraag kiezen. Op deze wijze maakt u uw vragenlijst compleet. Natuurlijk kunt u / moet u uit meerdere categorieën kiezen van wel kunt u alleen kiezen uit de totale lijst met vragen. U kunt natuurlijk altijd uw lijst met vragen en ook het type vragen veranderen net zolang totdat u geheel tevreden bent met het resultaat. Bedenk hierbij dat een echt goede vragenlijst vaak meerdere keren kan worden gebruikt. In het voorbeeld van figuur 9 tonen we een specifieke categorie. Bedenk hierbij dat er ook een categorie is met specifieke vragen voor SeniorWeb cursussen en ook voor de SeniorWeb training voor docenten: Leuker en beter lesgeven. Als u tevreden bent met uw vragenlijst klikt u op Bekijk het evaluatieformulier / de vragenlijst voor verzending. U ziet dan de vragenlijst in de vorm zoals straks ook uw cursisten hem zullen zien Vul nu het wachtwoord van de vragenlijst in de klik op Vul de vragenlijst in. Als u tevreden bent, sluit u het venster en gaat u terug naar het venster met uw account.
5.3. De resultaten van uw ingevulde vragenlijst bekijken. 5.3.1.. Ingelogd zijnde klikt u in het hoofdvenster aan de linkerzijde op de vragenlijst / het evaluatieformulier dat u wilt inzien. Onder het kopje Bekijk de resultaten ziet u vijf mogelijke opties om de vragenlijst te bekijken. Kies nu de optie van uw keuze. a. On-line Met deze optie ziet u iedere vraag tezamen met de numerieke en grafische presentatie van de antwoorden. b. On-line tussen de data Laat iedere vraag zien met de numerieke en grafische presentaties van de antwoorden tussen twee door u gespecificeerde data. c. Excel (XLS) Laat u een kopie van de resultaten downloaden in de vorm van een spreadsheet. d. XML geeft u de mogelijkheid om u middels RSS-feed te abonneren op de resultaten van de vragenlijst. Als u deze mogelijkheden even uitprobeert ziet u snel hoe het werkt en welke optie wanneer aan de orde is
Figuur 9: Een voorbeeld van een categorie.
5.4. Het versturen van de vragenlijst naar de cursisten / studenten. Zodra u de vragenlijst heeft samengesteld en gecontroleerd kan hij naar de cursisten / studenten worden verstuurd.. Dat kan op een paar verschillende manieren worden gedaan. 5.4.1. Zoeken naar de vragenlijst. Een mogelijkheid voor de cursisten / studenten om naar de gewenste vragenlijst te gaan is in te loggen op de TooFAST website en dan the klikken op Zoekopdracht voor een evaluatieformulier / de vragenlijst. In het dan volgende venster kunnen ze zoeken op de naam van de docent of de naam van de vragenlijst. Zodra de juiste vragenlijst is gevonden geeft de cursist het aan hem verstrekte wachtwoord in en opent de vragenlijst. Hoewel dit de standaard methode is om een vragenlijst te vinden bestaat er een gemakkelijker manier door de cursisten een directe link te geven naar de juiste vragenlijst.
5.4.2. Directe link naar de vragenlijst. De eenvoudigste manier om een vragenlijst naar de cursisten /studenten te sturen is met een directe link. Dit maakt het eenvoudiger omdat er op de TooFAST website dan niet tussen de verschillende vragenlijsten gezocht behoeft te worden. Maar hoe doen we dat? a. Klik op de titel titel van de vragenlijst in het menu aan de linkerzijde b. In het venster met de opties voor de vragenlijst klik op Link op het web naar het evaluatieformulier / de vragenlijst. c. Er zijn nu twee verschillende manieren om naar de vragenlijst te linken. c.1. Embed de link in de HTML code van de webpagina door de code die begint met “
” en eindigt met “” naar de pagina te kopiëren. Dit zal automatisch een link naar de vragenlijst op uw pagina genereren. c.2. Gebruik de URL zelf, kopieer het webadres van de pagina en stuur dat met een e-mail aan de cursisten of zend het op een andere manier waarop de cursisten het kunnen zien. 5.4.3. Unieke wachtwoorden voor eenmalig gebruik. Om te voorkomen dat cursisten meerdere keren dezelfde vragenlijst invullen en opsturen, kunt u kiezen voor de optie Laat slechts 1 evaluatieformulier / vragenlijst (antwoord) per cursist toe. Hierdoor wordt er voor iedere cursist een wachtwoord aangemaakt dat u per e-mail of handmatig aan de cursisten kunt uitreiken. a. Klik op de titel van de vragenlijst in het menu aan de linkerzijde. b. Kies voor Laat maar 1 reactie per cursist toe in het venster voor de opties voor de vragenlijst. c. U kunt nu kiezen voor de optie om de unieke wachtwoorden per e-mail aan de gespecificeerde e-mail adressen van de cursisten te sturen (dit kunnen zowel de e-mail adressen zijn van de werkstations / computers in uw leercentrum danwel de e-mail adressen op het huisadres van de cursisten) danwel de wachtwoorden af te drukken en handmatig aan de cursisten uit te reiken. U dient dit in het laatste geval dat wel te doen op een manier die de onvoorwaardelijke anonimiteit garandeert. Dit b.v. 1. door het door één van de cursisten te laten doen, waarbij iedere cursist er zelf één willekeurig uit de lijst kiest, dat wachtwoord noteert en daarna doorstreept op de lijst, 2. Of door de wachtwoorden los te knippen en de cursisten uit een bakje er een laten kiezen en uit te nemen. 3. Of een andere manier die de anonimiteit garandeert. Onderschat niet de waarde van het feit dat uw cursisten echt vertouwen dat het anoniem is. 5.4.4. Ten slotte. a. Wij realiseren ons dat deze handleiding voor u iet meer kan zijn dan een eerste verkenning van dit programma. b. Wij hopen dat we u hebben kunnen motiveren om het programma zelf verder te verkennen. c. Wij zijn er van overtuigd dat wanner u enkele formulieren heeft gebruikt en ook de resultaten heeft verwerkt u met ons van menig zal zijn dat dit een handig, en nuttig programma is om u behulpzaam te zijn bij het continue verbeteren van uw lessen door middel van deze vorm van anonieme on-line evaluatie. d. Voor uw vragen en opmerkingen kunt u mailen naar
[email protected] en zullen we ons best doen uw vragen te beantwoorden. e. Binnen afzienbare tijd zullen we ook een aantal complete vragenlijsten op deze website publiceren die zijn toegespitst op het gebruik voor SeniorWeb cursussen en die u in de gepubliceerde dan wel door u aangepaste vorm kunt gebruiken. Wij wensen u veel succes bij het gebruik van TooFAST!
