December 2007 Pdf ten behoeve van accreditatieaanvraag. Kunstmatige Intelligentie

Kunstmatige Intelligentie

December 2007 Pdf ten behoeve van accreditatieaanvraag

Uitgave: Quality Assurance Netherlands Universities (QANU) Catharijnesingel 56 Postbus 8035 3503 RA Utrecht Telefoon: Fax: E-mail: Internet:

030 230 3100 030 230 3129 [email protected] www.qanu.nl

© 2007 QANU Tekst en cijfermateriaal uit deze uitgave mogen, na toestemming van QANU en voorzien van bronvermelding, door middel van druk, fotokopie, of op welke andere wijze dan ook, worden overgenomen.

QANU / Kunstmatige Intelligentie

2

Inhoudsopgave Voorwoord Deel I 1. 2.

Algemeen deel

De onderwijsvisitatie Kunstmatige Intelligentie Algemene bevindingen

Deel II

Opleidingsdeel

1. Rapport over de masteropleidingen Artificial Intelligence en Operational Research van de Transnationale Universiteit Limburg 2. Rapport over de bacheloropleiding Kunstmatige Intelligentie en de masteropleiding Artificial Intelligence van de Vrije Universiteit Amsterdam 3. Rapport over de bacheloropleiding Kunstmatige Intelligentie en de masteropleidingen Mens-machine Communicatie en Artificial Intelligence van de Rijksuniversiteit Groningen 4. Rapport over de bacheloropleiding Knowledge Engineering van de Universiteit Maastricht 5. Rapport over de bacheloropleiding Cognitieve Kunstmatige Intelligentie en de masteropleiding Artificial Intelligence van de Universiteit Utrecht 6. Rapport over de bacheloropleiding Kunstmatige Intelligentie en de masteropleiding Kunstmatige Intelligentie van de Radboud Universiteit Nijmegen

Bijlagen Bijlage A: Bijlage B: Bijlage C: Bijlage D: Bijlage E:

Curricula vitae van de leden van de visitatiecommissie Kunstmatige Intelligentie 2007 Referentiekader (KION) Programma visitatie Kunstmatige Intelligentie Beoordelingsformulier scripties Lijst met afkortingen


3


4

VOORWOORD Dit rapport is onderdeel van de kwaliteitsbeoordeling van universitaire bachelor- en masteropleidingen in Nederland. Het doel van het rapport is om een betrouwbaar beeld te geven van de resultaten van de voor beoordeling voorgelegde opleidingen, alsmede een terugkoppeling te geven wat betreft de interne kwaliteitszorg van de betrokken organisaties en als basis te dienen voor de accreditatie van de betrokken opleidingen door de Nederlands-Vlaamse Accreditatie Organisatie (NVAO). De stichting Quality Assurance Netherlands Universities (QANU) beoogt onafhankelijke, objectieve en kritische beoordelingen te laten plaatsvinden en opbouwende kritiek te leveren, zo veel mogelijk uitgaande van een gestandaardiseerde set van kwaliteitscriteria met oog voor specifieke omstandigheden. De visitatiecommissie Kunstmatige Intelligentie van QANU heeft haar taken met grote toewijding uitgevoerd in een periode die wordt gekenmerkt door de overgang naar de bachelormasterstructuur. De opleidingen Kunstmatige Intelligentie zijn beoordeeld op een grondige en zorgvuldige manier en binnen een duidelijk beoordelingskader. Wij verwachten dat de oordelen en de aanbevelingen in zorgvuldige overweging zullen worden genomen door de betrokken opleidingen, faculteitsbesturen en Colleges van Bestuur. Wij zeggen dank aan de voorzitter en de leden van de visitatiecommissie voor hun bereidheid deel te nemen aan deze beoordeling en voor de toewijding waarmee ze hun taak hebben uitgevoerd. Ook gaat onze dank uit naar de staf en de studenten van de betrokken afdelingen aan de universiteiten voor hun inspanningen en hun medewerking aan deze beoordeling. Quality Assurance Netherlands Universities mr. C.J. Peels directeur

drs. J.G.F. Veldhuis voorzitter bestuur


5


6

DEEL I: ALGEMEEN DEEL


7


8

1.

De onderwijsvisitatie Kunstmatige Intelligentie

Inleiding In dit rapport brengt de visitatiecommisie Kunstmatige Intelligentie (hierna: de commissie) verslag uit van haar bevindingen ten aanzien van totaal twaalf bachelor- en masteropleidingen Kunstmatige Intelligentie aan de RUG, de VU, de UU en de RU, de bacheloropleiding aan de UM en de masteropleidingen aan de tUL. Omdat de masteropleidingen van de Transnationale Universiteit Limburg eerder geaccrediteerd moesten worden, heeft het bezoek aan die opleidingen reeds in februari 2007 plaatsgevonden. De andere opleidingen zijn gevisiteerd in de maanden mei en juni 2007. Het rapport over de tUL-opleidingen is in verband met de aan te vragen accreditatie al eerder uitgebracht. De betrokken opleidingen Transnationale Universiteit Limburg (27 en 28 februari 2007) de masteropleiding Artificial Intelligence de masteropleiding Operational Research Vrije Universiteit Amsterdam (8 en 9 mei 2007) de bacheloropleiding Kunstmatige Intelligentie de masteropleiding Artificial Intelligence Rijksuniversiteit Groningen (15 en 16 mei 2007) de bacheloropleiding Kunstmatige Intelligentie de masteropleiding Mens-machine Communicatie de masteropleiding Artificial Intelligence Universiteit Maastricht (23 en 24 mei 2007) de bacheloropleiding Knowledge Engineering Universiteit Utrecht (4 en 5 juni 2007) de bacheloropleiding Cognitieve Kunstmatige Intelligentie de masteropleiding Artificial Intelligence Radboud Universiteit Nijmegen (6 en 7 juni) de bacheloropleiding Kunstmatige Intelligentie de masteropleiding Kunstmatige Intelligentie Taak van de commissie De commissie heeft als taak om op basis van de door de faculteit aan te leveren informatie en door middel van ter plaatse te voeren gesprekken een oordeel te geven over de zes onderwerpen (en de daaronder vallende facetten) die worden vermeld in het QANU-kader, versie 3.1, februari 2004, Gids voor de externe kwaliteitsbeoordeling van wetenschappelijke bachelor- en masteropleidingen ten behoeve van accreditatie: Doelstellingen (drie facetten); Programma (acht facetten); Personeel (drie facetten); Voorzieningen (twee facetten);


9

Interne kwaliteitszorg (drie facetten) en Resultaten (twee facetten). Bovendien dient de commissie een integraal oordeel te geven over elke opleiding afzonderlijk. Deze indeling is terug te vinden in het rapport. Samenstelling van de commissie De visitatiecommissie Kunstmatige Intelligentie bestaat uit de volgende personen: prof. dr. W.A. (Willem-Albert) Wagenaar, emeritus hoogleraar Psychologie Universiteit Leiden en Universiteit Utrecht; prof. dr. W. (Walter) Daelemans, gewoon hoogleraar Computational Linguistics and Artificial Intelligence, Universiteit van Antwerpen; prof. dr. A. (Ann) N owé, hoofddocent Computer Science, Vrije Universiteit Brussel; E. (Elske) van der Vaart, student Kunstmatige Intelligentie Rijksuniversiteit Groningen, student-lid; prof. dr. F.J.M.M. (Frank) Veltman, hoogleraar Logica Universiteit van Amsterdam; ir. E. M. (Evert) van de Vrie, docent Wiskunde en Kunstmatige Intelligentie Open Universiteit Nederland, onderwijsdeskundige; F. (Fieke) Boschman, student Kunstmatige Intelligentie aan de UU, student-lid bij het bezoek aan de RUG. Secretaris van de commissie is J.W.M. Meijer, medewerker bureau QANU. Voor de cv s van de commissieleden zij verwezen naar bijlage A. Voorzitter, leden en secretaris hebben de QANU-onafhankelijkheidsverklaring getekend. De heer Van de Vrie heeft vanwege zijn betrokkenheid bij het opzetten van een samenwerking van opleidingen van de Universiteit Maastricht en de Open Universiteit niet aan het bezoek aan de Transnationale Universiteit Limburg (tUL) deelgenomen. Mevrouw Van der Vaart heeft vanwege haar betrokkenheid bij de RUG het bezoek aan de RUG niet bijgewoond. Zij is toen vervangen door mevrouw F. Boschman. De commissie heeft desgevraagd ook nog een advies uitgebracht aan het College van Bestuur van de tUL betreffende de cursusduur van de masteropleidingen Artificial Intelligence en Operations Research. De tUL heeft bij brief van 8 maart 2007 van de NVAO toestemming gekregen om de commissie over de cursusduur te laten adviseren conform het Protocol cursusduur masters van 8 oktober 2003. In haar advies stelt de commissie dat de cursusduur naar haar oordeel uitgebreid zou moeten worden van één jaar naar twee jaar. Op die manier kunnen de studenten een volwaardige masteropleiding voltooien en kan de opleiding ook landelijk gezien beter concurreren. Het advies is op 22 augustus 2007 uitgebracht aan het College van Bestuur van de Universiteit Maastricht, dat optrad als College van Bestuur van de Transnationale Universiteit Limburg. Het advies is niet bij dit rapport gevoegd. Werkwijze De commissie is op 24 januari 2007 door het bestuur van QANU geïnstalleerd. In die vergadering heeft zij besloten in grote lijn het Referentiekader van het KION (Kunstmatige


10

Intelligentie Opleidingen Nederland) aan te houden bij haar beoordeling en maakte zij afspraken over de onderlinge taakverdeling. De bezoeken zijn georganiseerd volgens het als bijlage B bijgevoegde programma. De secretaris heeft van tevoren een analyse opgesteld van de opleidingen aan de hand van de zelfstudies. Mede op grond daarvan is aan de opleidingen nog om aanvullende informatie gevraagd. De reacties op die verzoeken om nadere informatie werden voordat het bezoek plaatsvond aan de leden van de commissie ter beschikking gesteld. Voorafgaand aan het bezoek heeft de commissie in overleg met de opleidingen ook een open spreekuur aangekondigd, waarvoor belangstellenden zich, met opgave van het te bespreken onderwerp, bij de secretaris van de commissie konden opgeven. Niet alleen in het mededelingenblad van de universiteit/faculteit maar ook via e-mail is dit aangekondigd. Enkele actieve studieverenigingen hebben van deze gelegenheid gebruikgemaakt om een presentatie te geven van hun activiteiten. De commissie heeft voor zover mogelijk per opleiding ongeveer twaalf scripties geselecteerd. Deze scripties zijn van tevoren opgevraagd en naar de leden gestuurd. De leden van de commissie hebben ze bestudeerd en er een cijfer aan toegekend op basis van een beoordelingsformulier (zie bijlage D). De oordelen zijn daarna in de commissie besproken en vergeleken met de beoordeling die de opleiding had gegeven. Teneinde een goed zicht te krijgen op de wijze waarop begeleiding en beoordeling van de scripties heeft plaatsgevonden, heeft de commissie bij elk bezoek met een aantal oud-studenten over hun scriptie gesproken. De commissie sprak daarnaast met (een delegatie van) de opleidingscommissie en (een delegatie van) de examencommissie alsmede met docenten, studenten en de studieadviseur, waarbij erop werd toegezien dat zij niet steeds met dezelfde functionarissen van gedachten wisselde. Tijdens het bezoek nam de commissie kennis van tentamenopgaven, evaluatieverslagen, syllabi, handboeken, voorlichtingsmateriaal, ICT-materiaal en dergelijke. Tevens bracht zij een bezoek aan de onderwijsruimten. De studenten met wie de commissie heeft gesproken, zijn voor de helft op verzoek van de commissie door de opleiding, studievereniging en/of student-bestuursleden aangewezen. Voor de andere helft heeft de secretaris een steekproef getrokken. Aangezien er nog geen rendementscijfers van KUO over de opleidingen beschikbaar waren, heeft de commissie de rendementscijfers en de instroomcijfers van de opleidingen gehanteerd. Na afloop van de bezoeken heeft de secretaris per universiteit een conceptrapport opgesteld. Deze rapporten zijn voorgelegd aan de leden van de commissie met het verzoek waar nodig correcties of aanvullingen aan te brengen. Het aldus bijgewerkte rapport is naar de betrokken faculteit gestuurd met het verzoek feitelijke onjuistheden aan te geven en eventueel nog extra informatie te verstrekken die tot onderbouwing van de gegeven oordelen zou kunnen leiden. De feitelijke onjuistheden zijn vervolgens verbeterd en waar dat in de ogen van de commissie zinvol en passend was is de extra verkregen informatie verwerkt. Het algemeen deel en het herziene opleidingsdeel zijn ook nog aan de betrokken faculteiten gestuurd voor een laatste

QANU / Kunstmatige Intelligentie 11

snelle controle. Ten slotte heeft de gehele commissie zich akkoord verklaard met de eindversie die thans voorligt. Het conceptrapport is op het bureau van QANU ook collegiaal getoetst en het bestuur van QANU heeft het concept tegen het licht gehouden teneinde te bezien of het ook de bestuurlijke toets der kritiek kon doorstaan. Het rapport heeft de bestuurlijke toets doorstaan.

Rapport over de opleidingen In de onder elk facet opgenomen paragraaf Beschrijving overgenomen uit de zelfstudie staat de informatie uit de zelfstudie, zij het niet steeds integraal. Zo zijn minder ter zake doende uitspraken achterwege gelaten evenals uitspraken over de eigen kwaliteit; ook is de naam van de opleiding niet steeds herhaald. Verwijzingen naar bijlagen en dergelijke zijn eveneens vaak weggelaten. De overgenomen teksten zijn grafisch (door het gebruik van een ander lettertype) herkenbaar. Ook de nagekomen gegevens worden letterlijk weergegeven, tenzij anders vermeld. Beslisregels In het accreditatiestelsel is voor de beoordeling op facetniveau een vierpuntsschaal voorgeschreven: onvoldoende , voldoende , goed en excellent ; op onderwerpniveau een tweepuntsschaal: voldoende of onvoldoende . De commissie heeft de standaard QANUbeslisregels gevolgd. Deze zijn: De beoordeling onvoldoende wijst erop dat het facet beneden de gestelde verwachting ligt en dat beleidsaandacht op dit punt nodig is. De beoordeling voldoende houdt in dat het facet beantwoordt aan de basisstandaard of basisnorm. De beoordeling goed houdt in dat het niveau van het facet uitstijgt boven de basiskwaliteit. De beoordeling excellent houdt in dat voor het facet een niveau wordt gerealiseerd waardoor de beoordeelde opleiding zowel nationaal als internationaal als een voorbeeld van goede praktijk kan functioneren. Tot besluit De commissie heeft de bezoeken aan de faculteiten als zeer plezierig ervaren en zij denkt met genoegen terug aan de gevoerde gesprekken en aan de haar geboden gastvrijheid. Het bezoek had voor haar een duidelijke meerwaarde; zij kon een beter beeld van het geheel en ook vaak van details krijgen door op locatie te kijken en vragen te stellen.


12

2. Algemene bevindingen In dit hoofdstuk heeft de commissie een aantal waarnemingen, conclusies en suggesties van meer algemene aard genoteerd. Ze hecht eraan te benadrukken dat deze op geen enkele wijze in de plaats kunnen treden van de conclusies en beschrijvingen van de afzonderlijke opleidingen. Onderwijs en organisatie De commissie heeft geconstateerd dat alle opleidingen van behoorlijke kwaliteit zijn, ongeacht de organisatorische omgeving. Die omgeving loopt uiteen van een Faculteit der Geesteswetenschappen, een Faculteit der Exacte Wetenschappen, een Faculteit der Sociale Wetenschappen, een Faculteit der Gedrags- en Maatschappijwetenschappen en een Faculty of Humanities and Sciences. De inbedding lijkt nauwelijks van invloed te zijn op de kwaliteit van de opleidingen. De opleidingen verschillen wel inhoudelijk van elkaar, meer dan men op grond van het Frame of Reference zou verwachten (zie ook de paragraaf De onderlinge aansluiting van de opleidingsprogramma s). Aan de UU wordt de bacheloropleiding gegeven door de Faculteit Geesteswetenschappen en de masteropleiding aangeboden door de Faculteit Bètawetenschappen. Hoewel de commissie dit in beginsel geen ideale situatie vindt worden beide opleidingen aangestuurd door één en hetzelfde managementteam, waardoor het risico van onder andere competentiestrijd wordt geminimaliseerd. In Maastricht wordt de bacheloropleiding aangeboden door de Faculty of Humanities and Sciences van de Universiteit Maastricht en de masteropleiding door de transnationale Universiteit Limburg. Maar in de praktijk maakt dat daar geen verschil, omdat in feite beide opleidingen worden gegeven door het Maastricht ICT Competence Centre MICC. Specialisaties Er worden uiteenlopende specialisaties aangeboden en op een efficiënte manier is er tussen de faculteiten van complementariteit sprake. (Zie ook de volgende paragraaf.) De keuze door de student voor een bepaalde specialisatie in de masteropleiding wordt in feite al gemaakt bij de keuze voor de bacheloropleiding. De onderlinge aansluiting van de opleidingsprogramma s Een van de eerste taken die het KION (de verzamelde Kunstmatige Intelligentie Opleidingen in N ederland) zich gesteld heeft, was het opstellen van een kernprogramma dat de basis kan vormen van elk bachelorprogramma Kunstmatige Intelligentie in Nederland. Het doel hiervan was tweeledig: dit kernprogramma zou niet alleen de identiteit van het nog jonge vakgebied nader helpen bepalen, maar ook de overstap van afgestudeerde bachelors naar een masterprogramma elders kunnen vergemakkelijken. Bijkomende gedachte daarbij was dat er op deze manier landelijk een gedifferentieerd masterprogramma kan worden aangeboden waarbij elke universiteit ook bachelors uit andere steden kan aantrekken.


De commissie heeft onderzocht in hoeverre het KION erin geslaagd is deze doelstelling te verwezenlijken. Daarbij heeft de commissie vastgesteld dat er nog aanzienlijke verschillen tussen de bachelorprogramma s zijn, dat de bachelorprogramma s erg gericht zijn op de eigen vervolgmasters en dat daarom de overstap van een bacheloropleiding in de ene stad naar een masteropleiding in de andere niet altijd probleemloos zal kunnen verlopen. Het lijkt raadzaam om in voorkomende gevallen per individueel geval te beslissen óf en hóe aansluiting mogelijk is. In de meeste gevallen zal met een beperkt brugprogramma (hoogstens 18 EC) volstaan kunnen worden, maar er zijn ook gevallen denkbaar waar de kloof te groot is. Hieronder volgen enkele voorbeelden. De tabel geeft weer hoeveel tijd (uitgedrukt in EC) in de verschillende plaatsen aan bepaalde clusters van vakken wordt besteed. Ook wordt een toelichting bij de inhoud van de clusters gegeven. Tabel 1: aantal EC besteed aan clusters van vakken, per plaats

Informatica Logica Wiskunde Cognitie (Comp) Taalkunde AI strikt Overig Totaal

Groningen 25 10 20 10 15 85 15 180

Maastricht 36 12 48 4 64 16 180

Nijmegen 30 12 24 31 12 61 10 180

Utrecht 30 15 7,5 15 22,5 37,5 7,5 135

VU 42 10 10 19 10 79 10 180

Voorbeelden van beperkte overstapmogelijkheden De tabel laat zien dat de bacheloropleiding Knowledge Engineering uit Maastricht zich het meest van de andere onderscheidt. Deze opleiding, die terecht een andere naam draagt dan de bachelors in de andere steden, heeft een in verhouding zeer zware wiskundcomponent, terwijl de (computationele) taalkunde geheel ontbreekt, en er nauwelijks ruimte is ingebouwd voor cognitiewetenschap. Overstap van deze bacheloropleiding naar een taalkundig of cognitief georiënteerde masteropleiding elders is uitgesloten, terwijl omgekeerd geen van de bachelorprogramma s uit de andere steden aansluiting geeft op de Maastrichtse masteropleiding Operational Research die voortbouwt op deze bacheloropleiding. (Voor de tweede Maastrichtse masteropleiding, de MSc Artificial Intelligence, ligt dat anders). Een tweede voorbeeld van beperkte overstap tussen sommige masterspecialisaties is de zeer beperkte wiskundecomponent in Utrecht en aan de VU. Deze is te beperkt voor een overstap naar sommige masterspecialisaties elders. Zo zal men met een bachelordiploma van een van deze universiteiten moeilijk terechtkunnen bij de specialisatie aangeboden door de onderzoeksgroep Autonomous Perceptive Systems in Groningen, temeer daar zowel in het programma van de VU als in Utrecht maar weinig tijd is ingeruimd voor subsymbolische technieken. Andere voorbeelden van overstapbeperkingen betreffen de variaties in hoeveelheid informatica (in Groningen de helft van de VU) en de hoeveelheid kern AI (in Utrecht de helft van Groningen en de VU).


14

Opmerkingen: Onder het hoofd Informatica zijn in voorkomende gevallen ook meer informatiekundige vakken als informatiesystemen en mens-machine interactie opgenomen. Onder Logica vallen ook vakken als automatentheorie en complexiteitstheorie, die anderen wellicht bij (theoretische) informatica zouden indelen. Bij alle opleidingen behalve Maastricht bestaat de Wiskundecomponent uit basisvakken als lineaire algebra en statistiek . Alleen bij Maastricht komen daar ook verdergaande vakken bij, die de identiteit van de opleiding mede bepalen. (Het gaat hier om vakken als: Mathematical Modelling, Linear Programming, Operation Research). Onder het hoofdje Cognitie valt zowel de neurowetenschappelijke als psychologische benadering van dit fenomeen. Merk op dat niet de opleiding Cognitieve Kunstmatige Intelligentie in Utrecht maar de opleiding Kunstmatige Intelligentie in Nijmegen de grootste cognitiewetenschappelijke component heeft. Utrecht heeft de grootste (computationeel) taalkundige component. Het kopje AI-strikt staat voor alle vakken waarin de computationele modellering van intelligente vaardigheden centraal staat (taalkundige vaardigheden uitgezonderd). Daarbij zijn zowel zeer theoretische vakken als Filosofie van de AI, als zeer toegepaste vakken als Zoektechnieken meegeteld, en zowel vakken met een symbolische (Kennissystemen, Multiagent systemen) als met een subsymbolische invalshoek (Neurale netwerken). Ook integrerende projecten en afsluitende scripties zijn hier meegeteld. De inhoud van AI-strikt varieert. In sommige programma s (Nijmegen, Groningen, Utrecht) is een substantieel deel van het programma gericht op het modelleren van (natuurlijke) cognitie, in andere ligt het accent (VU, Maastricht) meer op het ontwerpen van bruikbare intelligente kennisverwerkende systemen. Het kopje Overig staat onder meer voor vakken als Academische vaardigheden, en Oriëntatie op de arbeidsmarkt. In Utrecht telt het verplichte KI-stuk van de opleiding niet op tot 180 EC. De student dient 45 EC te besteden aan een minor die op het terrein van de KI mag liggen, maar ook anders kan worden ingevuld. Studentenmobiliteit De commissie heeft tot haar teleurstelling vast moeten stellen dat de aangeboden specialisaties voor de studenten in feite nauwelijks een rol spelen bij hun keuze. Die is bijna altijd geografisch bepaald. De mobiliteit onder studenten is heel gering, ook na de bachelorfase. De commissie heeft ook geconstateerd dat masteropleidingen nauwelijks erop uit zijn om zich aantrekkelijk op te stellen voor bachelorstudenten van zusterfaculteiten. Sterker nog, de commissie heeft gezien dat veel opleidingen hun bachelorstudenten vooral voorbereiden op de masteropleiding in eigen huis. Een student dient bij het kiezen van keuzevakken, al of niet in een zogenaamde minor, hiermee al rekening te houden als hij/zij naar een masteropleiding aan een andere faculteit zou wensen te gaan. Ook de gemaakte afspraken in KION-verband (een bachelorstudent kan minstens naar één masteropleiding van een zusterfaculteit, zonder dat er aanvullende eisen worden gesteld) hebben aan dit gebrek aan mobiliteit geen einde kunnen maken.


De behoefte om bij een zusteropleiding hun studie voort te zetten is bij de bachelorstudenten dan ook zeer gering. Zachte knip bachelor-master Als het mogelijk is om met de masteropleiding te beginnen zonder dat de bachelorfase is afgerond, dan spreekt men wel van een zachte knip tussen bachelor- en masteropleiding. De commissie heeft geconstateerd dat bij de meeste bacheloropleidingen hier sprake van is. Wel stellen opleidingen vaak de eis dat een bepaald minimum aantal studiepunten (EC) in de bachelorfase behaald moet zijn. In de praktijk komt het erop neer dat veel studenten een aanvang maken met de masteropleiding, terwijl ze nog geen bachelordiploma behaald hebben. De commissie betreurt deze mogelijkheid omdat deze overigens op het eerste gezicht studentvriendelijke toegevendheid in feite leidt tot gedwongen winkelnering. Studenten kunnen immers niet aan een andere faculteit met de masterfase beginnen als ze geen bachelordiploma hebben. De regeling leidt dus ook niet tot mobiliteit. Het komt dan ook nauwelijks voor dat een student de masteropleiding aan een andere faculteit gaat volgen. Daarnaast is de commissie van oordeel dat deze souplesse ook niet aanzet tot een voortvarende afronding van de bacheloropleiding. De noodzaak daarvan wordt ondergraven door de zachte knip. Scripties De opleiding heeft totaal ongeveer honderd bachelor- en masterscripties (soms doctoraalscripties) bestudeerd en beoordeeld aan de hand van een beoordelingsformulier. De commissie hecht grote waarde aan de bachelorscriptie. Niet alleen omdat de student er erg veel van kan leren, maar ook omdat hij daarmee een kroon op de bacheloropleiding kan zetten (en ook de opleiding daarmee kan bewijzen dat de student de eindtermen van de opleiding heeft bereikt). Een belangrijk bijkomend voordeel is dat de student een werkstuk kan laten zien waarmee hij eventueel de arbeidsmarkt op kan gaan. De commissie is wel van oordeel dat hiervoor voldoende EC moet worden toegekend. 10 EC lijkt haar een minimum. De commissie adviseert dat de enkele opleiding die nog geen volwaardige bachelorscriptie als eis stelt, dit wel zou moeten doen. De commissie heeft, teneinde ook een beeld te krijgen van de manier waarop begeleiding en beoordeling hadden plaatsgevonden, ook met afgestudeerden een gesprek gevoerd. Daarbij zijn geen problemen naar voren gekomen als te weinig docenten om een scriptie te begeleiden of wachtlijsten. Bij vrijwel alle opleidingen zijn beoordelingsformulieren in gebruik waarmee ook een visitatiecommissie inzicht kan krijgen in de gehanteerde maatstaven en in de wijze waarom die zijn aangelegd. Waar dit nog niet het geval was is men er druk mee doende. Waarin de opleidingen nog wel eens tekort schoten was een brede vergelijking van de scripties binnen dezelfde opleiding teneinde de kwaliteit in den brede te kunnen waarborgen. De commissie hecht hier veel waarde aan, ook omdat zij de scriptie ziet als het sluitstuk van een opleiding en als een instrument waarmee zowel de student als de opleiding kunnen aantonen dat er kwaliteit geleverd is.


16

De commissie heeft met genoegen kennisgenomen van het hoge niveau dat sommige studenten hebben bereikt. Sommige van de masterwerkstukken worden dan ook als artikel gepubliceerd. Wel heeft de commissie een aantal masterscripties bestudeerd die in haar ogen nauwelijks in het domein der kunstmatige intelligentie onder te brengen zijn. Het betrof bijvoorbeeld scripties die eerder onder (cognitieve) psychologie of een ander meer monodisciplinair gericht domein vallen. De commissie beveelt het KION aan hierover nog eens van gedachten te wisselen en te komen tot het opstellen van een aantal minimumeisen, in dit kader te stellen aan een (master-) scriptie Kunstmatige Intelligentie. Interdisciplinair vakgebied Kunstmatige Intelligentie is een breed, interdisciplinair vakgebied. Dit blijkt mede uit de grote diversiteit van de onderwerpen die in de opleidingen worden aangeboden. Ook de studenten zijn zeer breed georiënteerd en geïnteresseerd. Aangezien docenten hun wortels meer in monodisciplines hebben liggen, is het een uitdaging voor de opleidingen om een eigen samenhangende identiteit te ontwikkelen. Door zich te verenigen in het KION, hebben de opleidingen een geschikt kader geschapen om deze problematiek het hoofd te bieden. De gezamenlijke universiteiten bieden een boeiende en degelijke opleiding Kunstmatige Intelligentie, met een uniek bachelorprogramma, ook mondiaal gezien.



18

D EEL II: OPLEID IN GSD EEL



20

BIJLAGEN



22

Bijlage A: Curricula vitae van de leden van de visitatiecommissie Kunstmatige Intelligentie 2007 Prof. dr. W.A. (Willem Albert) Wagenaar (1941) voorzitter, studeerde, na het behalen van het diploma gymnasium bèta, Psychologie aan de Universiteit van Utrecht en behaalde het doctoraalexamen in 1965. Hij promoveerde in 1972 in Leiden. Werkte van 1965 tot 1973 als onderzoeker bij het Instituut voor perceptieonderzoek van TNO, en was hoofd van de afdeling Psychologie aldaar van 1974 tot 1985. In 1973-1974 was hij visiting professor aan de Pennsylvania State University, State College, Pennsylvania, USA, op basis van een Fulbright Scholarship. Sinds 1985 tot op heden is hij gewoon hoogleraar Experimentele Psychologie aan de Universiteit Leiden. Van 1997 tot 2001 was hij rector magnificus van de Universiteit Leiden. Sinds 1991 is hij lid van de KNAW. In 1991-1992 was hij Overseas Fellow aan het Churchill College te Cambridge. In het jaar 2003-2004 was hij dean van het University College van de Universiteit Utrecht. Sedert 2004 is hij als universiteitshoogleraar verbonden aan de Universiteit Utrecht en als hoogleraar Recht en Psychologie aan de Universiteit Leiden. Professor Wagenaar is (mede)auteur van meer dan tien wetenschappelijke boeken en meer dan 150 wetenschappelijke artikelen. Hij is opgetreden als getuige-deskundige in meer dan duizend juridische zaken, zowel civiel als strafrechtelijk. Het ging om problemen rond perceptie, geheugen, veiligheid in de industrie, illegaal gokken en processen over handelsmerken. Hij trad op als getuige in Nederland en in het buitenland, onder andere in het proces tegen John Demjanjuk in Israël en het Tribunaal van de Verenigde Naties betreffende oorlogsmisdaden in de voormalige republiek Joegoslavië, in Den Haag. Mevrouw F. (Fieke) Boschman (1985), student Kunstmatige Intelligentie aan de UU, student-lid bij het bezoek aan de Rijksuniversiteit Groningen, behaalde in 2003 het vwodiploma met het profiel Natuur & Techniek aan het College Hageveld te Heemstede. In datzelfde jaar begon zij aan de bacheloropleiding Cognitieve Kunstmatige Intelligentie aan de Universiteit Utrecht, die zij in 2007 afrondde. Sindsdien studeert zij in de masteropleiding Cognitieve Kunstmatige Intelligentie met als specialisatie AI and its Foundations. Zij was lid van het bestuur van de studievereniging Incognito en hoofdredacteur van het ledenblad. Zij is lid en voorzitter geweest van verschillende onder Incognito ressorterende commissies. Ze is student-lid geweest van het opleidingsbestuur en het dagelijks bestuur van de opleiding CKI van de Universiteit Utrecht. Zij was van september 2005 tot juni 2006 student-lid van de Faculteitsraad Geesteswetenschappen en subfaculteitsraad Wijsbegeerte van de Universiteit Utrecht. Prof. dr. W. (Walter) Daelemans (1960) is gewoon hoogleraar aan de Universiteit Antwerpen (Departement Taalkunde) en directeur van het CNTS (Centrum voor Nederlandse Taal en Spraak), een onderzoekscentrum van dit departement. Hij promoveerde in 1987 aan de K.U.Leuven op een proefschrift over taaltechnologie. Hij doceert Artificiële Intelligentie en Computerlinguïstiek en doet onderzoek naar cognitieve, theoretische en technologische aspecten van de toepassing van automatische leertechnieken op de verwerving en verwerking van natuurlijke taal. Hij is auteur of medeauteur van meer dan tweehonderd publicaties op dit gebied. Hij was eerder docent en hoogleraar Machine Learning and Language Technology aan de Universiteit van Tilburg, waar hij de ILK-onderzoeksgroep oprichtte. Hij startte zijn wetenschappelijke loopbaan eind jaren tachtig als wetenschappelijk medewerker aan de Radboud Universiteit Nijmegen en het AI-LAB van de Vrije Universiteit Brussel. Hij was principal investigator van verschillende Europese, transnationale en nationale projecten over


computertaalkunde en was bestuurslid van onder meer de Association for Computational Linguistics (ACL), European Coordinating Committee for Artificial Intelligence (ECCAI), BNVKI, CLIF en de Europese afdeling van ACL. Hij was verkozen voorzitter van de Special Interest Group on Natural Language Learning (SIGNLL) van de ACL en mede-initiator en meervoudig programmavoorzitter van de Conference on Computational Natural Language Learning (CoNLL)-reeks. Sinds 2003 is hij verkozen Fellow van ECCAI. Hij is promotor van tien proefschriften en is redacteur of redactielid (geweest) van onder meer JMLR, JAIR, Computational Linguistics Journal, ROLC, Machine Learning en IEEE Transactions on Speech & A udio Processing. In 1995 was hij lid van de curriculumevaluatiecommissie Computational Linguistics van de Universiteit van Göteborg, Zweden. Prof. dr. A. (Ann) Nowé (1965) is hoofddocent Computer Science aan de Vrije Universiteit Brussel. Samen met haar collega Bernard Manderick staat zij aan het hoofd van het Computational Modeling Lab (COMO). Zij studeerde in 1987 af als Licentiate in de Wiskunde (minor Informatica) aan de Universiteit Gent. In 1994 promoveerde zij aan de Vrije Universiteit Brussel met een proefschrift dat zich situeert in de doorsnede van de Artificiële Intelligentie, Wiskunde en Regeltechniek. Zij doceert Formele Talen Theorie en Berekenbaarheid, Machine Learning en Multi-agent Systemen. Zij is (mede)auteur van meer dan honderd wetenschappelijke publicaties, voornamelijk op het vlak van reinforcement learning en leren in multi-agent-systemen, en is promotor van zeven afgewerkte doctoraten in dit gebied. Zij is voorzitter van examencommissie Computer Wetenschappen aan de VUB, lid van de Facultaire Onderwijscommissie en bestuurslid van het BNVKI. Zij zetelde meermaals in een expertencollege van het IWT-Vlaanderen, het Instituut voor de aanmoediging van Innovatie door wetenschap en technologie in Vlaanderen. Zij is regelmatig reviewer voor internationale conferenties en tijdschriften als ook projecten. Mevrouw E. (Elske) van der Vaart (1984), student Kunstmatige Intelligentie aan de Rijksuniversiteit Groningen, student-lid, behaalde in 2002 haar vwo-diploma met het profiel Natuur & Techniek aan de openbare scholengemeenschap Wolfert van Borsselen in Rotterdam. In datzelfde jaar begon zij aan de bacheloropleiding Kunstmatige Intelligentie aan de Rijksuniversiteit Groningen, die zij in 2005 afrondde. Sindsdien studeert zij in de masteropleiding Kunstmatige Intelligentie en de researchmasteropleiding Behavioral and Cognitive Neurosciences, beide aan de Rijksuniversiteit Groningen. Zij was twee jaar lid van de opleidingscommissie voor Kunstmatige Intelligentie en een jaar voorzitter van een studentenfractie in de universiteitsraad. Ook was zij anderhalf jaar actief als redacteur van het Groningse KI-blad De BrainStorm. Inmiddels is zij in juli 2007 afgestudeerd op een agentgebaseerd model van de evolutie van theory of mind. Prof. dr. F.J.M.M. (Frank) Veltman (1949) is als hoogleraar Logica & Cognitiewetenschap verbonden aan de afdeling Wijsbegeerte van de Faculteit der Geesteswetenschappen van de Universiteit van Amsterdam. Hij is wetenschappelijk directeur van het Institute for Logic, Language and Computation, een interfacultair onderzoeksinstituut waarin logici, informatici, (computationeel) linguïsten en taalfilosofen samenwerken. Veltman studeerde Wiskunde en Filosofie aan Universiteit van Utrecht en werkte aan de Erasmus Universiteit in Rotterdam voordat hij in 1978 naar de Universiteit van Amsterdam kwam. Hij heeft gastdocentenschappen vervuld in Tübingen, Edinburgh en Stanford. Zijn onderzoek betreft de logische analyse van natuurlijke taal. Hij publiceerde over onderwerpen als conditionele zinnen, vuistregels, epistemische modaliteiten, vaagheid en imperatieven.


24

Begin jaren negentig was hij voorzitter van de oprichtingscommissie Kunstmatige Intelligentie aan de Universiteit van Amsterdam. Hij was opleidingsdirecteur van deze opleiding tot 1997 en opnieuw van 2001 tot 2003. Hij was lid van vele beoordelingscommissies bij NWO, laatstelijk voorzitter van de VIDI-commissie van het gebied Geesteswetenschappen. Ir. E. M. (Evert) van de Vrie (1955), is docent Wiskunde en Kunstmatige Intelligentie aan de Open Universiteit Nederland. Hij studeerde Toegepaste Wiskunde aan de Universiteit Twente. Na enkele jaren gewerkt te hebben als wiskundedocent in Mozambique en als onderzoeker aan het Delta Instituut in Yerseke startte hij in 1986 als docent aan de OU. Van de Vrie ontwikkelde cursussen en was actief als docent/ begeleider op het gebied van wiskunde (discrete wiskunde, calculus, Fourier en Laplace-transformaties) en kunstmatige intelligentie (kennistechnologie en kennismanagement). De laatste twee cursussen waren het resultaat van het project Landelijk Onderwijsweb Kennistechnologie, waarvan hij projectleider was en waarin diverse universiteiten, in het bijzonder de opleidingen Kunstmatige Intelligentie, in Nederland participeerden. Bij het ontwikkelen van onderwijsmateriaal voor de Open Universiteit hield Van de Vrie zich diepgaand bezig met een adequate onderwijskundige opzet. Het onderwijsmodel van de OU is immers afstandsonderwijs met een zwaar beroep op zelfstudie. Binnen een dergelijk model is goed doordacht en uitontwikkeld onderwijsmateriaal een noodzaak. Hij ontwikkelde zowel schriftelijke als interactieve elektronische studiematerialen. Tevens was hij betrokken bij diverse onderwijsvernieuwingsprojecten die door de OU werden uitgevoerd.



26

Bijlage B: Referentiekader (KION )

Frame of reference Bachelor and Master programmes in Artificial Intelligence A Dutch perspective

December 18th, 2006 Status: final

This document is developed by the KION1 task force on Curricula for Artificial Intelligence and is based on: Computing Curricula 2001/ 2005 for Computer Science developed by the Joint Task Force on Computing Curricula IEEE Computer Society Association for Computing Machinery2. The Onderwijs- en Examenregelingen (OER) of the bachelor and master programmes in Artificial Intelligence administered by the Dutch Universities. Tuning Educational Structures in Europe3.

1

Kunstmatige Intelligentie Opleidingen Nederland http://www.acm.org/education/ (last visited on November 8th, 2006) 3 http://www.unideusto.org/tuning/ (last visited on November 8th, 2006) 2


Contents 1 2

3

4

5

6

Introduction 1.1 KION: Artificial Intelligence in the Netherlands 1.2 Aim of this document Programme characteristics 2.1 Areas, courses, and topics 2.2 Core and elective courses 2.3 Assessing the time required to cover a course 2.4 Coping with change Shared identity 3.1 Common role 3.2 Common requirements 3.3 Shared background for bachelor programmes 3.3.1 Support courses 3.3.2 Artificial Intelligence courses 3.3.3 Skills 3.3.4 Artificial Intelligence elective courses Bachelor programme Artificial Intelligence 4.1 Objectives 4.1.1 Access to master programmes 4.1.2 Professional career 4.1.3 Academic skills 4.1.4 Place in society 4.2 Final qualifications 4.2.1 Knowledge and understanding 4.2.2 Applying knowledge and understanding 4.2.3 Making judgements 4.2.4 Communication 4.2.5 Learning skills Master programme Artificial Intelligence 5.1 Objectives 5.1.1 Access to PhD programmes 5.1.2 Professional career 5.1.3 Academic skills 5.1.4 Place in society 5.2 Final qualifications 5.2.1 Knowledge and understanding 5.2.2 Applying knowledge and understanding 5.2.3 Making judgements 5.2.4 Communication 5.2.5 Learning skills International perspective 6.1 Comparison of bachelor programmes 6.1.1 The Artificial Intelligence bachelors in Edinburgh 6.1.2 Comparison with the Dutch frame of reference 6.1.3 The Cognitive Science bachelors in Osnabrück and Linköping 6.1.4 Comparison with the Dutch frame of reference 6.2 Comparison of master programmes 6.2.1 Edinburgh 6.2.2 Comparison with the Dutch frame of reference 6.2.3 Stanford


28

7

6.2.4 Comparison with the Dutch frame of reference Concluding remarks


1.

Introduction

This document is intended as a frame of reference for all Dutch University programmes that are included in the category Artificial Intelligence of the Dutch register of higher education programmes (CROHO)4. This frame of reference defines the fields covered by the term Artificial Intelligence as well as the common goals and final qualifications of these programmes. Artificial Intelligence is a relatively young field. The birth of Artificial Intelligence research is often dated in 1959. The history of teaching Artificial Intelligence as a separate discipline is much shorter still, starting in the Netherlands in the early 90 s. Consequently, a frame of reference for Artificial Intelligence is still actively developing both in the national and the international context. This document formulates the current Dutch consensus on a national frame of reference for Artificial Intelligence in the Netherlands. Intelligence is often defined as the ability to reason with knowledge, to plan and to coordinate, to solve problems, to perceive, to learn and to understand language and ideas. Originally these are typical properties and phenomena associated with the human brain, but they can also be investigated without direct reference to the natural system. Both ways of studying intelligence either can or must use computational modelling. The term Artificial Intelligence as used in this document refers to the study of intelligence, whether artificial or natural, by computational means.

1.1. KION: Artificial Intelligence in the Netherlands The current Dutch Artificial Intelligence programmes were mostly started in the nineties in an interdisciplinary context. Originally they were known under a variety of names such as Cognitive Science (Cognitiewetenschap), Applied Cognitive Science (Technische Cognitiewetenschap), Knowledge Technology (Kennistechnologie), Cognitive Artificial Intelligence (Cognitieve Kunstmatige Intelligentie) as well as Artificial Intelligence (Kunstmatige Intelligentie). In 1999, the number of recognized labels in the CROHO was reduced, and the aforementioned study programmes were united under the name Artificial Intelligence5. Initially, this was an administrative matter that did not influence the content of the curricula. It did mean, however, that from then on cognitive science (as the study of natural intelligence) and artificial intelligence (as a formal approach to intelligence) were shared under the heading of Artificial Intelligence. The above-mentioned definition of Artificial Intelligence as the study of natural and/or artificial intelligence by computational means was then agreed upon. The KION (Kunstmatige Intelligentie Opleidingen in Nederland) was formed as a discussion and cooperation platform for the united programmes. Starting in 2002, all university-level study programmes in the Netherlands were divided into a bachelor and a master phase. KION took this as an opportunity to agree upon a common kernel of subjects that would be constituent of every Dutch Artificial Intelligence bachelor programme, with the aim of advancing an adequate fit of all Dutch bachelor programmes to all Dutch master requirements.

4 5

Centraal Register Opleidingen Hoger Onderwijs In Dutch: Kunstmatige Intelligentie


30

1.2. Aim of this document Now that the Dutch Artificial Intelligence programmes are coming up for accreditation in 2006, KION feels it is time to take the specification of the commonality among these programmes a step further. However, this document is not intended purely as a description of the current status quo. Rather, it aims to provide an account of what an Artificial Intelligence programme should provide as a minimum (the communal requirements for every study programme called Artificial Intelligence), and how it can extend this basis to distinguish itself from other Artificial Intelligence programmes. Agreement among the Dutch Artificial Intelligence programmes upon the contents of this document will advance both the equivalence of these programmes, and the understanding on existing and possible profiles within Artificial Intelligence programmes. Moreover, it is hoped that this document will also be a starting point for setting international standards for Artificial Intelligence programmes, which do as yet not exist.


2. Programme characteristics This section describes some of the definitions regarding the build-up of bachelor and master programs.

2.1. Areas, courses, and topics A bachelor programme in Artificial intelligence is organized hierarchically into three levels. The highest level of the hierarchy is the area, which represents a particular disciplinary subfield. Each area is identified by a two-letter abbreviation, such as KT for Knowledge Technology. The areas are broken down into smaller divisions called courses (or units6), which represent individual thematic modules within an area. Each course is further subdivided into a set of topics, which are the lowest level of the hierarchy. The courses that implement the particular programme (or curriculum) are together referred as the body of knowledge .

2.2. Core and elective courses By insisting on a broad consensus in the definition of the core, we hope to keep the core as small as possible, giving institutions the freedom to tailor the elective components of the curriculum in ways that meet their individual needs. The core is thus not a complete programme. Because the core is defined as minimal, it does not, by itself, constitute a complete undergraduate curriculum. Every undergraduate programme must include additional elective courses from the body of knowledge. This report does not define what those courses should be, but does enumerate some options.

2.3. Assessing the time required to cover a course To give readers a sense of the time required to cover a particular course, a metric must be defined that establishes a standard of measurement. No standard measure is recognized throughout the world, but within the European Community agreement has been reached upon a uniform European Credit Transfer System7 (ECTS) in which study load is measured in European Credits (ECs). One EC stands for 28 hours of study time and a full year of study is standardized at 60 EC. In this document, we shall use the EC metric as the standard of measurement for study load.

2.4. Coping with change An essential requirement of any Artificial Intelligence degree is that it should enable graduates to cope with and even benefit from the rapid change that is a continuing feature of the field. But how does one achieve this goal in practice? At one level, the pace of change represents a challenge to academic staff who must continually update courses and equipment. At another level, however, it suggests a shift in pedagogy away from the transmission of specific material, which will quickly become dated, toward modes of instruction that encourage students to acquire knowledge and skills on their own. Fundamentally, teaching students to cope with change requires instilling in those students an attitude that promotes continued study throughout a career. To this end, an Artificial Intelligence curriculum must strive to meet the following challenges: Adopt a teaching methodology that emphasizes learning as opposed to teaching, with students continually being challenged to think independently. 6

CC2001 uses unit . However, course seems more appropriate for the Dutch system. http://europa.eu.int/comm/education/programmes/socrates/ects/index_en.html (last visited on November 8th, 2006) 7


32

Assign challenging and imaginative exercises that encourage student initiative. Present a sound framework with appropriate theory that ensures that the education is sustainable. Ensure that equipment and teaching materials remain up to date. Make students aware of information resources and appropriate strategies for staying current in the field. Encourage cooperative learning and the use of communication technologies to promote group interaction. Convince students of the need for continuing professional development to promote lifelong learning.


3. Shared identity 3.1. Common role Apart from the roles academics usually perform in society students of Artificial Intelligence are educated to enrich society with the benefits a formalization of intelligence and intelligent phenomena can provide. In particular this entails that an alumnus of Artificial Intelligence can contribute to the understanding and exploitation of natural and artificial intelligence. This may lead to new technologies but it may also enrich designs, products, and services with intelligence so that they are more effective, more reliable, more efficient, safer, and often require less natural resources. This role, in combination with the interdisciplinary nature of the field, requires the Artificial Intelligence alumnus to be able to contribute to interdisciplinary teams and, in many cases function as an intermediate who facilitates the interaction of (other) domain specialists.

3.2. Common requirements Artificial Intelligence is a broad discipline and many approaches to the study of intelligent phenomena are justified and fruitful. Curricula are therefore often different from their siblings in emphasis, goals, and capabilities of their graduates. Yet they have much in common. Any reputable Artificial Intelligence program should include each of the following aspects. 1. Essential and foundational underpinnings of the core aspects of intelligence. These must be founded on empirical efforts and based on a formal theory, and they may address professional values and principles. Regardless of their form or focus, the underpinnings must highlight those essential aspects of the discipline that remain unaltered in the face of technological change. The discipline s foundation provides a touchstone that transcends time and circumstances, giving a sense of permanence and stability to its educational mission. Students must have a thorough grounding in that foundation. 2. A foundation in the core concepts of modelling and algorithms for implementing intelligence. The construction and use of models (simplified, abstracted and dynamic representations of some phenomenon in reality) is common to many sciences. In Artificial Intelligence, however, model building is central: the field of Artificial Intelligence may actually be defined as trying to model aspects of (formal or natural) intelligence and knowledge. Moreover, models within Artificial Intelligence have specific characteristic: they are computational and therefore necessarily formal, and they are meta-models in the sense that they model intelligent processes that in their turn use models of reality. Artificial Intelligence-graduates must therefore be able to work with (computational) models at different levels of abstraction and understand the recursive nature of models in Artificial Intelligence. This foundation has a number of layers: a. An understanding of, and appreciation for, many of the diverse aspects of intelligence, models of intelligent phenomena, and of algorithms that describe intelligent processes. b. Skills to model intelligent phenomena and appreciate the abilities and limitation of these models, if appropriate in comparison with a natural example. c. Skills to model and implement intelligent phenomena on a computer, in particular skills to work with algorithms and data-structures in software. d. Skills to design and build systems that are robust, reliable, and appropriate for their intended audience.


34

3. An understanding of the possibilities and limitations of what intelligent systems can and cannot do. This foundation has a number of levels: a. An understanding of what current state-of-the-art can and cannot accomplish, if appropriate in combination with the accomplishment of the natural system that inspired it; b. An understanding of the limitations of intelligent systems, including the difference between what they are inherently incapable of doing versus what may be accomplished via future science and technology; c. The impact of deploying technological solutions and interventions on individuals, organizations, and society. 4. The identification and acquisition of non-technical skills, including interpersonal communication skills, team skills, and management skills as appropriate to the discipline. To have value, learning experiences must build such skills (not just convey that they are important) and teach skills that are transferable to new situations. 5. Exposure to an appropriate range of applications and case studies that connect theory and skills learned in academia to real-world occurrences to explicate their relevance and utility. 6. Attention to professional, legal and ethical issues such that students acquire, develop and demonstrate attitudes and priorities that honour, protect, and enhance the profession s ethical stature and standing. 7. Demonstration that each student has integrated the various elements of the undergraduate experience by undertaking, completing, and presenting a capstone project.

3.3. Shared background for bachelor programmes Similar to alumni of programmes such as Physics, Computer Science, and Psychology, all Artificial Intelligence bachelors are expected to share a certain amount of support knowledge, domain specific knowledge, specialized domain knowledge, and a set of skills. The content mentioned below ensures both a firm common basis as well as a wide range of individual and/or institute specific specialisation. The list is an update (extension) of the shared programme agreed upon by the KION platform in 2000.

3.3.1. Support courses Computer science o Programming (logic, imperative, and object-oriented) o Data structures and knowledge representation o Algorithms and search Logic o Set theory o Predicate logic o Modal logic Mathematics o Calculus o Discrete mathematics o Linear algebra o Statistics


3.3.2. Artificial Intelligence courses Autonomous systems Cognitive psychology Computational linguistics History of Artificial Intelligence Human-computer interaction Knowledge systems Machine learning, Neural nets and Genetic algorithms Multi-agent systems Philosophy for Artificial Intelligence Reasoning (Diagnosis, Planning)

3.3.3. Skills Analytic skills Empirical methods Modelling Teamwork Working in Project Write, Report, and Communication

3.3.4. Artificial Intelligence elective courses Cognitive modelling and Architectures of cognition Data mining and Information retrieval Language and speech technology Neuro-psychology Perception (Computational and Natural) Robotics Uncertainty management Virtual reality and Gaming Web Intelligence


36

4. Bachelor programme Artificial Intelligence This section is divided into two parts. Section 4.1 describes the roles that a bachelor ought to be able to perform in society. Section 4.2 describes the final qualifications that bachelors in Artificial Intelligence possess in order to fulfil these roles.

4.1. Objectives The objective of the bachelor programme is to provide students with a suitable basis for a further career, both in education as well as in employment. The bachelor must be prepared for a number of different roles and opportunities.

4.1.1. Access to master programmes The bachelor provides the student with the specific knowledge and abilities, exemplified in the form of a bachelor diploma that allows the bachelor access to a master programme in Artificial Intelligence or other national or international masters, particularly in related disciplines.

4.1.2. Professional career The bachelor prepares for a position in which the student can earn his or her own subsistence. In particular it prepares for: Supervised work on an academic level Positions in the modern high-tech society, such as functions in knowledge-intensive companies and knowledge intensive parts of the non-profit sector

4.1.3. Academic skills The bachelor provides sufficient training in (scientific) reasoning, conduct, and communication to reach internationally accepted standards of academic skills at that level.

4.1.4. Place in society The bachelor programme provides the bachelor with the knowledge and tools needed to form an informed opinion of the meaning and impact of Artificial Intelligence, and an informed notion of the responsibilities of a specialist in this area.

4.2. Final qualifications The objectives of the bachelor can be specified into final qualifications. To comply with international standards these qualifications are presented below in terms of the Dublin descriptors for the bachelor s profile8. Together these final qualifications must lead to alumni that exemplify the shared identity defined in section 3.

4.2.1. Knowledge and understanding The bachelor demonstrates knowledge and understanding in a field of study that builds upon and supersedes their general secondary education. Knowledge and understanding is typically at a level at which the bachelor, whilst supported by advanced textbooks, is able to include some aspects at the forefront of their field of study. Qualifications:

8

http://www.jointquality.org/ (last visited on November 8th, 2006)


1. Basic understanding of key areas in Artificial Intelligence in accordance with the shared identity. 2. Advanced knowledge of at least one of the key areas in Artificial Intelligence, up to a level that without further requirements grants access to a master programme in this area. 3. Knowledge of the symbolic approach to Artificial Intelligence. 4. Knowledge of the numerical, non-symbolic, approach to Artificial Intelligence. 5. Knowledge of the most important philosophical theories in the area of knowledge and cognition. 6. Knowledge of the most important theories developed in the area of empirical sciences, particularly psychology. 7. Expertise in constructing and evaluating computational models of cognitive processes.

4.2.2. Applying knowledge and understanding Bachelors can apply their knowledge and understanding in a manner that indicates a professional approach to their work or vocation, and have competences typically demonstrated through devising and sustaining arguments and solving problems and/or designing systems within their field of study. They are able to analyze and model prototypical Artificial Intelligence problems by using known Artificial Intelligence methods and techniques. Qualifications: 1. The ability to understand, apply, formulate, and validate models from the domains of Artificial Intelligence. 2. The ability to apply the symbolic approach to Artificial Intelligence. 3. The ability to apply non-symbolic approaches to Artificial Intelligence. 4. The ability to design, implement, and evaluate knowledge systems. 5. The ability to apply tools from mathematics and logic. 6. The ability to apply important programming languages used in Artificial Intelligence. 7. Analytical approach to problem solving and design: o Ability to comprehend (design) problems and abstract their essentials. o Ability to construct and develop logical arguments with clear identification of assumptions and conclusions. 8. The ability to submit an argument in the exact sciences (or humanities) to critical appraisal. 9. Analytical and critical way of thought and ability to apply logical reasoning.


38

10. Openness to interdisciplinary cooperation and ability to effectively participate therein as an academic professional. 11. The ability to create an effective project plan for solving a prototypical Artificial Intelligent problem in a supervised context. 12. Manage one s own learning and development, including time management and organizational skills. 13. The ability to transpose academic knowledge and expertise into social, professional and economic contexts. 14. Readiness to address new problems from new areas.

4.2.3. Making judgements The bachelor has the ability to gather and interpret relevant data (typically within the field of study) and to formulate judgements that include reflection on relevant social, academic or ethical issues. Qualifications: 1. Ability to critically review results, arguments and problem statements from accepted perspectives in the field of Artificial Intelligence. 2. Initial competence in search and critical processing of professional literature in Artificial Intelligence. 3. Acquaintance with the standards of academic criticism. 4. Awareness of, and responsible concerning, the ethical, normative and social consequences of developments in science and technology, particularly resulting from Artificial Intelligence.

4.2.4. Communication The bachelor can communicate information, ideas, problems and solutions to audiences of both domain-specialist and a general audience. Qualifications: 1. Academically appropriate communicative skills; the bachelor can: o Communicate ideas effectively in written form, o Make effective oral presentations, both formally and informally, o Understand and offer constructive critiques of the presentations of others.

4.2.5. Learning skills The bachelor has developed those learning skills that are necessary for a successful further study characterised by a high degree of autonomy (typically in the context of a master or a specialist profession). Qualifications:


1. Reflection on one s own style of thought and working methods and readiness to take the necessary corrective action. 2. Recognize the need for continued learning throughout a professional career.


40

5. Master programme Artificial Intelligence This section is divided into two parts. Section 5.1 describes the roles that a master ought to be able to perform in society. Section 5.2 describes the final qualifications that masters in Artificial Intelligence possess in order to fulfil these roles.

5.1. Objectives The objective of the master programme is to provide students with a suitable basis for a further career, both in research as well as in the rest of society. The master must be prepared for a number of different roles and careers at key positions in society.

5.1.1. Access to PhD programmes The master programme provides the student with the specific knowledge and abilities, exemplified in the form of a master diploma that allows the master access to a PhD programme in a broad range of disciplines, especially in Artificial Intelligence related disciplines.

5.1.2. Professional career The master programme prepares for a position in which the student can earn his or her own subsistence. In particular it prepares for: Independent work on an academic level, especially at positions where many of the problems have not been addressed before and where solutions require scientific training Key positions in the modern high-tech society, such as higher functions in knowledge-intensive companies and knowledge-intensive parts of the non-profit sector

5.1.3. Academic skills The master programme provides sufficient training in independent scientific reasoning, conduct, and communication to reach internationally accepted standards of academic skills at that level. The master can communicate original ideas in the own language and at least one foreign language to a public of specialists and non-specialists.

5.1.4. Place in society The programme provides the master with the knowledge and tools needed to formulate an informed opinion about the meaning and impact of Artificial Intelligence in society. Masters are able to enrich society with results from contemporary research and oversee the consequences of proposed measures to society and are aware of their responsibility towards society.

5.2. Final qualifications The objectives of the master can be specified into final qualifications. To comply with international standards these qualifications are presented below in terms of the Dublin descriptors for the master s profile9. Together these final qualifications must lead to alumni that exemplify the shared identity defined in section 3.

9

http://www.jointquality.org/ (last visited on November 8th, 2006)


5.2.1. Knowledge and understanding The master demonstrates knowledge and understanding in a field of study that builds upon and supersedes their bachelor degree. Knowledge, understanding, and abilities are typically at a level at which the master is able to formulate a feasible research plan in one s own specialisation. Qualifications: 1. Advanced understanding of key areas in Artificial Intelligence. 2. Specialist knowledge of at least one of the key areas in Artificial Intelligence, up to a level that the master can appreciate the forefront of research in that field. 3. The master is able to judge the quality of his of her work or the work of others from scientific literature.

5.2.2. Applying knowledge and understanding Masters can apply their knowledge and understanding in a manner that indicates a scientific approach to their work or vocation. They are able to handle complex and ill-defined problems for which it is not a priori known if there is an appropriate solution, how to acquire the necessary information to solve the sub-problems involved, and for which there is no standard or reliable route to the solution. Qualifications: 1. The ability to formulate a project plan for an open problem in a field related to Artificial Intelligence in general and the own specialisation in particular. 2. The ability to determine the feasibility of a proposal to lead to a solution or design as specified. 3. The ability to contribute autonomously and with minimal supervision to an interdisciplinary project team and to profit from the abilities, the knowledge, and the contributions of other team members. 4. The ability to choose, apply, formulate, and validate models, theories, hypotheses, and ideas from the domains of Artificial Intelligence. 5. The ability to submit an argument in the exact sciences (or humanities) to critical appraisal and to incorporate its essence in the solution of Artificial Intelligence problems. 6. The ability to translate academic knowledge and expertise into social, professional, economic, and ethical contexts. 7. Awareness of, and responsibility concerning, the ethical, normative and social consequences of developments in science and technology, particularly resulting from original contributions.


42

5.2.3. Making judgements The master is able to formulate an opinion or course of action on the basis of incomplete, limited and in part unreliable information. Qualifications: 1. Competence in the search and critical processing of all sources of information that help to solve an open and ill-defined problem. 2. The ability to demonstrate a professional attitude conform the (international) scientific conduct in Artificial Intelligence. 3. The ability to provide and receive academic criticism conform the standards in one specialism of Artificial Intelligence-research. 4. The ability to formulate an opinion and to make judgements that include social and ethical responsibilities related to the application of one s own contributions.

5.2.4. Communication The master can communicate information, ideas, problems and solutions to audiences of specialist in (other) research areas and to a general audience. Qualifications: 1. The master has academically appropriate communicative skills; s/he can: o Communicate original ideas effectively in written form, o Make effective oral presentations, both formally and informally, to a wide range of audiences o Understand and offer constructive critiques of the presentations of others.

5.2.5. Learning skills The master has developed those learning skills that are necessary for a successful further career at the highest professional level. The master is able to detect missing knowledge and abilities and to deal with them appropriately. Qualifications: 1. Being able to reflect upon one s competences and knowledge and, if necessary, being able to take the appropriate corrective action. 2. The ability to follow current (scientific) developments related to the professional environment. 3. Showing an active attitude towards continued learning throughout a professional career.


6. International perspective As stated in the introduction, this frame of reference is intended not only for the Dutch national context, but also to put the Dutch Artificial Intelligence programmes into an international perspective, and possibly to serve as a starting point for an internationally agreed frame of reference. The latter possibility is of course dependent upon international debate and agreement, and at this moment it is not clear how to bring this about, or whether it will in fact be possible. What we can and will do in this document is provide a comparison between the frame of reference as developed in the previous sections and a number of known related study programmes in other countries. In doing this, we hope to show that the developed frame of reference is up to par from an international perspective as well as the Dutch national one. Having said this, we must immediately recognize that the Dutch national context appears to be rather special in that we only know of specialized bachelor-level Artificial Intelligence study programmes at one university outside the Netherlands, namely at Edinburgh (United Kingdom), which have a rather different programme structure than the Dutch (and general European) one. In our discussion of the Dutch frame of reference in international perspective, we will therefore add to our comparison with the Edinburgh study programme by a comparison with bachelor programmes of study programmes in a related field, notably Cognitive Science. Furthermore, we will compare the Dutch bachelor qualifications with the requirements for enrolment in Artificial Intelligence master programmes in other countries. A comparison of master programmes is tricky as well. Although, contrary to bachelor programmes, there are several well-known specialized Artificial Intelligence master programmes outside the Netherlands, study programmes at the master level are much more divergent than at the bachelor level. A comparison can therefore only be provided in global, subjectindependent, terms. We have drawn up both the bachelor and master comparisons based on the programme descriptions and course lists received from the involved Universities. However, for the purpose of conciseness, we have left out particular details of the programmes that are largely timedependent and often change from year to year.

6.1. Comparison of bachelor programmes 6.1.1. The Artificial Intelligence bachelors in Edinburgh Edinburgh University (United Kingdom) offers a range of Artificial Intelligence-related bachelor degrees, one of them in Artificial Intelligence as such, the others in combination with other disciplines (AI & Computer Science, AI & Mathematics, AI & Psychology). An ordinary bachelor degree consists of 3 years, however admittance to the (1-year) master programme can only be obtained by an honours degree, which takes a fourth year of study. In order to compare this system with the European standard of a 3-year bachelor and a 1-2-year master, we will take the honours year of the Edinburgh bachelor programme to be equivalent to the first year of a 2-year master degree in other European countries, and base our comparison of bachelor programmes on the first three years.

6.1.2. Comparison with the Dutch frame of reference It should be pointed out that the (first three years of the) Artificial Intelligence related bachelors in Edinburgh show a large variation between them, and an extensive amount of


44

(usually restricted) choices for particular courses within them. In fact, the communality between the Edinburgh Artificial Intelligence bachelors is smaller than communality within the Dutch framework. It seems that the wide variation in Edinburgh Artificial Intelligence related bachelor degrees actually means that the degrees themselves are much more specialized than the Dutch framework proposes, some of them having little or no (cognitive) psychology, others having no mathematics, etcetera. Areas such as philosophy and empirical methods appear not to be obligatory at all.

6.1.3. The Cognitive Science bachelors in Osnabrück and Linköping Both the University of Osnabrück (Germany) and the University of Linköping10 (Sweden) offer a study programme in Cognitive Science. The discipline of Cognitive Science is related to Artificial Intelligence, and may in fact be seen as a flavour of Artificial Intelligence: somewhat more focused towards Cognitive Psychology, and somewhat less towards Engineering. The same key knowledge and skills apply in Artificial Intelligence and in Cognitive Science. The University of Osnabrück offers a three-year (180 EC) bachelor programme in Cognitive Science (in preparation of a two-year master programme).

6.1.4. Comparison with the Dutch frame of reference Based on studying both programmes, we conclude that the Dutch frame of reference recognizes the same communal Artificial Intelligence-relevant areas as both Cognitive Science programmes outside the Netherlands. The Dutch frame of reference devotes as much or more attention to any of these areas as any of those Cognitive Science programmes, with the exception of Cognitive Psychology in Linköping. Moreover, the recognition, in the Dutch frame of reference, that each individual study programme has a specific profile in addition to the communal areas appears to hold for both inspected study programmes outside the Netherlands as well.

6.2. Comparison of master programmes 6.2.1. Edinburgh The Artificial Intelligence master programme in Edinburgh spans a full 12-month period and consists of two parts: taught and research. During the taught part (8 months), lectures, tutorials and group practicals are followed. The research part (4 months) consists of a major individual research project on which a dissertation is written. There is also the option of completing only the taught part, in which case, a Diploma will be awarded. MSc courses in Artificial Intelligence in Edinburgh are grouped in four major areas of specialisation: Intelligent robotics Knowledge representation and reasoning Learning from data Natural language and language engineering

10

The University of Linköping has not yet adopted the European standard of separate bachelor and master programmes. Instead, it offers an undivided four-year study programme in Cognitive Science, the end qualifications of which are claimed to be equivalent to a (one-year) master programme. We take the first three years of this programme to be equivalent to a bachelor programme.


6.2.2. Comparison with the Dutch frame of reference Comparing the Edinburgh programmes to the Dutch frame of reference, we can draw the following conclusions: The main Artificial Intelligence topics that are in the Dutch framework are also represented in the Edinburgh programmes (as shown in the four different identified areas of specialisation). The Edinburgh programmes are 1-year, whereas most Dutch Artificial Intelligence master programmes are 2-year programmes. However, the Edinburgh master programme requires a 4-year honours bachelor degree. The Edinburgh system knows a Diploma whereas the Dutch system does not. As described above, this Diploma can be awarded after completing only the taught part of the course. The Edinburgh programme knows relatively little study load for practical work. Whereas the minimum length of a Dutch master-thesis ( afstudeerproject ) is 30 ECs (half a year), the Edinburgh programme has 4 months for doing practical assignments. However, the practical work seems to be more research oriented, whereas in the Dutch programme there is also the option to do a final project in industry.

6.2.3. Stanford Stanford has four majors in computer science: Computer Science, Computer System Engineering, Mathematical and Computational Sciences and Symbolic Systems. As indicated in De onderwijsvisitatie Kunstmatige Intelligentie (July 2002) , Symbolic Systems most closely relates to the Artificial Intelligence programmes in the Netherlands. Symbolic Systems is an interdisciplinary program that combines Computer Science, Psychology, Philosophy, and Linguistics in order to better understand cognition in both humans and machines. Viewing people and computers as symbol processors, the Symbolic Systems program explores the ways computers and people reason, perceive, and act. Within the Symbolic Systems major, there is a core set of required classes; beyond this core, students choose an area of concentration in order to gain depth. In the Computer Science major, students can follow courses from: programming languages, graphics, databases, theory of computation, human-computer interaction, robotics, artificial intelligence, and numerical analysis. The courses human-computer interaction and artificial intelligence come close to courses in the Artificial Intelligence programmes in the Netherlands. The MSc degree in Computer Science is intended as a final professional degree and does not lead to the PhD degree. Most students planning to obtain the PhD degree should apply directly for admission to the PhD program. Some students, however, may wish to complete the master s program before deciding whether to pursue the PhD.

6.2.4. Comparison with the Dutch frame of reference Comparing the Stanford study programme to the Dutch frame of reference, we can draw the following conclusions: It is surprisingly difficult to find programme objectives, final qualifications etcetera in the available information. This information is mainly of subject-independent, administrative nature. For example This programme prepares for entering a PhD programme . What adds to the surprise is that the Dutch frame of reference for


46

Computer Science refers explicitly to an American document for objectives, qualifications etcetera (Computing Curricula 200511). It was already mentioned that there is much variety between the master programmes both in the Netherlands and abroad. This is also the case for the programmes at Stanford. But still, this variety is on the Computer Science level rather than the Artificial Intelligence level. The Stanford programmes seem to have a large freedom in elective courses. In other words, the core of compulsory courses is limited and students have select many elective courses. The Dutch framework has more formal subjects (logic etcetera) than the Symbolic Systems programme.

11

http:/ / www.acm.org/ education/ Draft_5-23-051.pdf (last visited on November 8th, 2006)


7. Concluding remarks Artificial Intelligence is a developing field. Due to its relatively recent start as a coherent field of research, the term Artificial Intelligence does not have the stature of Physics, Psychology, or even Computer Science. Internationally, the study of natural and artificial intelligence with computational means is firmly, but usually not very visibly, embedded in the fabric of modern Universities. Modern topics such as gaming, ambient intelligence, ambient awareness, and believable-agent systems are fashionable manifestations of Artificial Intelligence and these and future fashionable spin-offs of Artificial Intelligence will increasingly affect humans. Future challenges will force products, services, and even societies to react faster but remain reliable, to be both flexible and effective, be both efficient and versatile, and to utilize natural resources with maximal benefit. Making the most of this combination of conflicting demands, which is very much at the core of in the concept of intelligence. The Dutch situation is special because of the existence of Artificial Intelligence bachelor and master programs on most of the general universities. This offers the Netherlands a competitive advantage, consistent with its main economic strategy to remain one of the leading knowledge intensive economies. This frame of reference explicates how the bachelor and master programmes in Artificial Intelligence of Dutch universities contribute to educate alumni that will take a leading role in meeting these future challenges.


48

Bijlage C: Programma visitatie Kunstmatige Intelligentie Programma visitatie Kunstmatige Intelligentie Bachelor- en masteropleiding Dag 0 19.00 uur 20.30 uur

diner (besloten en vrijblijvend) vergadering commissie

Dag 1 09.00 uur 11.00 uur 12.00 uur 12.45 uur 13.30 uur 14.15 uur 15.00 uur 15.15 uur 16.45 uur 17.30 uur 17.45 uur 18.30 uur 19.30 uur

bespreken zelfstudies, analyse /checklist en scripties gesprek met management en kwaliteitszorgers en opstellers zelfstudie (evt. korte inleiding door decaan, max. 7 minuten) gesprek met studenten bacheloropleiding (waaronder lid opleidingscommissie) lunch gesprek met docenten bacheloropleiding gesprek met studenten masteropleiding theepauze en vergadering commissie gesprek met afgestudeerde masterstudenten, (o.a. scriptieauteurs) gesprek met docenten masteropleiding vergadering commissie gesprek met studieadviseur(s) en eventueel verwante functionarissen kennismaking met vertegenwoordiger CvB, faculteitsbestuur, opleidingsmanagement, visitatiecoördinator besloten diner visitatiecommissie

Dag 2 09.00 uur 09.45 uur 11.00 uur 12.00 uur 12.45 uur 13.00 uur 17.00 uur 17.30 uur

gesprek met delegatie examen- en opleidingscommissie open spreekuur en bezoek aan de onderwijsruimten vergadering commissie gesprek met faculteitsbestuur lunch voorbereiden voorlopige bevindingen voorlopige bevindingen vertrek



50

Bijlage D: Beoordelingsformulier scripties Beoordeling scripties Kunstmatige Intelligentie Universiteit en opleiding: . . Bachelor/master (doorhalen wat niet van toepassing is) Naam auteur scriptie: Titel scriptie: . Toegekend cijfer door de opleiding: Toegekend cijfer door u: Uw naam: .. ja 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14.

15.

nee toelichting

Is de probleemstelling van de scriptie duidelijk weergegeven? Houdt de auteur zich aan de geformuleerde probleemstelling? Is het betoog logisch en consistent? Volgen de conclusies logisch voort uit het gepresenteerde materiaal? Is de gekozen werkwijze verantwoord? Presenteert de auteur het materiaal zodanig dat zijn onderzoek controleerbaar is? Zijn de kernbegrippen duidelijk gedefinieerd/geoperationaliseerd? Zijn de gekozen methoden en technieken van onderzoek adequaat gezien de probleemstelling? Zijn de gekozen methoden en technieken correct toegepast? Zijn noten en verwijzingen duidelijk en consistent geredigeerd? Geeft het taalgebruik aanleiding tot kanttekeningen? Geeft de auteur er blijk van op de hoogte te zijn van de literatuur op het gebied van zijn onderwerp? Is de compositie van de scriptie in orde? Is de manier waarop het gegeven cijfer tot stand is gekomen helder? (ook duidelijkheid over de rol van de tweede meelezer/beoordelaar) Is de student naar behoren begeleid?

Toelichting:



52

Bijlage E: Lijst met afkortingen AI aio BSc CROHO EC ECTS fte hbo hl ICT KI KION KUO MICC MMC MSc OER QANU RU RUG tUL ud uhd UM UU VU vwo wo

Artificial Intelligence Assistent in opleiding Bachelor of Science Centraal register Opleidingen Hoger Onderwijs European credit European Credit Transfer System Full-time equivalent Hoger beroepsonderwijs Hoogleraar Informatie en communicatietechnologie Kunstmatige Intelligentie Kunstmatige Intelligentie Opleidingen Nederland Kengetallen Universitair Onderwijs Maastricht ICT Competence Centre Mens-machine communicatie Master of Science Onderwijs- en examenregelement Quality Assurance Netherlands Universities Radboud Universiteit Nijmegen Rijksuniversiteit Groningen Transnationale Universiteit Limburg Universitair docent Universitair hoofddocent Universiteit Maastricht Universiteit Utrecht Vrije Universiteit Amsterdam Voorbereidend Wetenschappelijk Onderwijs Wetenschappelijk Onderwijs


December 2007 Pdf ten behoeve van accreditatieaanvraag. Kunstmatige Intelligentie

Recommend Documents