Jaarrapport 2015 Programma 2: Reken- en data infrastructuren

Jaarrapport 2015

Programma 2: Reken- en data infrastructuren

Indiener: SURFsara

Versie: 1.1 Datum: 4 maart 2016

Inhoudsopgave Management samenvatting

3

1.

Inleiding

5

2.

Resultaten programma 2015

5

2.1.

Inleiding

5

2.2.

Ambitie programma

5

2.3.

Projecten

6

2.4.

Gerealiseerde samenwerkingen

27

2.5.

Risicomanagement

28

2.6.

Doorkijk navolgende jaren

29

Bijlage 1: Legenda’s

Jaarrapport 2015

31

Pagina 2

Management samenvatting Programma 2 is het innovatieprogramma waarin de high-end dienstverlening voor de SURF doelgroep wordt gerealiseerd. Concreet betekent dit dat het gebruik van de e-infrastructuur wordt gefaciliteerd, waarbij de infrastructuur op een competitief niveau gehouden wordt en waarbij innovaties en nieuwe manieren van gebruik aan gebruikers beschikbaar gesteld worden. Programma 2 is daarom het programma dat veel van de SURFsara diensten samenbrengt. Het is opgedeeld in een aantal projecten, waarbij lange termijn data-opslag, data analyse en rekenvoorzieningen de grootste zijn. De hoeveelheid wetenschappelijke data blijft groeien. Steeds meer aandacht ontstaat er voor lange termijn opslag, blijvende herkenning en ontsluiting van data aan gebruikers-gemeenschappen. Binnen programma 2 wordt een Centrale Data Infrastructuur ontwikkeld, waarvoor in 2015 gestart is met het initiële ontwerp. Door beperkingen in de stroomvoorziening van het Vancis datacenter en beschikbare menskracht hebben de realisatie van de SURFsara core Centrale Data Infrastructuur en de innovatie van de BeeHub implementatie een vertraging opgelopen van een half jaar. De oplevering staat nu voor Q2 2016 gepland. Daarmee schuiven naar verwachting de vervolgactiviteiten ook naar achter, getracht wordt dit binnen het project in te halen. Gewerkt wordt tevens aan de huidige manier van onderscheid van databestanden via persistent identifiers (EPIC). Getalsmatig is de binnen SURFsara gearchiveerde hoeveelheid data in 2015 toegenomen met ca. 30% tot een totaal van ca. 30 PB (tape-opslag). Een steeds belangrijker wordend toepassingsgebied van data is het concept van big data – hoe haal je informatie uit ongestructureerde dataverzamelingen die bijvoorbeeld via sensors of sociale media verkregen zijn. SURFsara biedt zowel waardevolle dataverzamelingen aan alsmede de software en expertise om deze dataverzamelingen te doorzoeken. Dit veld is sterk in beweging, wat blijkt uit de opkomst en (soms) ondergang van methoden om de data te analyseren. In het project data analyse is een van de taken van SURFsara om de gebruiker zo goed en efficiënt mogelijk de juiste software te bieden. Daarnaast is er een verschuiving zichtbaar van bijvoorbeeld de traditionele grid infrastructuur naar een meer cloud-georiënteerde omgeving. In programma 2 is deze verschuiving ingezet voor onder meer het Life Sciences Grid, zodat meer communities gefaciliteerd kunnen worden. De dienst SURFdrive is in 2015 verder gegroeid en heeft per einde 2015 ca. 13000 gebruikers bij een totale data-opslag van meer dan 100 TB. Interne services worden vooral ingezet voor die activiteiten die alle diensten ten goede komen, zoals de centrale user administratie. De upgrade hiervan heeft meer tijd gekost dan voorzien, met als gevolg dat werkzaamheden aan de SURFsara app opgeschort zijn. In het begin van 2015 is phase 2 van Cartesius beschikbaar gekomen voor de gebruikers van de capability supercomputer. Hiermee is de beschikbare rekenkracht fors uitgebreid, hetgeen over 2015 heeft geresulteerd in een stijging van het gebruik met ca. 60% ten opzichte van 2014. Grotere en meer complexe simulaties zijn daarmee mogelijk geworden, ook in combinatie met het gebruik van de GPUs in Cartesius. Verschillende toepassingsgebieden maken hier gebruik van. Het nationale rekencluster Lisa heeft er verschillende partners bijgekregen in de vorm van KUB (Tilburg), EUR (Rotterdam) en TUD (Delft). Met meer verschillende partners wordt het steeds belangrijker het systeem zo efficiënt mogelijk te gebruiken. Hiervoor is in 2015 een studie gemaakt naar nieuwe schedulers. MOAB is hiervoor geselecteerd en zal begin 2016 in productie komen. Tenslotte is het HPC Cloud sterk vernieuwd, mede als gevolg van hogere I/O eisen bij veel gebruikers (meer data). Hiermee blijft het HPC Cloud in verhouding tot de groei van data, zowel in absolute hoeveelheid als in hoeveelheid per dataset. Vele andere activiteiten vinden ook plaats in programma 2. Naast de verhuizing naar het nieuwe datacenter wordt gewerkt aan federatieve cloud diensten, waarvoor in de tweede helft van 2015 een inventarisatie van de positie van diverse stakeholders heeft plaatsgevonden. Training en cursussen zijn in 2015 steeds vaker uitgevoerd, waardoor de behoefte ontstaat het cursusaanbod in een expertisecentrum onder te brengen. Hiermee wordt het eenvoudiger om direct gebruikers op te leiden in het gebruik van de e-infrastructuur en de software mogelijkheden. Samenwerkingen op nationaal en internationaal vlak zijn talrijk. Nationaal betreft het vooral de samenwerking en het overleg met gebruikersgemeenschappen als DTL, LHC-HEP, Lofar en in Jaarrapport 2015

Pagina 3

toenemende mate met het NLeSC, internationaal onder meer de verschillende infrastructuurprojecten als EGI, EUDAT en PRACE. Tenslotte richt programma 2 zich, via Impact II, op gewenning aan en gebruik van HPC door het bedrijfsleven in Nederland. Op dit vlak worden steeds meer mogelijkheden aangeboord, zoals het inschakelen van marktpartijen om rekencapaciteit te bieden aan bedrijven, met de daarmee gepaard gaande ondersteuning. Daarnaast wordt het bedrijfsleven concreet ondersteund met het gebruik van HPC faciliteiten, onder meer in het EC programma Fortissimo. Uit onderstaande tabel blijkt dat programma 2 als geheel on target is geëindigd. De projecten met het grootste budget zijn projecten 1, 2 en 3. Hier zijn enige afwijkingen zichtbaar, die voor projecten 1 (lange termijn data-opslag) en 2 (data analyse) onder meer te maken hebben met een verschuiving van de matchingsverplichtingen ten behoeve van het H2020 project EUDAT van project 2 naar project 1. Daarnaast heeft project 2 een lichte onderbesteding als gevolg van een tekort aan menskracht en vanwege investeringen die iets uitgesteld zijn. Project 3 (rekenvoorzieningen) heeft een lichte overbesteding die deels het gevolg is van hogere energiekosten van Cartesius. (Bedragen x € 1.000,-)

Programma P2: Reken- en data- infrastructuren Programmatotaal:

Geld

budget werkelijk wer/bgt 15.472 15.434 100%

Bestaande uit: Lange termijn data-opslag en -ontsluiting Data analyse Rekenvoorzieningen Visualisatie (hulpmiddelen) Nationaal datacenter (Ontwikkeling & Verhuizing) Expertisecentrum Samenwerkingsverbanden Technologiepartner en kennisbank Impact II Vervanging Cartesius 2017 Programmamanagement

Geld

Kwaliteit Planning Risico

Project ID 02.01.00 02.02.00 02.03.00 02.04.00

Werkmij SURFsara SURFsara SURFsara SURFsara

02.05.00

SURFsara

02.06.00 02.07.00 02.08.00 02.09.00 02.10.00 02.00.00

SURFsara SURFsara SURFsara SURFsara SURFsara SURFsara

Tabel 1: Management summary 2015 (zie bijlage 1 voor legenda 1 voor programmatotaal en legenda 2 voor overige)

Jaarrapport 2015

Pagina 4

1.

Inleiding ICT is een integraal onderdeel van het hoger onderzoek en onderwijs: iedere student, docent, medewerker of onderzoeker maakt voor zijn werk of opleiding gebruik van ICT-voorzieningen. Door gezamenlijke investeringen beschikt de sector over een e-infrastructuur die bestaat uit één van de snelste, meest geavanceerde en betrouwbare netwerken ter wereld, duurzame dataopslagfaciliteiten, hoogwaardige rekenvoorzieningen, krachtige software-, cloud en visualisatiehulpmiddelen, eSciencesupport en professionele ondersteuning, die voortdurend worden aangepast aan de wensen van gebruikers en nieuwe ICT-ontwikkelingen. Het programma rekenen data-infrastructuren biedt innovatieve diensten aan onderzoekers voor het faciliteren van hun wetenschappelijk onderzoek. Het betreft niet alleen de hardware voorzieningen (en de evolutie daarvan), maar ook het beschikbaar stellen van expertise die het mogelijk maakt applicaties, toepassingen en de e-infrastructuur zelf steeds te vernieuwen, opdat de voorzieningen optimaal zijn om grensverleggend en concurrerend onderzoek te kunnen doen. Het programma is opgebouwd uit verschillende projecten, die zowel innovatie als nationale en internationale samenwerking bevatten. Omdat het hier gaat om de noden van wetenschappelijke gebruikers is het cruciaal om die noden, behoeften en wensen van onderzoekers te kennen. Dat betekent dat dit programma veel raakvlakken heeft met de andere SURF programma’s waar het gaat om inventarisatie van gebruikerswensen en bediening van die gebruikers. Er is samenhang en samenwerking met de MJP programma's 3, 4, 6, 8 en 10. Met programma 6 wordt steeds nauwer samengewerkt met betrekking tot het benaderen van de SURF doelgroep. Het betreft hier niet alleen outreach naar de gebruikers, maar ook het inschakelen van onderzoeksondersteuners binnen de instellingen. Daarnaast wordt met programma 6 meegedacht en meegewerkt aan de totstandbrenging van Enlighten Your Research en de manier waarop uniforme toegang tot de e-infrastructuur gerealiseerd kan worden. Programma 4 betrekt programma 2 bij de technische consequenties van het omgaan en long-term opslaan en ontsluiten van data. De banden met programma 3 zijn aangehaald: op het gebied van MySURF zijn afspraken gemaakt mbt meedenken vanuit programma 2.

2.

Resultaten programma 2015 2.1. Inleiding In hoofdstuk 2 wordt de inhoudelijke voortgang van de projecten die samen het programma vormen, beschreven. Ook worden gerealiseerde samenwerkingen vermeld, de mate waarin benoemde risico’s in 2015 zijn voorgevallen en wordt kort beschreven of en hoe de ingezette lijn van 2015 wordt doorgezet in 2016, 2017 en 2018.

2.2. Ambitie programma De nationale e-infrastructuur voor hoger onderwijs, onderzoek maar ook voor het bedrijfsleven moet de meest geavanceerde rekenen data intensieve onderzoeksprogramma’s in Nederland kunnen faciliteren. Dankzij digitalisering, sensoren en internet komen voor onderzoekers steeds meer data beschikbaar. Analyse van deze data en de sterk toenemende vraag naar capaciteit voor simulatiedoeleinden en het real-time kunnen verwerken van data vragen naast vernieuwing op basis van technologische ontwikkelingen ook om integratie van nieuwe technieken als accelerators, big data analyse en many-core processoren. Om ervoor te zorgen dat Nederlands onderzoek op wereldtopniveau kan meedraaien is het noodzakelijk dat ook deze e-infrastructuur zich bij dat topniveau kan aansluiten (of aansluiting kan houden). Om dit te kunnen realiseren is het nodig dat state-of-the-art innovatieve rekenen data-faciliteiten voor onderzoekers beschikbaar zijn en dat deze doorontwikkeld en uitgebouwd worden. Dit gebeurt in nauwe samenwerking met onderzoekers en Jaarrapport 2015

Pagina 5

partners waaronder het NLeSC. De e-infrastructuur bestaat uit verschillende componenten die waar mogelijk worden ingezet als een geïntegreerde dienst, waardoor ze eenvoudig en flexibel beschikbaar zijn voor zowel nationale als internationale samenwerkingsverbanden. Naast het beschikbaar hebben van innovatieve diensten besteedt SURFsara veel aandacht aan het ondersteunen van het gebruik hiervan. De ambitie van dit programma is het optimaal faciliteren, door ontwikkelen en uitbouwen van een rekenen data-infrastructuur op topniveau.

2.3. Projecten 2.3.1 Project 1: Lange termijn data-opslag en -ontsluiting Het hoofddoel van het project Lange termijn data-opslag en -ontsluiting is het leveren van een betrouwbare dienst voor langdurige en veilige dataopslag, die ingericht is om goed met de exponentieel groeiende hoeveelheid onderzoeksdata om te kunnen gaan. Dit als gevolg van vergaande digitalisering en data-genererende apparatuur. Er is een sterk groeiende behoefte om langjarig over opgeslagen data te kunnen beschikken. SURFsara ontwikkelt en biedt onderzoekers naast opslag van hun onderzoeksdata, voorzieningen voor veilig gebruik, ontsluiting, deling, uitwisseling en verrijking van data. Centrale Data Infrastructuur Innovatie Centrale Data Infrastructuur In 2015 is begonnen met het ontwikkelen en implementeren van een nieuwe SURFsara Centrale Data Infrastructuur architectuur. Hierbij worden de twee bestaande archiefsystemen samengevoegd tot één architectuur met een efficiënter en beter gebalanceerd gebruik van disk en tape resources. Ter voorbereiding van het samenvoegen van de twee archiefsystemen is in de Centraal Archief omgeving de centrale datamanagement server (e.g. DMF server) vervangen door zwaardere server. Hiermee is de DMF server omgeving klaar voor het uitvoeren van de gecombineerde taak van beide archiefsystemen. Daarnaast is de ontwikkeling gestart van een nieuw data transfersysteem tussen CDI disk front en tape back end systeem. Door beperkingen in de stroomvoorziening van het Vancis datacenter en beschikbare menskracht heeft de deliverable “Realisatie SURFsara core Centrale Data Infrastructuur (D02.01.01D) een vertraging opgelopen van een half jaar. De oplevering staat nu voor Q2 2016 gepland. Innovatie SURFsara Trusted Digital Repository Voor de ontwikkeling van de SURFsara Trusted Digital Repository (TDR) is een use case opgezet voor de CosmoGrid dataset van Simon Portegies Zwart. Tijdens de installatie van de technologie en het inlezen van de dataset zijn een aantal knelpunten geïdentificeerd die gerelateerd zijn aan de omvang en de complexiteit van de CosmoGrid dataset. De knelpunten waren zo significant dat besloten is om alternatieve data repository technologieën te (her)evalueren en over te stappen op een alternatieve technologie. De deliverable “SURFsara Trusted Data Repository service” (D02.01.01F) heeft hierdoor vertraging opgelopen en de realisatie staat nu voor 2016 gepland. Innovatie CDI rijke gebruikersomgeving De Beehub dienst wordt opnieuw ontwikkeld en om verwarring te voorkomen met de oude dienst wordt deze nu de rijke CDI gebruikersomgeving genoemd. Met input vanuit de gebruikersgemeenschap wordt een samenwerkingsplatform ontworpen die goed aansluit bij de gebruikerswensen. Met het ontwerpplan is in het vierde kwartaal van 2015 begonnen. Echter door het vertrek van de coördinator/ontwerper loopt dit traject vertraging op. De deliverable D02.01.01E / 01G worden doorgeschoven naar Q1 2016. EUDAT activiteiten Internationaal is SURFsara in het EUDAT2020 project betrokken bij een groot aantal activiteiten, zo coördineert SURFsara de dienstontwikkeling van de EUDAT services, de taak voor het definiëren van het toekomstig governance en business model en is het betrokken bij de training, community requirements, naast coördinatie ook service ontwikkeling, operations, service integratie en cross einfrastructure activiteiten. Jaarrapport 2015

Pagina 6

In het kader van de governance en business model wordt er gekeken naar een langdurige partner organisatiestructuur voor het leveren van EUDAT diensten en infrastructuur na de projectduur. Daarnaast wordt er een kostenmodel ontwikkeld waarmee de EUDAT diensten kunnen worden afgenomen door wetenschappelijke gebruikersgroepen. In de trainingstaak is SURFsara betrokken bij het ontwikkelen van trainingsmodules en het geven van trainingen en in de community requirements taak voor vraagarticulatie en samenwerking met Europese wetenschappelijke gebruikersgroepen. Dit moet resulteren in een pallet van eisen voor bestaande en nieuwe dienstontwikkeling in EUDAT. In de dienstontwikkeling is SURFsara naast de coördinatie betrokken bij de ontwikkeling van de B2SHARE, B2SAFE en B2HANDLE diensten. Naast de ontwikkeling levert en ondersteunt SURFsara Nederlandse gebruikersgroepen en instituten bij het gebruik en de integratie van de EUDAT diensten in de lokale infrastructuur. Zo heeft SURFsara de Universiteit van Utrecht ondersteund bij het opzetten van een B2SAFE omgeving en gaat SURFsara het Dondersinstituut ondersteunen in een vergelijkbaar traject. Met dit doel werkt wordt onder andere samengewerkt met Universiteiten en wetenschappelijke instituten in U2CONNECT, maar ook binnen de Life Sciences gebruikersgroepen (e.g. ELIXIR, BBMRI). Gebruiksinformatie In 2015 is de hoeveelheid opgeslagen data met 6,8PB (+36%) gegroeid tot een totaal van 25,7PB enkele kopie (of 30,7PB dubbele kopie). In totaal blijft de datagroei in 2015 achter op de begrote hoeveelheid data. Dit is voornamelijk veroorzaakt door een achterblijvende groei in het eerste kwartaal en het uitblijven van grote hoeveelheden data uit het Virtual Galaxy project van Simon Portegies Zwart.

Grafiek: Gebruiksoverzicht groei grootgebruikers archief data CDI diensten

Uit de grafiek met het gebruiksoverzicht op basis van instituut en wetenschapsdomein (zie hieronder) blijkt dat Astronomie en Hogere Energie Fysica de grootgebruikers zijn van de CDI archief systemen, met op gepaste afstand Aard-, Klimaat- en levenswetenschappen. Noemenswaardig is dat van de Jaarrapport 2015

Pagina 7

laatst genoemde wetenschapsdomeinen (Aard- , Klimaat- en levenswetenschappen) de hoeveelheid opgeslagen data bijna verdubbeld (factor 1,94) is. Deze groei wordt voornamelijk veroorzaakt door grootgebruikers Michael Kliphuis en Sandra Ester Brunnabend van het IMAU (e.g. Klimaat), Niels Drost (e.g. eScience Center, watermanagement) en Project MinE (e.g. UMCU, ALS onderzoek).

Grafiek: Gebruiksoverzicht 2015 archief data CDI diensten op basis van instituut en wetenschapsdomein

Beschikbaarheid Over 2015 gemeten is de beschikbaarheid van de GRIDMS met een gemiddelde van boven de 99,6% goed te noemen. Met een beschikbaarheid van net onder de 99% zonder geplande onderhoudsmomenten en onder de 98% met geplande onderhoudsmomenten voldoet de beschikbaarheid van het Centrale Archief niet aan de zelf gestelde verwachtingen. De belangrijkste oorzaken hiervan zijn twee geplande onderhoudsmomenten voor de uitbreiding van de archief filesystemen in Q1 en de hierboven genoemde migratie van de DMF server en voor de ongeplande onderhoudsmomenten de in Q2 gerapporteerde problemen met de stabiliteit van de filesystemen.

GRID MS

CA

105

5695

99,97

98,55

GRID MS

CA

Downtijd (minuten)

1720

10165

Beschikbaarheid (% per jaar)

99,57

97,41

Downtijd (minuten) Beschikbaarheid (% per jaar) Beschikbaarheid CDI archiefdiensten exclusief gepland onderhoud

Beschikbaarheid CDI archiefdiensten inclusief gepland onderhoud

EPIC Het EPIC werkpakket, het leveren van een hoogwaardige persistent identifier dienst, loopt naar verwachting. Het aantal identifiers stijgt gestaag. Van 28,6 miljoen eind 2014 tot 31 miljoen eind 2015. Er is een innovatieplan opgesteld om ervoor te zorgen dat de EPIC dienstverlening van SURFsara aangesloten blijft bij de ontwikkelingen die door het EPIC consortium worden geïnitieerd. Gebruiksinformatie Jaarrapport 2015

Pagina 8

Gebruiksoverzicht EPIC dienstverlening 10.000.000

Aantal Handles

1.000.000 100.000 10.000 1.000

100 10

1-1-2015

BSC

EBI (DIXA)

UVA

UU (Universiteit Utrecht)

EPCC

MPI-PL

lifewatch

SIGMA

ELIXER

EBI (DIXA)

SURFsara

RU (Radboud Universiteit)

CSC

STFC

CINES

JUELICH

CSC

RZG

INGV

PSNC

Meertens Institute

Beeld en Geluid

KNMI

CINECA

SURFSara

1

31-12-2015

Instituut

Grafiek: Aantal handles per gebruiker

Beschikbaarheid Uit de onderstaande twee tabellen blijkt dat de EPIC services in 2015 zeer stabiel hebben gefunctioneerd. Er is geen sprake geweest ongeplande uitval. Voor onderhoudswerkzaamheden is de omgeving dit jaar 3 uur offline geweest.

EPIC Downtijd (minuten)

0


100

Tabel: Beschikbaarheid EPIC dienst zonder gepland onderhoud

EPIC Downtijd (minuten)

180


99,95

Tabel: Beschikbaarheid EPIC dienst inclusief gepland onderhoud

Projectnaam Lange termijn data-opslag en -ontsluiting

Projectleider Werkmij Project ID 02.01.00 Mark van de Sanden SURFsara

Geld

Kwaliteit Planning

Risico

Tabel 2.1: Management summary van project 1 in 2015

Jaarrapport 2015

Pagina 9

Projectresultaat ID 02.01.01.A Gebruik, analyse en impact van de voorziening

Lange termijn data-opslag en -ontsluiting (02.01.00 ) Status Type Planning Gereed Monitor 2015-Q1 ja klaar document (incl report)

Opmerking Document is verstuurd naar de programma 2 manager

02.01.01.B Pilot SURFsara Data Repository

2015-Q2

ja

klaar

pilot

02.01.01.C Gebruik, analyse en impact van de voorziening

2015-Q3

ja

klaar

document (incl report)

02.01.01.D Realisatie SURFsara core Centrale Data Infrastructuur

2015-Q3

nee

loopt

service

Door problemen in de Vancis data center stroomvoorziening en door langdurige ziekte heeft CDI innovatie project vertraging opgelopen. Staat nu gepland voor Q2 2016

02.01.01.E Design Beehub innovatie

2015-Q3

nee

volgend tijdvak


Door vertrek van de coordinator en schrijver van het design document loopt het opleveren van het innovatie plan vertraging op. Het voorstel is om vanwege effiicientie redenen het design en innovatie plan samen te voegen.

02.01.01.F Realisatie SURFsara Data Repository service

2015-Q4

nee

volgend tijdvak

service

02.01.01.G plan Beehub innovatie

2015-Q4

nee

volgend tijdvak


Door vertrek van de coordinator en schrijver van het design document loopt het opleveren van het innovatie plan vertraging op. Het voorstel is om vanwege effiicientie redenen het design en innovatie plan samen te voegen.

02.01.02.A Gebruik, analyse en impact van de voorziening

2015-Q1

ja

klaar


Document is verstuurd naar de programma 2 manager

02.01.02.B EPIC PID innovatieplan

2015-Q2

ja

klaar




2015-Q3

ja

klaar



Pilot Data Repository service is binnen SURFsara beschikbaar gesteld Document is verstuurd naar de programma 2 manager

Door omschakeling naar een alternatieve technologie gaat de oplevering van de data repository service vertraging oplopen

Tabel 3.1: Deliverables van project 1 in 2015

2.3.2 Project 2: Data analyse Onderzoekers gebruiken applicaties, software (pipelines) en tools om de beschikbare data te analyseren, bewerken en te verwerken. SURFsara biedt onderzoekers de faciliteiten om de analyse, verwerking en bewerking van onderzoeksdata, in toenemende mate real-time, uit te voeren. Het beschikbaar stellen en het innoveren van de boven genoemde voorzieningen alsmede het ondersteunen in het gebruik hiervan is het hoofddoel van dit project. Binnen het project vallen een viertal werkpakketten, met soms een grote diversiteit aan activiteiten. Grid en generieke e-infrastructuur support In samenwerking met momenteel NIKHEF en RUG-CIT levert SURFsara een bijdrage aan de wereldwijde Grid infrastructuur. Hieronder worden de twee belangrijkste technologische ontwikkelingen / veranderingen toegelicht. Van GSP naar service cloud Binnen SURFsara’s Grid infrastructuur speelt het Grid Service Park (GSP) een belangrijke rol. Het GSP is een omgeving die al een decennium diensten levert aan de Grid infrastructuur. In het begin waren dat uitsluitend Grid gerelateerde services. Een aantal jaar geleden zijn hier ook niet Grid gerelateerde services bijgekomen. Eind vorig jaar is een initiatief gestart om het GSP naar cloud oplossing te brengen. Het GSP wordt een cloud dienst voor zowel de Grid services als voor niet-Grid services, en gaat diensten aanbieden voor wetenschappelijke communities. Deze nieuwe service cloud is in Q4 in productie gebracht (deliverable D02.02.01.B). Softdrive Een nieuw ontwikkelde servicecomponent Softdrive, welke gebaseerd is op het door CERN ontwikkelde CVMFS filesysteem, is na ontwerp en implementatie onderworpen aan een succesvolle pilot. In 2016 wordt de service uitgerold voor de gebruikers van het grid, en biedt een sterk vereenvoudigde methode om gedistribueerd software uit te rollen (deliverable D02.02.01.C).

Jaarrapport 2015

Pagina 10

GinA / Gebruiksinformatie GinA is het data processing cluster binnen de Grid dienst van SURFsara. Het cluster bestaat uit een honderdtal nodes met in totaal 5600 Xeon cores. In elke node is een relatief grote hoeveelheid lokale schijfruimte (typisch 100 tot 600GB per core) en RAM geheugen (typisch 8 tot 16 GB per core) aanwezig wat het mogelijk maakt om grote input en output datasets te verwerken. Het GinA cluster is verbonden met het bijbehorende Grid storage cluster (dCache; FES) via een zeer breed (ruim 0.5 Tbit/s) netwerk, waarmee de twee clusters transparant met elkaar zijn geïntegreerd tot één highthroughput data-processing faciliteit. Deze Grid faciliteit blinkt uit in de processing van zeer grote hoeveelheden platte data in zo kort mogelijke tijdspannes. Voor dit type applicaties bestaat er in Nederland geen andere faciliteit die data processing van een vergelijkbare omvang mogelijk maakt. De top 10 van gebruikers van het GinA cluster in 2015 waren alice, atlas, lhcb, biomed, enmr.eu, lsgrid, chembg, projnl, bbmri.nl en vlemed, die samen verantwoordelijk waren voor meer dan 99% van het totale gebruik van het cluster. Deze gebruikers van het Grid zijn geen individuen, maar grote verzamelingen gebruikers (ook wel een Virtuele Organisatie of VO genoemd), waarmee deze top 10 zich vertaalt in enkele honderden individuele gebruikers. De VO's varieren van grote coherente en centraal aangestuurde projecten van CERN (alice, atlas, lhcb) en BBMRI, tot SaaS-portals die aan de achterkant de grid infrastructuur benutten (enmr.eu, vlemed), tot groepen los van elkaar opererende gebruikers in de long-tail-of-science (lsgrid, projnl).

Life Science Grid Het Life Science Grid (LSG) is een gedistribueerde Grid omgeving speciaal voor de Life Science communities. Op 10 locaties zijn door SURFsara beheerde LSG clusters geplaatst, die als een compleet zelfvoorzienende lokale faciliteit kunnen worden ingezet voor relatief kleine taken, waarin 128 cores de processing verzorgen en 40TB opslagcapaciteit voor data staging en lokale home directories beschikbaar is. De LSG clusters zijn daarnaast met elkaar verbonden via Grid middleware die het mogelijk maakt om voor grotere taken gebruik te maken van alle LSG clusters samen, zodat er 1280 cores beschikbaar zijn. Begin dit jaar is in goed overleg besloten om het LSG cluster bij het Nederlands Kanker Instituut (NKI) te beëindigen. Het cluster sloot niet meer aan bij de actuele rekenbehoefte van het instituut en enkele van onze andere infrastructuren passen beter bij deze behoefte. In Q2 is gestart met het maken van toekomstplannen voor wat betreft het Life Sciences Grid. Deze infrastructuur is populair bij een vaste aanhang onder de SURFsara gebruikers en is toe aan een herijking. Doel is om de infrastructuur flexibeler te maken om nog beter te kunnen voorzien in gebruikersbehoeften. Hiervoor is een plan gemaakt en een project gedefinieerd om van het Life Sciences Grid een gedistribueerde Cloud infrastructuur te maken.

Big Data analyse Op het gebied van Big Data biedt SURFsara wetenschappers de mogelijkheid gebruik te maken van één van de grootste Hadoop clusters in Nederland. Dit stelt onderzoekers in staat om zeer grote hoeveelheden data eenvoudig op te slaan en te verwerken. Veel nadruk ligt op innovatie, en onderzoek naar nieuwe frameworks voor het uitvoeren van Big Dataanalyses. Zo heeft SURFsara in Q2 het document Big Data-analysemethoden gepubliceerd. Hierin wordt een overzicht gegeven van het Big Data analyse gebruik in wetenschappelijk Nederland, ontwikkelingen in het vakgebied en de dienstverlening en analyse mogelijkheden bij SURFsara. Om aan de toenemende vraag naar het verwerken en beschikbaar stellen van continue stroom data zonder vertraging, beschikt SURFsara een proeftuin real-time data. Hier probeert SURFsara antwoorden te vinden op vragen rondom real-time data van onze wetenschappelijke gebruikers door het onderzoeken, ontwikkelen en opdoen van kennis op real-time data domein. Zo is Apache Spark succesvol ingezet om Twitter berichten in real time te indexeren en zo doorzoekbaar te maken. Naast deze technologische en innovatieve ontwikkelingen wordt er veel tijd en aandacht besteed aan kennisoverdracht. Door het opstellen van trainingsmateriaal en het geven van trainingen en cursussen wordt de kennis aan onderzoekend Nederland overgebracht. Zo zijn er trainingen gegeven Jaarrapport 2015

Pagina 11

bij IIR, Xomnia, DTL, Intrakt, TUD, UvA en UMCG en is er trainingsmateriaal opgesteld voor onder andere Big Data en Hadoop. Hadoop gebruiksinformatie SURFsara biedt een aantal voor onderzoekers waardevolle grote datasets aan. Zo is voor iedere gebruiker Wikipedia (Engels / Nederlands), Common Crawl 2013 en 2014, en DBPedia beschikbaar. En zijn de datasets TREC (2013, 2014 filtered, 2014 full, 2014 FAKBA1 annotaties), Clueweb (2009 en 2012), Koninklijke Bibliotheek web archief en NL tweets middels toegangsbeleid beschikbaar. De datasets kunnen op het cluster worden onderzocht/gebruikt (Data as a Service). De totale opvang van deze datasets is ongeveer 160 TB. Van de 147 geregistreerde gebruikers zijn er dit jaar 61 actief geweest. De top 5 gebruikers zijn TU Delft (Multimedia groep) Radboud Universiteit (Centre for Language studies, Faculty of Arts) / Meertens Instituut, ILPS-UvA (Information and Language Processing Systems) en CWI (Information access) . Er is 68 TB aan gebruikers- en projectdata opgeslagen.

SURFdrive De groei van het aantal SURFdrive gebruikers en de hoeveelheid data die wordt opgeslagen blijft stevig groeien en heeft hierdoor een onstuimig karakter. Zo is het aantal gebruikers in 2015 gegroeid van 3700 naar bijna 13000 eind december. In deze periode is de opgeslagen data verzesvoudigd, tot 103TB eind december. Om de groei bij te benen en de dienst kwalitatief goed te laten functioneren wordt er continu gewerkt uitbreidingen, veranderingen en verbeteringen. Het aantal nodes is flink uitgebreid. Waarbij een duidelijk componentscheiding is gemaakt (storage nodes / databaseservers / webservers en loadbalancers). Ook is de infrastructuur inmiddels redundant, zowel op component niveau als op netwerkniveau. De beschikbaarheid van de dienst is 99,6% geweest over 2015.

Grafiek: Groei aantal gebruikers en opgeslagen data SURFdrive

Marktinnovatie TTP dienst In het onderzoeksdomein van de zorg dienen patiëntgegevens van meerdere bronnen (UMCs, onderzoeksinstituten, huisartspraktijken, e.a.) aan elkaar gekoppeld te worden bijvoorbeeld voor longitudinaal of diagnostisch onderzoek. Voor een studie kan het koppelen van data van verschillende centra momenteel enkel als het via dezelfde TTP (Trusted Third Party) dienst verloopt. In samenwerking met de Mondriaan Stichting is een haalbaarheidsstudie voor een nationale TTP dienst opgezet. Waarbij een centrale TTP dienst moet voorzien in de her-pseudonimisering van alle bronnen en/of een koppeling van de pseudonimisaties van de bestaande TTP diensten. Jaarrapport 2015

Pagina 12

Middels een interviewronde gehouden met onderzoekers en onderzoeksondersteuners van de UMC’s en RIVM is de behoefte aan pseudonimisatie en trusted thrid party diensten in kaart gebracht. Uit de interviewronde is gebleken dat er onder de onderzoekers een sterke behoefte aan kennisuitwisseling over data delen en het koppelen van data is. De behoefte aan koppelen van data is daarmee latent. Een nationale TTP dienst met de juiste voorzieningen en support kan hier in bijdragen. In het eindrapport worden de mogelijkheden en een business model van een nationale TTP dienst uitvoerig uiteengezet. Bij een business case voor SURFsara worden commerciële TTP diensten en organisaties die brongegevens beheren (PALGA, Promise, NIVEL) benaderd voor een eventuele samenwerking en verdere uitwerking van het business model, 2016 Q1. NFU Data4LifeSciences Binnen het NFU Data4LifeSciences is SURFsara actief. Anwar Osseyran heeft zitting in de programmacommissie en heeft Irene Nooren een plaats in de operational board. SURFsara was in 2015 actief in WP2 architectuur sessie, wat zich bezig houdt met de harmonisatie van de architectuur van de business, research processen, en de ICT (data en reken) infrastructuur. De rol van SURFsara hierbij is kennis te leveren op het gebied van ICT architectuur en te faciliteren in het komen tot een harmonisatie. Hierbij is gekozen voor het gebruik van het TOGAF framework. In de workshop, gepland op 19 januari 2016 zal een eerste aanzet worden gegeven om te komen tot architectuurprincipes en de knelpunten voor harmonisatie. Overig Naast de hierboven beschreven activiteiten zijn lopen er tal van andere marktinnovatietrajecten. Zo heeft SURFsara de status als GPU Research Center verlengd met een jaar. Hierbinnen wordt onderzoek gedaan naar “energie-efficiënte supercomputing (met behulp van ARM64)”, “in-situ visualisatie voor time resolved tomografie” en “Scalable Deep Learning met GPUDirect RDMA”. Ook is er er een High memory dienst ontwikkeld op basis van functionele gebruikerswensen en inmiddels beschikbaar op de HPC Cloud en het Life Science Grid.

Datacenternetwerk Binnen het werkpakket datacenternetwerk worden de werkzaamheden geruisloos en zorgvuldig uitgevoerd om ervoor te zorgen dat grote datasets snel en adequaat uitgewisseld kunnen worden tussen verschillende dataopslag, data-analyse en rekenvoorzieningen. SURFsara zorgt ervoor dat dit high performance datacenternetwerk met hoge bandbreedte en lage latency up-to-date blijft en de koppeling met het SURFnet netwerk op een kwalitatief hoog niveau blijft. Werkzaamheden zijn de afgelopen periode goed en volledig uitgevoerd. Alleen door een vertraging in levering van de Juniper QFX10002 is de capaciteitsuitbreiding die Q4 stond gepland nog niet afgerond (deliverable D02.02.03.D). De uitbreiding van de capaciteit, zowel de uplink als de multi-service poort (MSP), staan nu voor Q1 2016 gepland. Het uitstel heeft geen impact op de beschikbaarheid van de dienstverlening.

Interne services Interne services heeft het afgelopen jaar met succes de kantoorautomatisering, die deels bij Vancis was ondergebracht, weer onder eigen beheer gebracht. Hiermee is een solide basis gelegd om innovatieve gebruikersvoorzieningen en monitoring tools te ontwikkelen en te beheren. Deze migratie heeft echter meer resources gevraagd dan vooraf was bedacht, wat gevolgen heeft voor de realisatie van deliverables van het interne services team. Zo wordt de oplevering van de deliverable “Upgrade setup CUA” (D02.02.04A) doorgeschoven naar 2016 en vervalt de deliverable “Optimaliseren SURFsara portal en app” (D02.02.04.B) in het geheel. De nieuwe geoptimaliseerde CFEngine is wel in productie genomen (D02.02.04.C). Projectnaam Data analyse

Project ID 02.02.00

Projectleider Axel Berg

Werkmij SURFsara

Geld



Jaarrapport 2015

Pagina 13

Data analyse (02.02.00 ) Status Monitor klaar


Planning Gereed 2015-Q1 ja

02.02.01.B Service cloud in productie

2015-Q2

ja

klaar

service

Service cloud is in productie

02.02.01.C CVMFS pilot

2015-Q3

ja

klaar

service

Resultaten voor de pilot worden gebruikt voor de perfectionering van de lancering.

02.02.01.D Gebruik, analyse en impact van de voorziening

2015-Q3

ja

klaar



2015-Q1

ja

klaar


02.02.02.B Rapportage data analyse methoden

2015-Q2

ja

klaar



2015-Q3

ja

klaar


02.02.03.A Support voor het aansluiten van lichtpaden

2015 Q1

ja

klaar

pilot

02.02.03.B Upgrade capaciteit datacenternetwerk

2015 Q2

ja

klaar

service

02.02.03.C Centrale data infrastructuur gekoppeld met overige systemen

2015 Q3

ja

klaar

service

Initiële aansluiten gemaakt; eventuele verdere uitbreidingen zijn onderdeel van reguliere dienstverlening.

02.02.03.D Capaciteit van de externe verbindingen vergroot

2015 Q4

nee

volgend tijdvak

service

Vertraging door verlate levering QFX10002. Deze is in december geleverd in plaats van in september 2015. Afronding staat nu voor Q1 gepland.

02.02.04.A Upgrade setup CUA

2015-Q1

nee

loopt

service

Door gebrek aan resources is dit project verplaatst naar 2016.

02.02.04.B Optimaliseren SURFsara portal en app

2015-Q2

nee

vervallen

service

Door gebrek aan resources is dit project komen te vervallen

ja

klaar

service

02.02.04.C Nieuwe CFEngine in productie 2015-Q2

Type document (incl report)

Opmerking


2.3.3 Project 3: Rekenvoorzieningen Het hoofddoel van project rekenvoorzieningen is het aanbieden van geavanceerde en innovatieve rekenvoorzieningen voor simulatie- en modelleringsdoeleinden aan onderzoekers. Afhankelijk van het wetenschappelijk probleem/vraagstelling wordt er een keuze gemaakt in architectuur en ondersteuning om tot de oplossing / antwoorden te komen. Hiervoor zijn drie werkpakketten bepaald. Het eerste werkpakket “Capability computing” is vooral bedoeld om enkelvoudige zeer complexe rekenvraagstukken op te lossen, zoals klimaatmodellen. Bij het tweede werkpakket, ”Capacity computing” gaat het of om een klein aantal iets minder complexe vraagstukken of om heel veel eenvoudige berekeningen. Het laatste werkpakket, “HPC Cloud”, biedt wetenschappers de mogelijkheid om tijdelijk de beschikking te krijgen over een krachtig, virtueel computersysteem wat naar eigen inzicht kan worden geconfigureerd. Daarmee is HPC Cloud een efficiënt en effectief alternatief voor aanschaf van computers door de eindgebruikers zelf. Capability computing Begin dit jaar is de fase 2 uitbreiding van Cartesius in productie genomen. Het ging hierbij om een uitbreiding van het aantal processoren en storage. De totale rekencapaciteit is gegroeid naar 1,559 Pflops/sec (peakperformance). Hiermee was gelijk de belangrijkste deliverable volgens het jaarplan 2015 opgeleverd. De capability computing groep is bij veel Europese projecten betrokken. In Q1 is het PRACE-3IP project afgelopen en zijn de AARC en PRACE-4IP projecten gehonoreerd en gestart. Het Fortissimo 2 project is in Q2 gehonoreerd en is in Q4 opgestart. SURFsara participeert in en schrijft mee aan het PRACE-5IP (Horizon 2020/EINFRA-11-2016) voorstel dat eind maart 2016 bij de EC zal worden ingediend. Publicaties Fahimeh Alizadeh Moghaddam, Thomas Geenen, Patricia Lago, Paola Grosso Jaarrapport 2015

Pagina 14

A User Perspective on Energy Profiling Tools in Large Scale Computing Environments Proceedings Sustainable Internet and ICT for Sustainability (SustainIT), Madrid, April 14-15, 2015 M. Genseberger, J. Donners A Hybrid SWAN Version for Fast and Efficient Practical Wave Modelling Procedia Computer Science, Volume 51, 2015, Pages 1524–1533 doi: 10.1016/j.procs.2015.05.342 Erwin P. van der Poel, Rodolfo Ostilla-Mónico, John Donners, Roberto Verzicco A pencil distributed finite difference code for strongly turbulent wall-bounded flows Computers & Fluids, Volume 116, Pages 10–16, August 15, 2015 Cedric Nugteren, Valeriu Codreanu CLTune: A Generic Auto-Tuner for OpenCL Kernels IEEE 9th International Symposium on Embedded Multicore Many-core Systems-on-Chip (MCSoC15), Turin, September 23-25, 2015 Gebruiksinformatie 0%

Verdeling gebruik Cartesius per wetenschapsgebied 2015

0%

Verdeling gebruik Cartesius per Instituut 2015 2%

1%

Chemistry and Materials Sciences

0% 0%

Earth Sciences & Climate

0% 0%

Astronomy

8%

Physics

43%

Biosciences Informatics Other

11%

Mathematical Sciences

18%

0%

0%

Technical Sciences and Engineering

9% 11%

1% 0%

5%

Medical Sciences Linguistics

5%

23%

6%

8% 16%

10% 11%

12%

0%

UL UU TUD TT TUE RUG Astron UvA DECI VU LW RU CWI FOM FORTISSIMO EUR

Genomics

Grafiek: Gebruik Cartesius naar wetenschapsgebied en instituut

Wanneer er naar het gebruik van Cartesius per wetenschapsgebied wordt gekeken, dan zien we dat, net als in 2014, zes wetenschapsgebieden het gebruik domineren, namelijk “Chemistry and Material Sciences”, “Earth Sciences & Climate”, “Technical Sciences and Engineering”, “Astronomy”, “Physics” en “Biosciences”, waarbij vooral de eerste twee, wederom net als in 2014, duidelijk het grootste zijn. Als er gekeken wordt naar de verdeling over de Instituten dan zijn het traditioneel de universiteiten van Leiden, Utrecht en Groningen en de drie technische universiteiten van Eindhoven, Delft en Twente die het merendeel van de rekentijd gebruiken. Maar buiten deze zes instellingen maken nog zo’n 15 andere universiteiten, technologie instituten en Europese projecten gebruik van Cartesius.

Jaarrapport 2015

Pagina 15

Aggregate usage in SBU per month 35.000.000 30.000.000 25.000.000 GPU nodes

20.000.000

Fat nodes

15.000.000

Thin nodes Theoretical Capacity

10.000.000

Economical Capacity 5.000.000

dec-15

okt-15

aug-15

jun-15

apr-15

feb-15

dec-14

okt-14

aug-14

jun-14

apr-14

feb-14

dec-13

okt-13

aug-13

jun-13

0

Grafiek: Gebruik Cartesius ten opzichte van de maximale theoretische en economische capaciteit

De Cartesius uitbreiding in november 2014 met 1080 nodes van een nieuwer type is in januari 2015 beschikbaar gekomen voor de gebruikers, waardoor de capaciteit van het systeem verdrievoudigd is. Houden we rekening met de efficiëntere nieuwe nodes, dan is de capaciteitsgroei zelfs nog groter. Parallel aan de uitbreiding nam ook het gebruik per maand duidelijk toe, tot een ruime verdubbeling t.o.v. 2014 in juni en juli. Na juli ontstaat er een duidelijke dip in het gebruik, met een dieptepunt in september en oktober. Hierna volgt aan het eind van het jaar een voorzichtig herstel. Dit maakt 2015 een jaar met grotere extremen dan het voorafgaande jaar. Ook in 2014 zagen we na de zomermaanden een dip, maar duidelijk minder diep en minder lang aanhoudend. Toch steeg het totaal aantal gebruikte SBU’s ten opzichte van 2014 met ruim 60%. Er is een analyse gemaakt van dit gedrag. In de zomermaanden heeft een zéér groot DCCP (Dutch Compute Challenge Project) project in enkele maanden vrijwel hun volledige toekenning opgemaakt, terwijl ook enkele andere grootgebruikers intensief zijn gaan rekenen in die periode. De verklaart de grote piek in maanden juni en juli. Daarentegen waren er in de maanden september en oktober juist enkele grote programmaaanvragen, die aan hun einddatum waren, en waarvan de vervolgaanvraag even op zich liet wachten. Het grote DCCP project was toen afgelopen. Dit verklaart de dip in deze maanden. We zijn in samenspraak met NWO bezig om de aanvraagprocedure te stroomlijnen en eventuele knelpunten te verwijderen. Ook gaan we komend jaar nog gerichter individuele gebruikers en gebruikersgroepen benaderen om de uitgebreidere mogelijkheden van Cartesius beter voor het voetlicht te brengen. Capacity computing Er is dit jaar op verschillende vlakken gewerkt aan de toekomst van het Nationaal rekencluster. Op het gebied van hardware is de nieuwe Xeon Phi apparatuur dit jaar met succes in productie genomen (Deliverables D02.03.02.A en D02.03.02.C). Om het cluster verder te optimaliseren is er voor gekozen om nieuw job scheduling software te gaan gebruiken. Deze software, MOAB, wordt in samenwerking met de leverancier aangepast aan de wensen van SURFsara. Naar verwachting komt in Q1 2016 de eerste (productie)versie uit die voor de SURFsara infrastructuur geschikt is. Gebruiksinformatie Jaarrapport 2015

Pagina 16

Gebruik NRC Lisa door alle partners 7.000.000

6.000.000

5.000.000

4.000.000

3.000.000

2.000.000

1.000.000

Gebruik Derden Gebruik NWO (MPR+FOM) Gebruik VU

Gebruik UvA Theor. Capaciteit Ec. Capaciteit

0

Grafiek: Gebruik LISA ten opzichte van maximale theoretische en economische capaciteit

In juli 2015 is een aantal oude nodes van Lisa uitgefaseerd, waardoor er na juli nog alleen maar nieuwere 16-core nodes overgebleven zijn. De nieuwe nodes zijn aanzienlijk efficiënter dan de oude nodes. De rekentijd op Lisa wordt doorbelast op basis van het gebruikte aantal core-uren, ongeacht het type core. Dit kan een verklaring zijn voor de daling in het aantal gebruikte SBU’s , die we in de loop van 2015 zien. Immers, werd een deel van de rekenklussen vóór juli nog op oudere hardware gedaan in een bepaalde tijd, dan kon eenzelfde rekenklus op de nieuwere hardware voor aanzienlijk minder SBU’s geklaard worden. Ook is SURFsara in de loop van 2015 het gebruik van de Lisa nodes beter gaan monitoren en werden gebruikers, die minder efficiënt gebruik maakten van de hardware, actiever benaderd om hun rekenklussen efficiënter te maken. SURFsara heeft hiermee, indien dit nodig was, geholpen. Verschillende rekenaars op Lisa hebben hier gebruik van gemaakt, waardoor hun jobs soms tot wel 16x sneller klaar waren. Dit efficiënter gebruik van de hardware, resulteert natuurlijk wel in een wat mindere bezetting van Lisa, waardoor er ruimte komt voor andere gebruikers en de totale doorlooptijd voor veel rekenwerk korter wordt. Sinds november worden er ook steeds meer zogenaamde RCCS-contracten afgesloten, waarbij instellingen rekentijd op Lisa kunnen inkopen, waardoor medewerkers veel sneller toegang kunnen krijgen tot Lisa, buiten de normale weg van rekentijdaanvragen via NWO om. Het gebruik via deze contracten staat in bovenstaande grafiek onder het kopje “Gebruik Derden”. We zien dit vanaf november dan ook toenemen. HPC Cloud De HPC Cloud biedt individuele onderzoekers en onderzoeksgroepen een gevirtualiseerde rekeninfrastructuur die zij volledig zelf beheren en in kunnen richten, voor de duur van een onderzoek. Hierdoor is HPC Cloud een populair platform. Om aan de verwachtingen te kunnen blijven voldoen is in 2015 flink geïnvesteerd om de I/O performance, stabiliteit en schaalbaarheid te verbeteren. Verouderde hardware is vervangen en uitgebreid (waaronder deliverable D02.03.03.B), NFS is vervangen door CEPH (deliverable D02.03.03.C), en alle cloud nodes zijn voorzien van SSD’s zodat Jaarrapport 2015

Pagina 17

de VM’s de primaire storage lokaal kunnen betrekken. Ook op het gebied van interfaces zijn vele verbeteringen doorgevoerd. De verschillende (eenvoudigere) interfaces maken samen met een marketplace het systeem meer gebruikersvriendelijk. Hierdoor hebben gebruikers meer tijd om zich op het onderzoek/probleem te richten. De marketplace bevordert een community-aanpak: de door gebruikers gemaakte VM's kunnen eenvoudig met andere worden gedeeld. Projectnaam Rekenvoorzieningen

Project ID

Projectleider

Werkmij

02.03.00

Peter Michielse

SURFsara

Geld

Kwaliteit Planning

Risico


Rekenvoorzieningen (02.03.00 ) Projectresultaat Status ID Planning Gereed Monitor 02.03.01.A Cartesius Phase 2 in productie 2015-Q1 ja klaar

Type service

02.03.01.B Officiele ingebruikname Cartesius Phase 2

2015-Q2

nee

vervallen

event (incl workshop)


2015-Q1

ja

klaar


02.03.01.D Gebruikerstraining

2015-Q3

nee

volgend tijdvak


02.03.01.E Gebruik, analyse en impact van de voorziening

2015-Q3

ja

klaar


02.03.02.A Pilots op Xeon Phi apparatuur 2015-Q1

ja

klaar

pilot

02.03.02.B Gebruik, analyse en impact van de voorziening

2015-Q1

ja

klaar


02.03.02.C Xeon Phi in productie

2015-Q2

ja

klaar

service


2015-Q3

ja

klaar


02.03.02.E Lisa gebruikersdag

2015-Q4

ja

klaar



2015-Q1

ja

klaar


02.03.03.B GPU nodes in productie

2015-Q2

ja

klaar

service

02.03.03.C Block storage in productie

2015-Q2

ja

klaar

service


2015-Q3

ja

klaar


Opmerking

Deze activiteit is vervangen door het Super D Event op 15 december

De geplande training is vanwege het te lage aantal inschrijvingen gecanceld. In januari 2016 start een cursus op de UvA.

In plaats van een aparte Lisa gebruikersdag is er dit jaat voor gekozen om het in combinatie met de Cartesius te laten plaatsvinden; de Super D event.


2.3.4 Project 4: Visualisatie (hulpmiddelen) Het hoofddoel van project 4 is om onderzoekers te ondersteunen bij het inzicht krijgen in de resultaten van simulaties en analyse van grote hoeveelheden ongestructureerde data via innovatieve visualisatietechnieken en –faciliteiten. Het project Visualisatie heeft in het afgelopen jaar voor verschillende projecten visualisatie-tools en visualisaties geleverd. Zo heeft het project "VU ClusterView" voor het VU Center for Neurogenomics and Cognitive Research bruikbare visualisatie-tools voor complexe genetische datasets opgeleverd. Voor de Sterrenwacht Leiden is een eerste aanzet gemaakt voor visualisatie van resultaten van astronomische simulaties, en binnen het Fortissimo project wordt ontwikkeld aan een web-gebaseerd visualisatie-omgeving voor simulaties van suspensies (samen met het bedrijf Electric Ant Labs, een spinoff van de UvA). Ook is er is in 2015 ontwikkeld aan een software-laag voor de Oculus Rift VRheadset om eenvoudig wetenschappelijke visualisaties te kunnen maken en tonen. Op het Elvis remote visualisatie-cluster zijn vooral de technische universiteiten en enkele beta faculteiten (UvA, UT, TUD, UU en TUE) actief geweest, naast gebruik door SURFsara zelf. Met het beschikbaar komen van GPU nodes in het HPC Cloud wordt het hier ook mee mogelijk om remote visualisatie uit te voeren, naast de al beschikbare GPUs in Cartesius. Er is een start gemaakt met een vergelijking en evaluatie van deze verschillende mogelijkheden vanuit gebruikersperspectief. De pilot voor de webbased remote visualisatie (deliverable D02.04.01.B) is in het tweede kwartaal met succes afgerond. Jaarrapport 2015

Pagina 18

De productieversie heeft echter wel een vertraging opgelopen. Dit heeft te maken met een update van het gebruikte software framework Guacamole. Door de update wordt een flinke verbetering in de performance mogelijk gemaakt. Met als gevolg dat de web-based remote visualisatie portal, die gebruik maakt van Guacamole, ook een belangrijke verbetering in performance mogelijk is. Echter om deze update in te passen moet een gedeelte van de portal herschreven worden. Naar verwachting wordt de productieversie van de web-based remote visualisatie (deliverable D02.04.01.D) de eerste helft van 2016 opgeleverd. Projectnaam Visualisatie (hulpmiddelen)

Project ID 02.04.00

Projectleider Paul Melis

Werkmij SURFsara

Geld




Visualisatie (hulpmiddelen) (02.04.00 ) Status Type Planning Gereed Monitor 2015-Q1 ja klaar document (incl report)

02.04.01.B Innovatie-pilot: web-based 2015-Q2 remote visualisatie (test versie)

ja

klaar

pilot


ja

klaar


nee

loopt

service

ja

klaar


2015-Q3

02.04.01.D Web-based remote visualisatie 2015-Q4 (productie versie) 02.04.01.E Technologie-verkenning en vraagartticulatie visualisatievoorziening, definitie nieuwe pilots

2015-Q4

Opmerking

Oplevering in de eerste helft van 2016


2.3.5 Project 5: Nationaal datacenter (Ontwikkeling & Verhuizing) Het hoofddoel van project 5 is de inrichting en ingebruikname van het nieuwe nationaal HPC datacenter voor onderzoek. Daarnaast streven de SURF-instellingen naar professionalisering van hun datacenter activiteiten. SURF bereidt voor, installeert, exploiteert, ontwikkelt en bouwt een federatief nationaal data center concept uit. Binnen het project zijn twee werkpakketten, “Nationaal HPC datacenter” en “Model federatief datacenter / HO&O cloud”. Nationaal HPC datacenter Het doel van het werkpakket Nationaal HPC datacenter is de verhuizing van het SURFsara rekencentrum van VANCIS naar de Telecity nieuwbouw. Conform plan is er in dit werkpakket / project gewerkt aan de ontwikkeling, de inrichting, het beheer, de migratieprocedure en de inkoop van de diensten van de diverse leveranciers. Tevens is er gewerkt aan de exit van het VANCIS datacenter. In het komende jaar 2016 zal doorgegaan worden met de voorbereidende activiteiten zodat er in de periode van juli – november 2016 verhuisd kan worden. Als resultaat van het project zijn er projectplannen, migratieplannen, werkprocessen gedefinieerd, indelingstekeningen, de inventarisatie van het oude datacenter, et cetera beschikbaar op de projectdocumentatieshare. Financieel lopen we achter op planning doordat de inschatting van de interne uren te hoog is geweest. Model federatief datacenter / HO&O cloud Binnen dit werkpakket zijn in het eerste deel van het jaar verkennende activiteiten en gesprekken gevoerd. Eerst meer specifiek op federatieve datacenter concepten en IAAS. Later is dit verbreed naar de federatieve cloud. In de tweede helft van het jaar is tijdens de CvDUR vergadering van 18 september een voorstel aangenomen om de bereidwilligheid en potentie te inventariseren ten aanzien van federatieve dienstverlening binnen de sector HO&O. De inventarisatie heeft geresulteerd in de deliverable “CvDUR Inventarisatie Federatief Cloud” (D02.05.02.A). De belangrijkste bevinding is: er is een principiële behoefte aan federatief cloud, maar er zijn praktische bezwaren. Daarnaast blijkt het beeld van “wat is een federatieve cloud” nogal uiteenloopt. Globaal zijn er vier onderwerpen te onderscheiden: Samenwerken, aanbesteden, XAAS en datacenter. Deze vier onderwerpen komen allemaal in aanmerking voor een federatieve aanpak.

Jaarrapport 2015

Pagina 19

Projectnaam Nationaal datacenter (Ontwikkeling & Verhuizing)

Project ID

Projectleider

Werkmij

02.05.00

Axel Berg

SURFsara

Geld

Kwaliteit Planning

Risico


Nationaal datacenter (Ontwikkeling & Verhuizing) (02.05.00 ) Projectresultaat Status Type ID Planning Gereed Monitor 02.05.01.A Definitief projectplan inrichting, 2015-Q4 ja klaar document (incl organisatie en migratie HPC report) diensten nationaal HPC datacenter 02.05.02.A Rapport verkenning eisen, 2015-Q4 wensen en innovaties voor een federatief datacenter model

ja

klaar


Opmerking PID is afgerond

Rapport: Federatief cloud, inventarisatie onder CvDUR leden


2.3.6 Project 6: Expertisecentrum In 2015 zijn er door SURFsara een aantal grotere en kleinere cursussen georganiseerd. In januari wordt traditioneel de jaarlijkse HPC-cursus bij de UvA gehouden. Deze 5-daagse HPC cursus wordt zowel aan studenten als aan medewerkers gegeven door 8 SURFsara medewerkers. Naast deze meerdaagse training worden er een aantal kortere, vaak ééndaagse bijdragen geleverd aan seminars, workshop, en instructies. Bij deze instructies gaat het vaak om onderzoekers op gang te helpen en wegwijs te maken met de HPC-oplossingen die SURFsara biedt. Vaak naar aanleiding van ingekochte rekentijd op de Lisa en Cartesius. Tot en met 2014 werden trainingen en cursussen als onderdeel van de dienst georganiseerd. In 2015 is een begin gemaakt met de bundeling ervan in een expertisecentrum. Hieronder een kort overzicht van de georganiseerde trainingen in 2015: Maand Januari Maart April Mei

Juni

Augustus September Oktober

November December

Cursus / Training / Workshop Grid training HPC cursus voor studenten en medewerkers UvA Workshop: "How water research benefits from HPC Cloud" Algemene e-infra Algemene e-infra Guest lecture for MSc students of Informatics of the UvA-VU joint program: “HPC Cloud from a provider and a user perspective” Colloquium on “E-infrastructures and HPC Cloud" “E-infrastructures and HPC Cloud” for SW Carpentry Elixir workshop workshop at SURFsara “Introduction to the HPC Cloud” DTL programmers meeting "Docker workshop” Training Cloud – SURF medewerkers – 1 dag

Waar Erasmus MC UvA UNESCO-IHE AMC LIACS UvA – VU

Duur (dagen) 1 5 2 1

TUD UU

1 1

SURFsara DTL SURF

1 1 1

Training Cloud Training Lisa & Cartesius Training Lisa & Cartesius Workshop Machine Learning – UvA ILPS – 1 dag UNESCO-IHE: Seminar: "Introduction to HPC and HPC Cloud" for students in the Hydroinformatics masters program

UNESCO-IHE UvT EUR UvA UNESCO-IHE

0,5 0,5 1 1

1

Tabel: Georganiseerde cursussen 2015

Naast de cursussen die het afgelopen jaar zijn georganiseerd heeft het expertisecentrum een overzicht gemaakt van de trainingen die georganiseerd kunnen worden en die een bijdrage leveren aan het curricula van SURF instellingen (deliverable D02.06.01.B). Projectnaam Expertisecentrum

Project ID

Projectleider

Werkmij

02.06.00

Jeroen Engelberts

SURFsara

Geld

Kwaliteit Planning

Risico

Tabel 2.6: Management summary van project 6 in 2015 Jaarrapport 2015

Pagina 20

Projectresultaat ID Planning Gereed 02.06.01.A Overzicht van georganiseerde 2015-Q4 ja cursussen, master classes, seminars en publicaties 02.06.01.B Rapport verkenning mogelijkheden voor bijdrage aan curricula SURF instellingen.

2015-Q4

Expertisecentrum (02.06.00 ) Status Monitor klaar

ja

klaar


Opmerking Overzicht is gereed; Volgende stap is om te kijken wat er nodig is om het curriculum te verbreden.


Meer en meer instellingen vragen SURFsara voor cursussen. Inmiddels vormt SURFsara vast onderdeel bij de UvA en de TU Delft in het curriculum. Plannen voor de VU zijn in de maak.


2.3.7 Project 7: Samenwerkingsverbanden Het hoofddoel van het project Samenwerkingsverbanden is het actief deelnemen in nationale en internationale samenwerkingen. Het betreft hier samenwerkingen die substantiëler zijn dan de samenwerking tussen SURFsara medewerkers en onderzoekers in het kader van het gebruik van de e-infrastructuur. Vanuit dit project wordt vooral aandacht besteed aan het NLeSC in nationaal verband en PRACE en EGI.eu in internationaal verband. Bijeenkomsten met het NLeSC hebben zich vooral gericht op het inventariseren van mogelijke samenwerkingen en de bijdragen die SURF en haar werkmaatschappijen kunnen leveren aan de door het NLeSC gehonoreerde projecten. In het derde en vierde kwartaal van 2015 zijn hier concrete inventarisatiestappen gemaakt tijdens drie meetings. Dit heeft geleid tot het verder onderzoeken van samenwerking op onder meer de bijdrage van SURFsara aan de eSTEP-omgeving van het NLeSC en het mogelijk opstarten van nieuwe dienstverlening aan de SURF-doelgroep als resultaat van NLeSC projecten die aflopen. In 2016 worden hier verdere concrete stappen gezet. SURFsara is lid van PRACE (Partnership for Advanced Computing in Europe), en betaalt daar contributie voor. In Nederland werkzame onderzoekers kunnen daardoor voorstellen indienen voor rekentijd op de grootste Europese systemen (Tier-0 machines). SURFsara heeft een actieve rol in het leidende orgaan binnen PRACE, de Council, en is leading in het opzetten van de governance structuur voor PRACE 2 (2016-2010), waarbij ook het mandaat van de PRACE Managing Director meegenomen wordt. Andere belangrijke onderwerpen zijn het financieringsmodel van PRACE 2 (elke partner draagt bij aan de operationele kosten van de Tier-0 systemen) en de BTW-aspecten van een dergelijk financieringsmodel. SURFsara is binnen de PRACE implementatieprojecten actief op het gebied van applicaties en operaties. SURFsara doet al sinds 2001 mee aan het opbouwen en in stand houden van een gefedereerde globale data processing infrastructuur. Deze infrastructuur is indertijd opgezet mede door een aantal door de EU gefinancierde projecten. Deze EU projecten hebben uiteindelijk geleid tot het European Grid Initiative (EGI). SURFsara is lid en betaalt hier contributie voor. Naast deelname in de EGI Management Board is SURFsara binnen EGI vooral actief op het gebeid van operations (verantwoordelijk voor Nederland en België). Een belangrijke gebruiker van de EGI infrastructuur is de High Energy Physics community ten behoeve van het processen van data uit de Large Hadron Collider (LHC). SURFsara maakt samen NIKHEF deel uit van de Worldwide LHC Computing Grid (WLCG). SURFsara en NIKHEF vormen in dit verband samen een zogenaamd Tier 1 center. In het kader hiervan wordt alleen al bij SURFsara vele tientallen Petabytes aan data verwerkt. Projectnaam Samenwerkingsverbanden

Project ID

Projectleider

Werkmij

02.07.00

Peter Michielse

SURFsara

Geld

Kwaliteit Planning

Risico


Projectresultaat ID 02.07.01.A Rapportage lopende en potentiele samenwerkingsverbanden

Samenwerkingsverbanden (02.07.00 ) Status Type Planning Gereed Monitor 2015-Q4 ja klaar document (incl report)

Opmerking

Tabel 3.7: Deliverables van project 7 in 2015 Jaarrapport 2015

Pagina 21

2.3.8 Project 8: Technologiepartner en kennisbank SURF draagt zorg voor het verwerven, up-to-date houden en uitdragen van technologische kennis aan haar partners en aan onderzoekers. Dit project wordt als taak opgenomen in Programma 6: ICT-voorzieningen en samenwerkingsomgeving. Het project is ook niet in de begroting van Programma 2 meegenomen. Projectnaam

Project ID

Technologiepartner en kennisbank

02.08.00

Projectleider

Werkmij

Geld

Kwaliteit Planning

Risico

SURFsara

Tabel 2.8: Management summary van project 8 in 2015 ID

Projectresultaat Zie programma 6

Technologiepartner en kennisbank (02.08.00 ) Status Type Planning Gereed Monitor <selecteer> <selecteer>

Opmerking Deliverables zijn opgenomen in programma 6, evenals de financiering.


2.3.9 Project 9: Impact II Het Impact II project binnen programma 2 bestaat uit twee componenten die aanliggende doelen hebben. Enerzijds is er de bijdrage vanuit Impact II aan de uitbreiding van de nationale supercomputer Cartesius, het vergroten van de capaciteit voor Big Data toepassingen en aan het opzetten van Sector Clouds. Er wordt hierin zoveel mogelijk aangesloten aan de on-demand strategie met betrekking tot het uitbreiden van het systeem. Anderzijds is toegang tot en ondersteuning van het gebruik van de nationale e-infrastructuur door de Nederlandse industrie en het MKB onderdeel van dit project. SURF voert het Impact II programma van EZ uit, wat gericht is op het begeleiden van het MKB bij het gebruik van HPC voorzieningen zoals SURF die faciliteert. Voor Impact II is een apart programma met een eigen Controlling Document opgesteld, inclusief deliverables. Fortissimo & Fortissimo 2 SURFsara is partner in het EU FP7 I4MS Fortissimo project en het EU H2020 I4MS Fortissimo 2 project welke zijn gericht op het creëren van een marktplaats waar HPC providers, HPC softwareleveranciers, HPC consultants en MKB (gebruikers) elkaar ontmoeten. Het project zelf kent strikte rapportageverplichtingen en deliverables richting EU beiden met strikte deadlines. SURFsara leidt binnen het FP7 Fortissimo project het werkpakket dat een duurzaam business model en een duurzaam business plan ontwikkelt. De "second call" experimenten in WP6 zouden in januari moeten starten maar vanwege project-brede registratie problemen van MKB's bij de EU kon dit officieel pas vanaf 1 juli maar dan nog wel "at risk". Het resultaat van deze vertraging is dat we in WP6 (dus in Fortissimo als geheel) in 2015 gaan onder besteden. Oorspronkelijk was de einddatum van Fortissimo 30 juni 2016 maar vanwege de opgelopen vertraging zullen de experimenten tot en met 31 december 2016 mogen doorlopen. Eén van onze experimenten (met Electric Ant Lab) is op 1 juli gestart en verloopt voorspoedig. Ons andere experiment (met Deltares) is nog niet gestart. Dit heeft te maken met de formele status van de experimenten. WP8 heeft een aanzet gemaakt met het in kaart brengen van de ‘Fortissimo Marketplace Business Processes’. Het betreft een verdere uitwerking van de al ontwikkelde business modellen naar concrete business processen welke weer als input dienen voor de Fortissimo Marktplaats ontwikkelaars van WP2. Sector cloud In het werkpakket Sector Cloud wordt gewerkt aan het realiseren van Community Cloud diensten, waarbij in samenwerking met een aantal SURF instellingen, vorm wordt gegeven aan ICT diensten die niet in de markt verkrijgbaar zijn. In 2014 is de eerste SURF community cloud dienst SURFdrive Jaarrapport 2015

Pagina 22

operationeel geworden. In 2015 werkte SURF samen met een aantal instellingen in een drietal projecten aan nieuwe dienstverlening: Project KUBUS In dit project onderzoeken 6 hogescholen samen met SURF de mogelijkheden om gezamenlijk ICTinfrastructuurdiensten (IaaS-diensten) te organiseren. Het gaat hier onder andere om opslag en virtuele machines. Het doel is om op het gebied van ICT-infrastructuur schaalgrootte te bereiken waarmee de ICT-omgeving naar een hoger kwaliteitsniveau kan worden getild. Het gaat dan voornamelijk om zaken als continuïteit, betrouwbaarheid, beschikbaarheid, flexibiliteit, schaalbaarheid en beveiliging. De verwachting is ook dat door het bundelen van kennis en middelen de kosten beter te flexibiliseren zijn en dat de focus van het ICT-management meer op de businessgerelateerde ICT-voorzieningen gericht kan worden. Deelnemers: Hogeschool Utrecht, Hogeschool Leiden, Hogeschool Inholland, Hogeschool Saxion, Hogeschool Arnhem Nijmegen en Fontys Hogescholen Status na Q4: op 1 augustus is door SURF een propositie opgeleverd aan de 6 deelnemende hogescholen. In de propositie wordt een hybride cloud (mix & match) voorgesteld waarin IaaS componenten uit de markt (buy) worden gecombineerd met eigen SURF infrastructuur (make). De propositie is door de hogescholen positief ontvangen. De propositie is vervolgens aan alle SURF instellingen gestuurd, om te kijken met welk volume de dienst SURF-breed zou kunnen starten. De specificaties voor een benodigd Cloud Management Platform (CMP) voor de integratie van de IaaS aanbieder als een interface naar de klanten zij bepaald en een PoC is opgezet en getest met een aantal deelnemende Hogescholen. Momenteel is een aanbesteding van het CMP in voorbereiden. Verder zijn een aantal stappen ondernomen ter voorbereiding van dienstverlening zoals (a) advies voor de inrichting van een regieorganisatie die door SURFnet als regie voerende partij voor de dienst zal worden ingericht, (b) voorbereiding en inventarisatie eigen IaaS infrastructuur voor dienstverlening en (c) onderzoek in hoeverre aangehaakt kan worden en gebruik gemaakt kan worden van een Europese aanbesteding die momenteel door GEANT wordt uitgevoerd. De dienstverlening is op 1-7-2016 operationeel. Project Web services In dit project verkennen een aantal instellingen samen met SURF de ontwikkeling van web services dienstverlening. Onder web services verstaan we onder meer webhosting en aanvullende diensten op dit gebied. Bijvoorbeeld de koppeling van databases en ontwikkelmodules voor het bouwen van websites, waarbij ondersteuning wordt geboden voor verschillende applicaties zoals Wordpress en Joomla. De instellingen zoeken naar een betere ondersteuning van hun gebruikers en willen een goede en toekomst vaste oplossing voor web services bieden. Deelnemers: Vrije Universiteit, Universiteit van Amsterdam, Rijksuniversiteit Groningen, Technische Universiteit Eindhoven, Wageningen UR en Hogeschool van Amsterdam Status na Q4: na oplevering van een gezamenlijk Pakket van Eisen voor de web services is in de volgende fase (fase 2) zijn leveringsmodellen onderzocht en is door SURF een propositie voor dienstverlening opgesteld en aangeboden richting de betreffende instellingen. Momenteel wordt het initieel volume van de dienst bepaald waarna dienstcomponenten zullen worden aanbesteed.

Project UMC's In dit project verkennen alle 8 UMC's samen met SURF de ontwikkeling van een 'roadmap' aan commodity ICT diensten in een strategische samenwerking tussen SURF en de UMC's. Voor 2015 zijn dit: Exchange, SharePoint, SURFdrive, SURFconext sterke authenticatie, IPS/secure netwerk, IaaS, storage/archiving en shared datacenter. Status na Q4: Eind oktober 2015 is door SURF een propositie opgeleverd aan de UMC’s voor Exchange en SharePoint dienstverlening. De propositie is gebaseerd op Office365 van Microsoft. Security en privacy issues met deze publieke clouddienst zijn besproken en afgestemd met de security en privacy officers van de UMC’s. Momenteel wordt gewerkt aan business cases per UMC en een go-nogo voor elke UMC. Jaarrapport 2015

Pagina 23

Private sector Het private sector programma is gericht op het stimuleren van innovatie bij het Nederlands bedrijfsleven met behulp van High Performance Computing en Big Data infrastructuur. In totaal zijn er met ruim 20 bedrijven gesprekken gevoerd, en dit heeft in een aantal gevallen geleid tot concrete resultaten. Het type bedrijf liep hierbij uiteen van zzp’ers en mkb’ers tot multinationals zoals ING en ASML. Tevens is de samenwerking opgezocht met marktpartijen die HPC capaciteit leveren aan het bedrijfsleven. Deze marktpartijen wensen graag gebruik te maken van de SURFsara HPC infrastructuur om hun klanten HPC oplossingen te bieden die ze anders niet zouden kunnen aanbieden. Ook zijn de banden aangehaald met Data Science Alkmaar om samen te werken aan Big Data oplossingen voor het bedrijfsleven. Tot slot maakt SURFsara onderdeel uit van het Doorbraakproject Big Data van het Ministerie van Economische Zaken. Dit is een PPS met onder andere TNO, Min. EZ, Min. BZK en ECP om het gebruik van Big Data door het Nederlands bedrijfsleven aan te jagen en doorbraken te forceren. Projectnaam Impact II

Project ID

Projectleider

Werkmij

02.09.00

Maurice Bouwhuis

SURFsara

Geld

Kwaliteit Planning

Risico


Jaarrapport 2015

Pagina 24

ID

Projectresultaat Planning Gereed Articulatie van 2015-Q3 ja gebruikerswensen ter bepaling van on-demand uitbreiding

Impact II (02.09.00 ) Status Monitor klaar


Opmerking Deliverable A1.2_01 in CD EZ

Contract afsluiten met BULL

2015-Q4

nee

<selecteer>

contract

Deliverable A1.2_02 in CD EZ

Technische realisatie 2e community cloud dienst

2015-Q1

nee

loopt

service

Deliverable A4_12 in CD EZ

Evaluatie pilot CC eindgebruikers

2015-Q2

nee

nog niet gestart



Commitment aantal SURF 2015-Q3 instellingen om 2e community cloud dienst te gaan afnemen

ja

klaar

contract


Gecontroleerde uitrol 2e CC 2015-Q4 dienst bij eerste klant instelling

nee

loopt

pilot


Organisatie van 1 evenement

2015-Q1

nee

vervallen


Deliverable B1_16 in CD EZ

Training Supercomputing voor het MKB

2015-Q1

ja

klaar



Deelname aan 3 evenementen 2015-Q1

ja

klaar



Presentatie bij 1 evenement

2015-Q1

ja

klaar




ja

klaar




2015-Q2

ja

klaar




2015-Q2

nee

vervallen



Updaten brochures over MKB & industrie

2015-Q2

ja

klaar



Updaten websites SURFsara, Doorbraakproject en KvK

2015-Q2

ja

klaar

service



ja

klaar




2015-Q3

ja

klaar




2015-Q3

nee

vervallen



In kaart brengen HPC community

2015-Q3

nee

vervallen




ja

klaar




2015-Q4

ja

klaar




ja

klaar



Opzetten HPC samenwerkingsverband

ja

klaar

contract


nee

<selecteer>



2015-Q4

Training clustercomputing voor 2015-Q4 het MKB 15 quickscans voor toegang tot pilot projecten

2015-Q1

ja

klaar

pilot


10 pilot projecten met MKB

2015-Q1

ja

klaar

pilot


15 quickscans voor toegang tot pilot projecten

2015-Q2

ja

klaar

pilot



2015-Q2

ja

klaar

pilot



2015-Q3

ja

klaar

pilot



2015-Q3

ja

klaar

pilot


Licentieovereenkomst met 1 ISV voor gebruik MKN

2015-Q4

ja

vervallen

contract



2015-Q4

ja

klaar

pilot



2015-Q4

ja

klaar

pilot


Rapportage Jaarrapport 2015 met (potentiele)

2015-Q1

nee

vervallen


Deliverable B3a_05 in CD EZPagina

Rapportage met (potentiele) onderzoeksprojecten

2015-Q2

nee

vervallen


Deliverable B3a_06 in CD EZ

onderzoeksprojecten

25


2015-Q1

nee

vervallen




2015-Q2

nee

vervallen




2015-Q3

nee

vervallen




2015-Q4

nee

vervallen



Rapportage met (potentiele) transities naar reguliere marktpartijen

2015-Q1

nee

vervallen


Deliverable B3b_05 in CD EZ


2015-Q2

nee

vervallen




2015-Q3

nee

vervallen




2015-Q4

nee

vervallen




2.3.10 Project 10: Vervanging Cartesius 2017 In 2015 is besloten om de vervanging van Cartesius met ruim een jaar uit te stellen van 2017 naar 2018. Cartesius zal in Q4 van 2016 met Bull sequana technologie (gebaseerd op Intel Broadwell processors) worden uitgebreid met 260 Tflop/s. Daarnaast is het onderhoudscontract van Cartesius in 2015 verlengd tot 15 oktober 2018. Vervanging van Cartesius zal pas op zijn vroegst in Q4 van 2018 plaatsvinden. Gegeven deze herziene tijdslijn is er geen reden om op dit moment al een onderbouwing te geven ter ondersteuning van de vervanging Cartesius. Dit is mede gezien de onzekerheid in de in 2018-2019 beschikbare hardware waar we dus ook geen betrouwbaar overzicht van kunnen geven. Om deze redenen wordt deliverable 02.10.01.A uitgesteld tot Q3-2017. Over het gebruik van Cartesius in 2015 wordt regulier gerapporteerd in de verslaglegging ten behoeve van Project/Werkpakket 02.03.01. Projectnaam Vervanging Cartesius 2017

Project ID 02.10.00

Projectleider Walter Lioen

Werkmij SURFsara

Geld


Tabel 2.10: Management summary van project 10 in 2015 Vervanging Cartesius 2017 (02.10.00 ) ID Projectresultaat Planning Gereed Monitor Status Type 02.10.01.A Rapport ter onderbouwing van 2015-Q4 nee nog niet gestart document (incl het belang van report) supercomputing voor het Nederlandse onderzoek

Opmerking De vervanging van Cartesius is met een jaar uitgesteld. Daarom is oplevering van deze deliverable nu zinloos.


2.3.11 Project 0: Programmamanagement Het programmamanagement heeft zich in 2015 vooral gericht op twee aspecten: het inrichten van het rapportage en controlling documents proces, en op het monitoren van middelen, vooral op het gebied van investeringen. Programma 2 is een groot programma met veel projecten, werkpakketten en activiteiten. Om hierover volledig en handzaam te rapporteren is een strak proces noodzakelijk. In Q1 2015 is dat opgezet, in Q2 intern SURFsara geëvalueerd en vervolgens met enkele kleine aanpassingen doorgevoerd. Daarnaast is het controlling documents en jaarplanproces voor 2016 in het najaar van 2015 binnen de gestelde termijnen uitgevoerd. Wat betreft het monitoren van middelen, de focus is vooral geweest op de geplande investeringen voor 2015. Benodigde budgetten zijn in de zomer van 2014 ingevuld, op basis van verwacht gebruik en verwachte technologie. Gedurende 2015 treden hier mogelijk veranderingen op, waardoor een Jaarrapport 2015

Pagina 26

ander investeringsregime mogelijk wordt. Programmamanagement heeft hier zoveel mogelijk op geanticipeerd en rekening mee gehouden. Wat betreft de specifieke projecten, inzet van personeel in de verschillende projecten is in het algemeen volgens planning verlopen. In enkele grote werkpakketten binnen grote projecten is er sprake geweest van meer inzet op bepaalde activiteiten. Dit is gecompenseerd door minder inzet op andere activiteiten, in het algemeen binnen hetzelfde werkpakket. Al met al heeft programmamanagement iets meer besteed dan voorzien (79k werkelijk tegen 70k gebudgetteerd). Projectnaam Programmamanagement

Project ID 02.00.00

Projectleider Peter Michielse

Werkmij SURFsara

Geld



Projectresultaat ID 02.00.00.A Programmamanagement

Programmamanagement (02.00.00 ) Status Planning Gereed Monitor 2015 nee loopt

Type service

Opmerking Onder controle


2.4. Gerealiseerde samenwerkingen Binnen dit programma en de onderliggende projecten is samengewerkt binnen de SURF-familie, en met nationale en internationale partners. Samenwerking vindt op veel manieren plaats, variërend van de individuele gebruiker van de e-infrastructuur tot deelname in samenwerkingsverbanden en participerend in gebruikers communities. 2.4.1 Samenwerkingspartners Met de volgende belangrijkste partners op nationaal niveau is samengewerkt, met als resultaten:

 

  



NLeSC: Inventarisatie van zowel inhoud als manier van samenwerking: eSTEP, vertaling van NLeSC projecten resultaten in mogelijke dienstverlening; Nationale e-infrastructuur partners Nikhef en CIT-RUG: In stand houden van de grid en cloudinfrastructuur met zowel ondersteuning van investeringen, onderhoud en menskracht. De grote gebruikerscommunities van Hoge Energie Physica (HEP) en Astronomie (Lofar) profiteren hier van met betrekking tot gebruik van de e-infrastructuur ten behoeve van hun onderzoek; NL EGI: Voorbereidingen getroffen voor de start van EGI Competence Centers, te weten MoBrain, Elixir en BBMRI; NWO-Exacte Wetenschappen: In het kader van peer review van aanvragen voor toegang tot de nationale supercomputer Cartesius deelname in de commissie Wetenschappelijk Gebruik Supercomputers, zodat direct technisch geoordeeld kan worden over ingekomen voorstellen; RDNL (Research Data Netherlands) is een samenwerkingsverband tussen SURFsara, 3TU DataCenter en DANS. Met deze coalitie, die ook voor andere partijen open staat, bundelen de drie data-archieven hun krachten op het gebied van duurzame data-archivering. (Dit komt uitgebreider terug in de jaarrapportage van het innovatieprogramma P4) Landelijk coördinatiepunt research data management: De vereniging van universiteiten (VSNU) heeft SURF gevraagd om een compact en slagvaardig Landelijk Coördinatiepunt Research Data Management op te zetten. SURF pakt dit op in nauwe samenwerking en afstemming met de Research Data Netherlands (RDNL) partners en waarbij vanzelfsprekend ook de bredere SURF doelgroep (hoger onderwijs en onderzoek in Nederland) in het vizier is zodat Nederland tot efficiënte en effectieve ontwikkeling en uitvoering van Research Data Management kan komen.

Jaarrapport 2015

Pagina 27



NWO & ZonMW: Om onderzoekers in staat te stellen (data intensief) onderzoek te verrichten en te voldoen aan eisen van onderzoeksfinanciers en onderzoeksuitvoerende organisaties, zijn we in gesprek met financiers om te zorgen dat onderzoekers toegang hebben tot (voorgefinancierde) faciliteiten binnen de nationale e-infrastructuur of over de middelen beschikken diensten direct in te kopen bij bijvoorbeeld de eigen instelling

Internationale samenwerkingspartners:



      

PRACE: Deelname in HPC (Capability) EU-gefinancierde implementatieprojecten, waarbij SURFsara vooral werkt aan applicaties die (ook) voor de Nederlandse gebruikers interessant zijn. Daarnaast draagt SURFsara significant bij aan de activiteiten van de PRACE Council, met name op het gebied van governance; EGI.eu: Deelname in de overkoepelende EGI organisatie, in relevante gremia als Council, etc; EUDAT2020: Deelname en mede-ontwerpen van een Europese strategie op het gebied van data management faciliteiten; EPIC: Deelname aan de uitbreiding van persistent identifiers en de technische hosting ervan; Fortissimo: Uitvoering van de aan Nederlandse MKB gerelateerde projecten (implementatie, optimalisatie). Onder andere met Deltares, SCM en Electric Ant Lab; NVIDIA: Hernieuwde erkenning van SURFsara als GPU Research Center. Hiermee kunnen gebruikersapplicaties op de nieuwste GPU-hardware getest worden; Atos/Bull: Inventarisatie van samenwerking in H2020 FETHPC voorstellen; Intel: beschrijving van een projectvoorstel aangaande machine learning.

2.4.2 SURF-familie Programma 2 bevat de rekenen data-infrastructuren en is een programma binnen het geheel van het MJP dat innoveert, ontwikkelt, implementeert en levert. Andere innovatieprogramma’s stemmen vooral af met de doelgroep van SURF: (hoger) onderwijs en onderzoek. Om de juiste zaken voor de doelgroep te doen is dus interactie nodig tussen programma 2 en de andere programma’s. Meest tastbaar is de interactie tussen programma 2 en programma 6: ICT-samenwerking voor onderzoek. Het betreft hier enerzijds het creëren van awareness binnen de doelgroep van het bestaan van een uitstekende e-infrastructuur binnen SURF, en dat die te gebruiken is voor onderzoek en onderwijs, en anderzijds het faciliteren en trainen van onderzoeksondersteuners binnen de instellingen, om op die manier meer gebruikers te kunnen bereiken. Programma 2 ondersteunt in deze activiteiten, heeft daardoor meer contacten met gebruikers gekregen, wat zich zal kunnen vertalen in toename van gebruik. Daarnaast is Enlighten Your Research een vehikel om specifieke gebruikers te ondersteunen op het gebied van innovatieve combinaties van netwerk, compute en datainfrastructuur. Programma 4 werkt aan een data management strategie, en gaat op zeker moment de bevindingen uit een brede inventarisatie delen met programma 2, zodat op basis daarvan technologie- en implementatiekeuzes kunnen worden gemaakt. Zover is het echter nog niet. In programma 3 wordt onder meer gewerkt aan dynamic services, waarin ook het NLeSC betrokken is. Programma 2 heeft hierdoor mede de samenwerking met het NLeSC kunnen opstarten waar het de bibliotheek van methoden eSTEP betreft, zodat vervolgstappen in 2016 gemaakt kunnen worden.

2.5. Risicomanagement Bij aanvang van het programma zijn diverse risico’s benoemd in het controlling document. Deze risico’s zijn gedurende het jaar bewaakt en gemanaged. Jaarrapport 2015

Pagina 28

tabel 5: Risicomanagement Risico Risico omschrijving

Kans

Impact

Prio (KxI)

Niet voldoende menskracht (intern en extern) beschikbaar.

3

4

12

02.01.00 - Leverancier kan niet (op tijd) de 02.04.00 juiste hardware leveren

2

2

4

02.05.00

Oplevering nationaal datacenter loopt vertraging op

2

5

10

02.10.00

Benodigde financiele komen niet volledig beschikbaar

4

4

16

Goed extern lobbyen / key-users mobiliseren

02.10.00

Middelen komen later beschikbaar

5

3

15

Binnen SURF, belang capability computing MT + Project voor Nederlands onderzoek benadrukken. manager

SRF-Id 02.00.00

Maatregel

Wie

Zorgen voor een goede resource planning Programma en afstemming met andere programma's manager en werkzaamheden In aanbestedingen goede leverings en boetevoorwaarden opnemen + goed testprotocol Aanpassing migratieplanning / Herziening afspraken met huidge en nieuwe leverancier

Programma manager Programma manager + SRO MT + Project manager

Ten behoeve van de overzichtelijkheid zijn die risico’s hier aangegeven die voor de meeste projecten binnen programma 2 vallen. Dat betreft onder meer de levering van hardware, die zowel voor projecten 1, 2 en 3 geldt. Interne en externe menskracht feitelijk voor elk project. Er zijn gedurende het gehele jaar geen relevante risico’s voorgevallen. Wel is gedurende de realisatie van de projecten en werkpakketten voortdurend aandacht aan de risico’s gegeven, om in eventueel voorkomende gevallen adequate (tegen-)maatregelen te kunnen treffen.

2.6. Doorkijk navolgende jaren Programma 2 heeft voor de komende jaren op hoofdlijnen gelijkblijvende doelen en ambities. Echter door technologische en maatschappelijke ontwikkelingen veranderen accenten en oplossingsrichtingen. Aansluiting en afstemming met andere programma’s zorgt ervoor dat gebruikers- en community-wensen resulteren in aanpassingen in lange termijn architectuur en gekozen oplossingen. Hieronder worden een aantal projecten uitgelicht waarbij de accenten verschuiven of de oplossingsrichting aan het veranderen is. Project 1: Lange termijn dataopslag en –ontsluiting Uit Programma 4, Duurzame data, komt informatie beschikbaar over gebruikerswensen. Deze worden vertaalt in lange termijn architectuur, user-interfaces en gebruikersmogelijkheden. Project 2: Data analyse Er ontstaat vanuit de gebruikersgemeenschap een grote behoefte aan Cloud services. SURFsara speelt hier op in door onder andere innovatie van de grid omgeving. Grid diensten gaan naar een cloud oplossing. Op het gebied van Big Data zijn vele innovatieve ontwikkelingen die SURFsara onderzoekt en toetst op bruikbaarheid. Kennis hierover wordt gedeeld met de community door workshops en trainingen. Project 3: Rekenvoorzieningen Ook binnen de rekenvoorzieningen zien we een grote belangstelling ontstaan voor Cloud services, in dit geval SURFsara’s HPC Cloud. SURFsara pakt deze belangstelling op door de omgeving toegankelijker en schaalbaarder te maken. Binnen het werkpakket Capability computing is besloten om de vervanging van de Cartesius uit te stellen en gebruik te gaan maken van Bull sequana technologie om de performance van de supercomputer uit te breiden met 260 Tflop/s. Project 5: Nationaal datacenter In 2016 neemt SURFsara het nieuwe generatie state-of-the-art datacenter in gebruik. Dit duurzaam en energie effectief datacenter levert goede mogelijkheden voor het aanbieden van clouddiensten en Jaarrapport 2015

Pagina 29

is een prachtige faciliteit voor federatieve samenwerkingen. Binnen het werkpakket Model federatief datacenter is sprake van een verbreding van de scope, en bestrijkt nu federatieve samenwerkingsvormen in veel bredere zin. Van datacenter tot en met de expertise van specifieke applicaties. Project 10: Vervanging Cartesius Besloten is om de vervanging van de Cartesius uit te stellen tot 2018 en om in Q4 2016 Cartesius uit te breiden met Bull sequana technologie. De performance neemt hiermee toe met 260 Tflop/s.

Jaarrapport 2015

Pagina 30

Bijlage 1: Legenda’s

Legenda financieel (objectief o.b.v. bedragen) De som van de uitgaven van alle onderliggende projecten en werkpakketten mag niet meer zijn dan het totaal toegekende budget voor het programma in 2015, waarbij een project niet meer dan 10% van het projecttotaal met een maximum van € 250.000,- per project mag overschrijden. Bij overschrijding van het gehele programma of bij een van de onderliggende projecten met meer dan 10% of bij een overschrdijding van het maximum van € 250.000 Projectfase is nog niet gestart.

Legenda 1

Legenda management samenvatting (subjectief o.b.v. programmamanager) Het project loopt volgens plan en binnen de afgesproken toleranties. Het project loopt tegen issues aan, maar de projectmanager verwacht wel binnen de projecttoleranties te kunnen blijven. Het projectrisico is geïdentificeerd en er zijn acties gedefinieerd om de risico's in te perken, op te lossen of te voorkomen. Er wordt nog niet geëscaleerd naar opdrachtnemer of opdrachtgever. Het project loopt tegen issues aan en komt buiten de projecttoleranties. Het projectrisico is geïdentificeerd, maar de ondernomen acties helpen onvoldoende. Er is of dient geëscaleerd te worden naar opdrachtnemer of zelfs opdrachtgever. Projectfase is nog niet gestart. Legenda 2

Jaarrapport 2015

Pagina 31

Jaarrapport 2015 Programma 2: Reken- en data infrastructuren

Recommend Documents