Visualisatie: essentieel gereedschap voor de analyse van Big Data

Visualisatie: essentieel gereedschap voor de analyse van Big Data Visualisatie White Paper SARA februari 2012

Inhoudsopgave

Management samenvatting

3

Inleiding

4

Remote visualisatie: high-end visualisatie in het lab van de onderzoeker

5

Big Data vereisen Megapixels: tiled displays

8

Remote visualisatie

9

3D visualisatie

10

In-situ visualisatie

10

Implementatie van workflows

11

Collaborative visualization, videoconferencing en samenwerking in het ‘Collaboratorium’

12

Specificaties van de faciliteit

13

Visualisatie voor en door de topsectoren

14

Ontwikkeling van gereedschappen en applicaties

15

Conclusie

16

Referenties

17

Visualisatie White Paper SARA | februari 2012

Management samenvatting Wetenschappelijke datasets worden exponentieel omvangrijker en complexer. Bij de exploratie en analyse van deze Big Data heeft de onderzoeker gebruiksvriendelijke gereedschappen en infrastructuur nodig. Wetenschappelijke visualisatie is een middel om beter en sneller uit data informatie en kennis te verkrijgen. Verschillende methodieken en omgevingen worden hieronder in detail besproken voor de analyse van Big Data, zoals remote visualisatie, hoge-resolutie visualisatie op multi-megapixel tiled display panels, 3D visualisatie, en in-situ visualisatie. Binnen de Nederlandse nationale e-Infrastructuur heeft de onderzoeker toegang tot expertise, tools en infrastructuurdiensten die noodzakelijk zijn voor onderzoek. SARA speelt, in samenwerking met andere instituten, een belangrijke rol in het faciliteren en ondersteunen van wetenschappelijk onderzoek door het beschikbaar stellen van expertise, gebruiksvriendelijke en geavanceerde (remote) visualisatie en collaboratietools en diensten. Recent heeft SARA samen met het Netherlands eScience Center (NLeSC) een nieuwe dienst en faciliteit voor samenwerking en Big Data exploratie en analyse genaamd Collaboratorium gerealiseerd. Het Collaboratorium is gebaseerd op de technologie en diensten die door SARA zijn ontwikkeld, en sluit nauw aan bij de eisen van eindgebruikers. Deze faciliteit bevindt zich in het ICT Synergy Hub-gebouw van SARA in Amsterdam.

Figuur 1: Hoge-resolutie visualisatie van een simulatie van turbulentie in atmosferische grenslagen, gezien op het display van het nieuwe Collaboratorium. Bron: Prof. dr. Harm Jonker, Faculteit Toegepaste Weten schappen, TU Delft.

 


3

Inleiding Wetenschappelijke onderzoekers worden vandaag de dag geconfronteerd met een exponentiële groei en complexiteit van data uit observatie, experiment en simulatie. Datasets van tientallen, zelfs honderden Terabytes zijn geen uitzondering meer. Ook is de verkregen data steeds vaker van belang binnen meerdere disciplines of is de data niet goed te interpreteren zonder de samenwerking met onderzoekers uit andere disciplines.

Figuur 2: Visualisatie van een simulatie van in-stent restenosis (dichtslibben van een bloedvat rond een stent). Bron: Project Coast, Alfons Hoekstra, UvA, EUFP6ISTFET Contract 033664; visualisatie: SARA .

Visualisatie is een onmisbaar hulpmiddel geworden bij het exploreren, analyseren en begrijpen van Big Data. Dit vereist bruikbare, gebruiksvriendelijke en geavanceerde gereedschappen, infrastructuur en expertise. Technologische ontwikkelingen op het gebied van high-speed netwerken, hogeresolutie displays en nieuwe interactietechnieken maken het nu mogelijk om aan de eisen die onderzoekers stellen (laagdrempelig gebruik, eenvoudige interface, Big Data en samenwerking) te voldoen. Geavanceerde visualisatieopstellingen voor analyse en exploratie van grote en complexe datasets worden gecombineerd met faciliteiten die de onderzoekers mogelijkheden bieden voor (remote) samenwerking, presentaties en communicatie met   collega’s. Nieuwe methodieken voor het visualiseren van en navigeren door de grote datasets maken gebruik van geavanceerde visualisatiehardware en -software en moderne ‘Human-Computer Interfaces’. Een combinatie van renderfaciliteiten, hoge-resolutie (2D en 3D) displays, videoconferencing en presentatiemogelijkheden in een ruimte die uitermate geschikt is voor discussie, stelt (groepen) onderzoekers in staat om grote (multidisciplinaire) vraagstukken optimaal te bespreken in samenwerking met (remote) collega’s uit de vakgebieden en e-Science-specialisten. SARA realiseert samen met NLeSC een nieuwe faciliteit, het Collaboratorium, waarin hoge resolutie displays, rendering van remote data, interactie, samenwerking en gebruiksgemak direct aansluiten bij de eisen die wetenschap en bedrijfsleven vandaag en morgen stellen. Het Collaboratorium is gebaseerd op de technologie en diensten die door SARA zijn ontwikkeld en sluit nauw aan bij de eisen van eindgebruikers. Bij deze ontwikkeling wordt nauw samengewerkt met CalIT2 (San Diego) 1, EVL (University of Illinois at Chicago) 2 en NCSA (University of Illinois at Urbana-Champaign) 3, erkende topinstituten op dit gebied in de wereld. Door uitgebreide en langdurige samenwerking met onderzoekers binnen en buiten Nederland heeft SARA het wetenschappelijk werkdomein en de behoefte aan gereedschappen voor de analyse van wetenschappelijke data met behulp van visualisatie in de afgelopen jaren goed leren kennen. Hiermee wordt deze kennis en ervaring ingezet op een aantal facetten van ‘scientific visualization’. Het aanbieden van dergelijke expertise en diensten, met de ondersteuning om deze te gebruiken, past in de lange historie en de ruime ervaring en expertise van SARA op het gebied van geavanceerde visualisatie voor wetenschap, overheid en bedrijfsleven. Met de komst van het NLeSC kunnen nog meer eindgebruikers worden bediend.


4

Remote visualisatie: high-end visualisatie in het lab van de onderzoeker Met de groei in complexiteit en hoeveelheid gegenereerde data van wetenschappelijke modellen wordt het steeds uitdagender om bijbehorende visualisaties te maken. Hiervoor is vaak grote en parallelle renderingcapaciteit nodig in de vorm van een cluster met GPU’s. Daarnaast zijn datasets door de toenemende grootte steeds lastiger te migreren en ligt het voor de hand om de data te laten staan waar deze gegenereerd wordt.

Figuur 3: NetherLight in Amsterdam vormt een belangrijk en voor Europa uniek knooppunt in het wereldwijde optische netwerk voor onderzoek en onderwijs. Bron: GLIF, visualisatie: Bob Patterson NCSAUIUC, data:

 

Maxine Brown EVLUIC.

Remote visualisatie speelt in op de bovenstaande beperkingen door gebruik te maken van de mogelijkheden van de hedendaagse snelle netwerken die lokaal en ook wereldwijd transatlantisch beschikbaar komen (GLIF: Global Lamba Integrated Facility). Dat maakt het mogelijk om visualisatieapplicaties op een dedicated high-end renderingfaciliteit uit te voeren. Deze faciliteit bevindt zich in het datacenter en heeft een snelle datakoppeling met centrale storage. Over de netwerkverbinding die de gebruiker met de faciliteit heeft worden alleen visualisatiebeelden gestuurd, in plaats van grote databestanden. Er worden dus pixels verstuurd in plaats van files. Figuur 4: Het principe van remote visualisatie: via een netwerkverbinding stuurt de eindgebruiker visualisatieopdrachten naar een rendercluster dat zich op afstand (in dit geval bij SARA) bevindt. Na rendering worden de beelden teruggestuurd naar de gebruiker als een stroom pixels.

  Sinds begin 2011 biedt SARA een Remote Visualisatie Service waarmee gebruikers visualisaties op afstand kunnen uitvoeren op datasets die in het SARA-datacenter opgeslagen zijn. De gebruiker heeft zelf niet meer nodig dan een remote desktop viewer en stuurt het visualisatieproces zelf vanaf zijn laptop of werkstation. De binnen de nationale e-Infrastructuur beschikbare faciliteiten voor remote visualisatie bevat onder meer een geavanceerd rendercluster met 16 nodes met high-end GPU’s. Belangrijk is dat er een transparante datakoppeling is met de andere processing- en dataopslagfaciliteiten binnen de nationale e-Infrastructuur bij SARA, zoals de nationale supercomputer Huygens, het nationaal rekencluster LISA en de HPC Cloud-infrastructuur. Visualisatie White Paper SARA | februari 2012

5

Megapixels en Gigabit/s

Voor het transporteren van visuele data over het netwerk is, afhankelijk van de gestelde requirements, vaak een hoge bandbreedte nodig. Bij wetenschappelijke visualisaties is het belangrijk dat er geen data verloren gaat, en dat de visualisatie zo gedetailleerd en getrouw mogelijk wordt weergeven. Factoren die een rol spelen zijn: • Resolutie van het (remote) display en van de data • Compressiefactor van de beelden • Interactiviteit; een interactieve visualisatie vereist al gauw 24 frames per seconde • Kleurdiepte, default is dat 24 bits per pixel Rekenvoorbeeld: Voor een interactieve visualisatie op een display van bijvoorbeeld 4096 bij 2160 pixels (4K resolutie) van wetenschappelijke data (dus ongecomprimeerd) is dan nodig: 4096 * 2160 *24 bits per pixel * 24 fps = 5.1 Gigabit per seconde Omdat een wetenschapper vaak niet over dergelijke bandbreedte beschikt, werkt de Remote Visualisatie Service met het VNC-desktop protocol dat compressie toepast. Hierdoor blijft de gebruikte bandbreedte binnen datgene wat de meeste wetenschapper tot hun beschikking hebben via het SURFnet-netwerk. Een VNC-sessie waarbij ParaView werd gebruikt voor het bekijken van de CosmoGrid-dataset op 1280 bij 700, gebruikte ongeveer 76 megabit per seconde.

Figuur 5: Nationale supercomputer Huygens: zesde generatie supercomputer bij SARA. De eerste supercomputer bij SARA, een Control Data Cyber 205 werd geïnstalleerd in 1984.

Voor het werken met de data op de remote visualisatiecluster is een breed pakket aan open source applicatiesoftware voor visualisatie beschikbaar, onder andere: Paraview, VTK, VisIt • “ParaView is een open-source applicatie voor wetenschappelijke visualisatie gebaseerd op VTK. Het is ontworpen voor het visualiseren van grootschalige datasets. ParaView wordt actief verder ontwikkeld door Kitware in samenwerking met het Advanced Computing Laboratory in Los Alamos National Laboratory.” 4 • “De Visualization Toolkit (VTK) is een open source en vrij beschikbaar softwarepakket voor 3D computergraphics, beeldbewerking en visualisatie. VTK bestaat uit een grote verzameling C++ classes en een aantal interfaces voor programmeertalen zoals Tcl/Tk, Java en Python.” 5 • “VisIt is een point-and-click 3D wetenschappelijke visualisatie applicatie die ondersteuning biedt voor de meest gangbare visualisatietechnieken op gestructureerde en ongestructureerde grids, zoals iso-contouring en volumerendering. Door zijn gedistribueerde en parallelle ontwerp kan VisIt interactief overweg met zeer grote datasets.” 6 VMD “VMD is een moleculair visualisatieprogramma voor het tonen, animeren en analyseren van grote biomoleculaire systemen, met behulp van 3D graphics en ingebouwde scripting.” 7 Ferret “Ferret is een interactieve computervisualisatie en analyseomgeving, ontworpen om aan de eisen van, bijvoorbeeld oceanografen en meteorologen te voldoen die grote en complexe gestructureerde datasets willen analyseren.” 8 Blender “Blender is een geïntegreerde applicatie met open architectuur die het mogelijk maakt om een groot scala van 2D en 3D (wetenschappelijke) visualisaties en andere content te creëren. Blender biedt een breed bereik van functionaliteit voor modelering, texturing, belichting, animatie en video post-processing in één pakket. Blender is een van de meest populair open source grafische 3D applicaties ter wereld.” 9


6

Daarnaast kan wellicht domeinspecifieke visualisatiesoftware beschikbaar worden gesteld. De gebruiker heeft ook de mogelijkheid om eigen visualisatieapplicaties te installeren en remote te gebruiken. Als display-omgevingen (zie ook volgende sectie) zijn binnen de nationale e-Infrastructuur beschikbaar: • Hoge-resolutie tiled display panel met MultiTouch (7680*2160 pixels, 17 MegaPixels, 8 keer HD, 2 keer 4K). Deze opstelling bevindt zich in het Collaboratorium. • Hoge-resolutie tiled display panel (12800*4800 pixels, 61 MegaPixel). Deze opstelling is mobiel te gebruiken, maar heeft geen thin-bezel displays. Beide opstellingen kunnen worden aangestuurd met SAGE (Scalable Adaptive Graphics Environment), middleware voor hoge-resolutie gedistribueerde visualisatie-omgevingen.10; 11; 12

Figuur 6: Hoge resolutie Tiled Panel Displays voor wetenschappelijke visualisatie: demonstraties van SARA op diverse internationale congressen. Rechtsboven: parameterstudie van data uit het Essence project, tijdens Supercomputing’07 te Reno, Nevada;

SAGE is een grafische ‘streaming’ architectuur voor collaboratieve wetenschappelijke visualisatieomgevingen die resoluties tot honderden megapixels ondersteunt.

data werd als pixels gestuurd vanuit Amsterdam. Bron: Prof. Henk Dijkstra, IMAU-UU; visualisatie IMAU; Linksboven en onder: ultra-hoge (4K) resolutie media streaming van video’s vanuit Amsterdam naar Supercomputing’08 te Phoenix, Arizona. Bron: CineGrid Amsterdam; streaming: SARA. Figuur 7: SAGE middleware voor visualisatie en ‘remote collaboration’; SAGE zorgt voor een ‘mashup’ van diverse invoerbronnen op grote (tiled) schermen. Bron: Electronic Visualiza tion Laboratory, University of Illinois at Chicago (EVLUIC).

 

 

Samenwerkende onderzoekers kunnen met SAGE verschillende applicaties tegelijkertijd draaien, zoals 3D-rendering, remote desktop en videostreaming) op lokale of remote apparatuur. De beelden kunnen worden gedeeld door het versturen van de pixels van elke applicatie naar bijvoorbeeld tiled display panels, maar ook uitvoer naar een enkel scherm of laptop wordt ondersteund door SAGE.

Een prominent voorbeeld van hoge-resolutie remote visualisatie is het klimaatonderzoek bij de Universiteit van Utrecht (prof. Henk Dijkstra), waar grote hoeveelheden klimaatdata, gegenereerd op en opgeslagen bij de nationale supercomputer Huygens in Amsterdam worden gevisualiseerd en waar de beelden vervolgens via een ‘dedicated’ SURFnet6 10 Gbit/s lichtpad13 worden getransporteerd naar het lokale hoge-resolutie tiled display panel voor analyse. Met dit project was prof. Dijkstra winnaar van een van de Enlighten Your Research awards van SURFnet.


7

Big Data vereisen Megapixels: tiled displays Grote wetenschappelijke datasets zijn vaak te groot om te visualiseren op een standaard desktop LCD- scherm. Door een aantal LCD-schermen met elkaar te verbinden kunnen zogenaamde tiled displays worden gevormd met een veelvoud van de resolutie van een enkelvoudig scherm. Zo wordt logischerwijze met een 2x2 tiled display een vier maal zo hoge resolutie bereikt als met een enkelvoudig scherm, en met een 5x3 tiled display een 15 maal zo hoge resolutie. Met een aantal standaard displays van 1.600x900 pixels wordt zo een tiled display verkregen van 8.000 bij 2.700 pixels (21,6 Megapixel). Figuur 8: Visualisatie van zeer hoge-resolutie beelden tijdens GLIF bij

Tiled displays kunnen voor verschillende typen van visuele data-analyse worden ingezet: 1. Voor visualisatie van zeer hoge-resolutie beelden (bijvoorbeeld hoge-resolutie geo-data, hoge resolutie satellietdata of hoge resolutie astrofysica simulaties).

CERN in Geneve (2010). Beelden van de CosmoGrid-simulatie van ‘dark matter interaction’ werden vanuit SARA naar CERN gestreamed over de 40 Gbps optische verbinding van SURFnet. Bandbreedte van meer dan 32 Gigabit per seconde (sustained) werd gebruikt om de beelden met een resolutie van 13200 * 5200 pixels (ca. 68 Megapixel per frame) met voldoende hoge beeldfrequentie weer te geven. Bron: Prof. Simon Portegies Zwart, Leidse Sterrenwacht, Universiteit Leiden. Visualisatie: SARA. Streaming applicatie: SARA met support van SURFnet; endtoend netwerkverbinding: SURFnet, SARA en Extreme Networks.

 

2. Voor de exploratie en vergelijking van een groot aantal zeer vergelijkbare datasets (bijvoorbeeld parameterstudies in klimaatmodellering, of tijdopnameseries in medische spectroscopie).

Figuur 9: Voorbeeld van visualisatie van parameterstudies: op een aantal geschakelde displays worden in een enkele tijdsequentie (synchrone video’s) diverse parameters vergeleken om relaties vast te kunnen stellen. Bron: SAMOC project, Prof. Henk Dijkstra, IMAU, Universiteit Utrecht. Visualisatie voor tiled display: IMAU.

 


8

3. Voor multimodale visualisatie, het samenbrengen van een groot aantal diverse databronnen op een enkel scherm om relaties en samenhang te exploreren en te bespreken (bijvoorbeeld diverse bronnen biologische data zoals DNA-sequentie, genenkaart, microarray data). Figuur 10: Multimodale visualisatie: het samenbrengen van meerdere uitvoerstromen op een tiled display teneinde verschillende databronnen tegelijk te kunnen raadplegen. Bron: Drs. Han Rauwerda, Swammerdam Institute for Life Sciences, UvA.

 

Remote visualisatie De ongekende mogelijkheden van deze eenvoudige technologie in combinatie met van streaming van data over zeer hoge bandbreedte netwerken is een aantal jaren geleden (2006) al door o.a. SARA aangetoond door vanuit Amsterdam grote datasets te streamen naar een 100 Megapixel scherm in de USA over een transatlantische 20 Gbit/s-netwerkverbinding16. Figuur 11: Hoge-resolutie beelden gecreëerd met de remote visualisatieomgeving. Data uit het CosmoGridproject wordt met de applicatie Paraview gerendered op het SARA Remote Visualisatiecluster. De user interface (links) draait op het werkstation (of laptop) van de wetenschapper, de gerenderde beelden worden als een stroom pixels teruggestuurd naar een displayopstelling, in dit geval een 5*3 tiled panel bij SARA (rechts). Bron:Cosmo Grid, Prof. Simon Portegies Zwart, Leidse Sterrenwacht, Universiteit Leiden. Visualisatie: SARA.

 

Een ander voorbeeld van een hoge-resolutie remote visualisatie van een Big Data-set is de CosmoGrid-dataset, een simulatie van het ontstaan van het heelal (prof. Simon Portegies Zwart e.a., Universiteit Leiden). Een enkele tijdstap van deze set bevat 2048^3 deeltjes, oftewel 8.6 miljard deeltjes. Deze data valt vrijwel onmogelijk goed te bekijken op een enkel HD-scherm. Voor een demo bij CERN heeft SARA een visualisatie gemaakt met een resolutie van 13.600 bij 5.200 pixels, ongeveer 30 maal de HD-resolutie. Deze visualisatie werd gerendered en gestreamed vanuit Amsterdam en getoond bij CERN in Genève. Bij deze demo werden bandbreedtes gehaald van meer dan 37 Gigabit/s.


9

3D visualisatie Sommige complexe datasets zijn inherent multi-dimensionaal. Stereovisualisatie kan in bepaalde gevallen meerwaarde bieden bij de analyse van deze datasets. Het is aangetoond dat objecten die gepresenteerd worden in 3D met diepte vaak beter te herkennen en te interpreteren zijn. Diverse visualisatiepakketten zijn in staat om 3D beelden te genereren. De komst van consumerbase stereo (3D) displays maakt 3D visualisatie toegankelijk voor low-cost visualisatietoepassingen. Streamen van (hoge resolutie) 3D stereobeelden over netwerken is nog onderwerp van onderzoek (onder andere in het CineGrid-project) 14; 15, maar zal op korte termijn op grote schaal bruikbaar worden.

Figuur 12: Desktop 3D-visualisatie: met de komst van relatief goedkope 3D HD televisies is een 3D-desktop omgeving voor wetenschappelijke visualisatie laagdrempelig geworden. Streaming van stereobeelden vanuit een (remote) renderomgeving of van ge-pre-renderde 3D-video’s naar de werkplek van de wetenschapper is hiermee goed haalbaar. Bron: Cos moGrid, Prof. Simon Portegies Zwart, Leidse Sterrenwacht, Universiteit Leiden. 3Dvisualisatie: SARA.

Gebieden waar 3D visualisatie meerwaarde kan bieden zijn onder andere moleculaire visualisatie, visualisatie van medische beelden (waaronder MRI), gaming, astrofysica, klimaatmodellering en cultural heritage (archeologie, architectuur).

In-situ visualisatie In-situ visualisatie is het visualiseren van data terwijl deze data geproduceerd wordt. Een voorbeeld hiervan is het tonen van (gedeeltelijke) resultaten van een simulatie waaraan nog gerekend wordt. Hierdoor zijn de ontwikkelingen in de simulatie te volgen, waardoor er een beter beeld kan ontstaan van de sterke en/of zwakke punten van een model en de gebruikte model parameters. En als het model na enkele iteraties verkeerde resultaten lijkt te produceren, dan kan de simulatie worden afgebroken en zo kostbare computerresources besparen. Tevens is het mogelijk om met in-situ visualisatie simulatiecode te debuggen, aangezien de interne staat van de simulatie kan worden bekeken. Daarnaast kan er ter plekke post-processing worden uitgevoerd op de simulatiedata. Door de data te bewerken en/of selecties te maken gebaseerd op de in-situ visualisatie, kan de resulterende data efficiënt opgeslagen worden voor toekomstig gebruik, waar de volledige simulatiedata misschien te groot is om in zijn geheel op te slaan.


10

Een uitbreiding op in-situ visualisatie is computational steering. Hierbij kan de gebruiker, tijdens het bekijken van in-situ visualisaties besluiten de parameters van de simulatie te veranderen om de simulatie te sturen. Hierbij is er dus real-time interactie tussen de gebruiker en simulatie, gebaseerd op de in-situ visualisaties.

Figuur 13: parameterstudie van data uit klimaatsimulatie SAMOC: vergelijking van verschillende parameters (bijvoorbeeld stroming, temperatuur) worden in een (dagelijkse) workflow naast elkaar en op verschillende schaal in synchrone tijdstappen gedisplayed – samenwerking IMAU (UU) en SARA. Bron: SAMOC project, Prof. Henk Dijkstra, IMAU, Universiteit Utrecht. Visualisatie voor tiled display: IMAU. Ont wikkeling workflow: IMAU en SARA.

  Implementatie van workflows Het regelmatig creëren van visualisaties van een (deel van een) dataset aan de hand van steeds wisselende parameters kan leiden tot de behoefte aan een workflow. Men kan hierbij denken aan het steeds dieper inzoomen op een extra interessant deel van het onderzoek, of het vergelijken van verschillende parametersettings. SARA biedt ondersteuning bij het ontwikkelen van een dergelijke workflow, bijvoorbeeld door het creëren van een web-applicatie voor de eindgebruiker waar hij parameters specificeert en vervolgens de opdracht geeft voor een volgende visualisatie. De visualisatie wordt vervolgens bij SARA uitgevoerd en het resultaat wordt naar de display van de gebruiker gestreamed. Momenteel is een dergelijke workflow in gebruik bij het IMAU van de Universiteit van Utrecht voor de analyse van een grote klimaatdataset.


11

Collaborative visualization, videoconferencing en samenwerking in het ‘Collaboratorium’ ‘Collaboratorium’: een nieuwe visualisatie- en presentatieruimte voor wetenschappelijk onderzoek Binnen de nationale e-Infrastructuur is in het ICT Synergy Hub-gebouw van SARA op het Science Park in Amsterdam een geavanceerde presentatie- en visualisatieruimte gerealiseerd. Deze visualisatieruimte is beschikbaar ter ondersteuning van wetenschap en bedrijfsleven. Dit ‘Collaboratorium’ wordt door SARA, door het onlangs opgerichte Netherlands e-Science Center (NLeSC) en door anderen ingezet ter ondersteuning van wetenschappelijk onderzoek in Nederland.

Figuur 14: ‘Artist’s impression’ van het Collaboratorium: een ruimte gericht op samenwerking door middel van presentaties, videoconferencing, ‘remote collaboration’ en hogeresolutie visualisatie. Deze ruimte is vanaf april 2012 beschikbaar voor wetenschappelijk onderzoek in Nederland en wordt geëxploiteerd door SARA en het NLeSC. Het is gefinancierd vanuit SURF met subsidie van het ministerie van EL&I. Visualisatie: SARA.

 

De faciliteit biedt excellente mogelijkheden voor samenwerking en technology transfer tussen wetenschap, overheid en bedrijfsleven, en draagt op deze wijze bij aan het topsectorenbeleid van de overheid. De ruimte nodigt uit tot samenwerking en communicatie over en weer tussen gebruikers (lokaal en op afstand), in een informele omgeving. Lokale ondersteuning door visualisatieexperts bij het gebruik van de faciliteit en bij de visualisatie van (wetenschappelijke) data is beschikbaar. De faciliteiten zijn gericht op zowel laagdrempelig gebruik voor alledaagse taken, maar ook geavanceerd gebruik voor gebruikers die meer nodig hebben. Een breed bereik van presentatiemiddelen wordt ondersteund, zoals gewone (Powerpoint-)presentaties, visualisaties in 3D stereo en hoge-resolutie interactieve applicaties.


12

Specificaties van de faciliteit Uitnodigende en informele ruimte

Centraal in het Collaboratorium is een conferentie tafel voor 7 personen. In deze tafel zijn aansluitingen voor netwerk, beeld, geluid en stroom. Hierop kunnen direct laptops aangesloten worden.

Hoge-resolutie display wall

Figuur 15: ‘Thin-bezel’ tiled display wall: de randen van de displays zijn uiterst dun, waardoor er tussen de schermen slechts een rand zit van in totaal 7 millimeter. Getoonde data: Prof. dr. Harm Jonker, Faculteit Toegepaste Wetenschappen, TU Delft.

De video wall is een belangrijk deel van de ruimte. Deze bestaat uit 4x2 Full HD thin-bezel schermen, met een totale resolutie van 7,680 x 2,160 pixels (16.6 Megapixel). De ultra-dunne randen (zgn. bezels) van slechts enkele millimeters tussen de schermen zorgen voor een minimale visuele verstoring van het beeld. Er kan flexibel gekozen worden waar welke beeldstromen (laptop-beeld, videoconferencing, uitvoer van visualisatiesystemen) op de video wall getoond worden en over hoeveel schermen deze beelden worden verdeeld. Op deze wijze kan een optimale ‘mashup’ worden gegenereerd: input van verschillende datastromen kan tegelijkertijd zichtbaar worden gemaakt.

 

Multi-touch interactie

Figuur 16: Multi-touch interactie op een tiled display wall: uitvoer van diverse bronnen worden op een Tiled display in een aantal windows weergegeven: videoconferencing beelden, kopieën van de laptopschermen, visualisaties en een ‘scrapbook’. Individuele windows kunnen worden verplaatst, geresized en geminimaliseerd met behulp van de touch interface, vergelijkbaar met de interface van een iPad. Bron: Electronic Visualization Laboratory, University of Illinois at Chicago.

In zijn publicatie ‘Top Scientific Visualization Problems’ heeft Chris Johnson (University of Utah) in 200416 aangegeven dat een van de tien grootste problemen in wetenschappelijke visualisatie de ‘Human-Computer Interface’ (HCI) is. De manieren waarop de mens interacteert met computers is echter de afgelopen jaren drastisch veranderd, in belangrijke mate beïnvloed door de ‘gaming’ industrie en de ‘touch interfaces’ die overal toegepast worden in smart phones en tablet computers. Deze methodieken voor interactie met en manipulatie van data in een visualisatieomgeving zijn nu ook beschikbaar voor onderzoekers. Over het gehele oppervlak van de video wall ligt een ‘multi-touch overlay’. Hiermee is directe interactie met de getoonde beelden en applicaties mogelijk. Het totale scherm is hiermee als het ware een enorme iPad.17 Figuur 16: Multi‐touch interactie op een tiled display wall: uitvoer van diverse 

bronnen worden op een Tiled display in een aantal windows weergegeven:  Videoconferencing

videoconferencing beelden, kopieën van de  laptopschermen, visualisaties en een 

Er is een geavanceerde videoconferencing set beschikbaar, uitgerust met 2 camera’s. De eerste ‘scrapbook’. Individuele windows kunnen worden verplaatst, geresized en  geminimaliseerd met behulp van de touch interface, vergelijkbaar met de interface  camera kijkt vanaf de display wall naar de conferencedeelnemers aan de tafel, de andere van een iPad. Bron: Electronic Visualization Laboratory, University of Illinois at  camera overziet de gehele ruimte van achteren, waardoor op afstand ook de beelden van de Chicago.  video wall en de presentator zichtbaar en uit te dragen zijn.  

3D stereoprojectie

Naast het gebruik van de video wall is het mogelijk om 3D stereobeelden te vertonen op een apart projectiescherm. Dit scherm is zo geplaatst dat een deel van de video wall bruikbaar blijft wanneer 3D beelden getoond worden. De 3D projectie wordt zo toegevoegd aan de mashup op de video wall.


13

Eenvoudige en flexibele bediening

De bediening van de gehele ruimte gebeurt met een touch-paneel waarmee op een simpele manier de aansturing van de elementen in de ruimte kan worden gedaan. Daarnaast is er een aantal voorgedefinieerde instellingen met een sneltoets gemakkelijk toegankelijk gemaakt.

Integratie met nationale HPCV-faciliteiten

Ten behoeve van wetenschappelijke visualisatie is de ruimte ook via hogesnelheidsnetwerken gekoppeld aan de nationale High Performance Computing en Visualisatie (HPCV)infrastructuur en via SURFnet7 aan de buitenwereld. Voor visualisatie van grote datasets is een rendercluster aanwezig dat is ingebed in de data- en rekenomgeving: de nationale supercomputer Huygens, de HPC Cloud en Grid-omgeving. Ondersteuning door visualisatiespecialisten is beschikbaar bij visualisatieprojecten van onderzoekers.

Figuur 17: Visualisatie ingebed in SARA cloud-oplossingen: naast het gespecialiseerde ‘rendercluster’ is een aantal grote systemen beschikbaar voor het opschalen van visualisaties, zoals de SARA HPC Cloud, de supercomputer Huygens, het Hadoopsysteem.

 

Visualisatie voor en door de topsectoren De topsectoren kunnen profiteren van een groot aantal hoogwaardige applicaties, waaronder programma’s die het mogelijk maken om grote heterogene data sets te bekijken en te analyseren. Toepassingen kunnen bijvoorbeeld liggen op het gebied van watermanagement, creatieve industrie, medische beeldverwerking, ontwerp van nieuwe materialen en elektronische apparatuur, ‘groene genetica’ (zaadveredeling) en (functionele) voeding.

Figuur 18: de 9 topsectoren: in verschillende sectoren kan visualisatie een belangrijke rol spelen bij het analyseren van data uit simulaties, observaties en experimenten. In het kader van het topsectorenbeleid wordt extra aandacht besteed aan ondersteuning van de markt bij het gebruik van de landelijke infrastructuur, waaronder geavanceerde en hoge-resolutie visualisatie. Ministerie van EL&I. Copyright: Schwandt Infographics.


14

Ervaring en kennis in geavanceerde visualisatie zijn beschikbaar voor onderzoek en bedrijfsleven. Bedrijven en overheden die hier gebruik van hebben gemaakt zijn onder meer de farmaceutische industrie (Johnson&Johnson Pharmaceutical Research & Development) 18, olie en gas exploratie (Shell, Norsk Hydro), voedsel (Unilever), media (NOB), stadsontwerp en -planning (Rijkswaterstaat, gemeenten Amsterdam, Almere, Rijswijk, Aerospace (Fokker) en vele andere. Ondersteuning voor wetenschap en bedrijfsleven is beschikbaar voor de visualisatie en analyse van complexe data.

Ontwikkeling van gereedschappen en applicaties SARA heeft door de jaren heen op zeer verschillende vakgebieden en met diverse partners visualisatietools ontwikkeld. Voorbeelden hiervan zijn: • Verschillende tools voor het Institute for Biodiversity and Ecosystem Dynamics (IBED) van de Universiteit van Amsterdam, gebaseerd op Google Maps en Google Earth, voor de visualisatie van vogeltrek en beïnvloedingsfactoren • Visualisatie van complexe netwerken (mathematical graph structures) voor de sectie Computational Science van de UvA • Hoge-resolutie visualisatie van CosmoGrid astrofysica simulatiedata voor de Universiteit Leiden • Visualisatie van klimaatmodelering voor IMAU, Universiteit Utrecht • CAVE-omgeving met bewegende avatars voor fobiebehandeling voor UvA Psychologie • SARAgene, 3D data-analyse VR-applicatie voor genomics-onderzoek voor Johnson&Johnson Pharmaceutics • 3D serious game ‘Virtuele Supermarkt’ ter ondersteuning van onderzoek naar koopgedrag voor de sectie preventie en volksgezondheid van de VU.


15

Conclusie Visualisatie speelt een onmisbare rol in de analyse van Big Data. De groei en complexiteit van de data, samen met het belang van die data voor meerdere disciplines, vereist voor de analyse geavanceerde visualisatieomgevingen en uitgebreide specialistische kennis en expertise. Binnen de nationale e-Infrastructuur heeft de onderzoeker toegang tot deze expertise en geavanceerde (remote) visualisatiehardware en -software. SARA speelt zo in samenwerking met het NLeSC en met andere instituten een belangrijke rol in het faciliteren en ondersteunen van het wetenschappelijk onderzoek, niet in de laatste plaats door de aanwezigheid van het nieuwe Collaboratorium voor data-analyse, (3D)visualisatie, videoconferencing en samenwerking dat door deze instituten in de gezamenlijke ICT Synergy Hub in Amsterdam wordt geëxploiteerd.

Figuur 19: ICT Synergy Hub op het Science Park Amsterdam. Hierin zijn naast SARA en haar zusterbedrijf Vancis ook het NLeSC (Netherlands eScience Center) en het EGI (European Grid Initiative) gevestigd.


16

Referenties

1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18.

www.calit2.net/research/cyberspace_technology.php [Online] www.evl.uic.edu/IE/index3.php [Online] www.ncsa.uiuc.edu [Online] www.paraview.org [Online] www.vtk.org [Online] https://wci.llnl.gov/codes/visit/about.html [Online] www.ks.uiuc.edu/Research/vmd/ [Online] ferret.wrc.noaa.gov/Ferret/ [Online] www.blender.org/ [Online] SAGE: the Scalable Adaptive Graphics Environment. L. Renambot, A. Rao, R. Singh, B. Jeong, N. Krishnaprasad, V. Vishwanath, V. Chandrasekhar, N. Schwarz, A. Spale, C. Zhang, Goldman, J. Leigh, A. Johnson,. sl : Proceedings of WACE 2004, Nice, France. Leigh, J. et al. The global lambda visualization facility: An international ultra-high-definition wide-area visualization collaboratory. Future Generation Computer Systems Volume: 22, Issue: 8, pp. 964-971. 2006. Enabling multi-user interaction in large high-resolution distributed environments. R. Jagodic, et al. 2011, Future Generation Computer Systems vol. 27 issue 7, July 2011, pp. 914-923. www.surfnet.nl/nl/Hybride_netwerk/SURFlichtpaden/Pages/lichtpaden.aspx [Online] www.cinegrid.org [Online] www.ces.net/doc/press/2011/pr110211.html [Online] Top Scientific Visualization Research Problems. Johnson, Chris .R. 2004, IEEE Computer Graphics and Applications, vol. 24, no. 4, pp. 13-17. Jagodic, R. www.youtube.com/user/evltube#p/u/5/Pd0jQAHEIc8 [Online] Mining the human genome using virtual reality. Stolk, Wielinga et al. sl : EGPGV ‘02 Proceedings of the Fourth Eurographics Workshop on Parallel Graphics and Visualization, 2002.


17

Visualisatie: essentieel gereedschap voor de analyse van Big Data

Recommend Documents