Enabling Grids for E-sciencE
Projekt EGEE / VOCE
Jan Kmuníček ÚVT MU & CESNET
www.eu-egee.org INFSO-RI-031688
Obsah Enabling Grids for E-sciencE
• Definice a vlastnosti Gridů • Virtuální organizace • Evropské gridové prostředí • Bezpečnostní prvky Gridů • Vize budoucnosti
INFSO-RI-031688
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
2
Definice a vlastnosti Gridů Enabling Grids for E-sciencE
• Definice Gridu – „A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities.“ – „Výpočetní grid je hardwarová a softwarová infrastruktura, která poskytuje spolehlivý, standardizovaný, všudypřítomný a levný přístup ke špičkovým výpočetním službám. “ (I. Foster, C. Kesselman. -The Grid: Blueprint for a New Computing Infrastructure, 1999)
– rozsáhlý distribuovaný systém organizačně samostatných elementů, kterými mohou být individuální počítače (paměti, pevné disky) a informační systémy vzájemně propojeny počítačovou sítí
INFSO-RI-031688
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
3
Definice a vlastnosti Gridů Enabling Grids for E-sciencE
• Grid versus distribuované prostředí – Distribuované aplikace jako specializované systémy pro jediný cíl nebo skupinu uživatelů. – Gridy rozšiřují původní distribuované aplikace o nové vlastnosti § § § § § §
různé druhy zdrojů nevyžadován striktně stejný hardware, data a aplikace různé druhy interakcí různé uživatelské skupiny a aplikace interagují s Gridem různě dynamická povaha zdroje a uživatelé často přibývají / ubývají / mění se
INFSO-RI-031688
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
4
Definice a vlastnosti Gridů Enabling Grids for E-sciencE
• Výpočetní Grid – Grid poskytující výpočetní servis – poskytuje zabezpečené služby pro spouštění aplikací na distribuovaných výpočetních zdrojích – jedná se o „virtuální distribuovaný počítač“ pro řešení výpočetně náročných aplikací – dynamicky agreguje výpočetní kapacitu velkého počtu individuálních počítačů
INFSO-RI-031688
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
5
Definice a vlastnosti Gridů Enabling Grids for E-sciencE
• Datový Grid – principiálně jde o zpracování rozsáhlých datových sad pomocí služeb „výpočetního Gridu“ – charakterizován sdílením velkého množství dat, poskytováním zabezpečeného přístupu k těmto datům a umožnění jejich následné správy – řešeno formou replikovaných datových katalogů vytvářejících iluzi jednotného hromadného datového úložiště
INFSO-RI-031688
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
6
Definice a vlastnosti Gridů Enabling Grids for E-sciencE
• Informační / Znalostní Grid – často také nazýván jako kolaborativní nebo aplikační Grid – charakterizován snahou o rozšíření možností datových Gridů o poskytování kategorizace dat, ontologií, sdílení znalostí a tvorby workflow – součástí informačních Gridů jsou virtuální prostředí pro spolupráci resp. virtuální laboratoře umožňující vzdálenou kontrolu a správu senzorů a zařízení
INFSO-RI-031688
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
7
Definice a vlastnosti Gridů Enabling Grids for E-sciencE
• Oblasti použití Gridů - aplikace – částicová fyzika distribuce dat z urychlovačů částic a jejich následná analýza
– chemie a biologie MMCC úlohy a zpracování bioinformatických dat
– inženýrství a design výpočty, analýzy modelů pomocí výpočetní fluidní dynamiky a pevné mechaniky
– lékařství produkce interaktivních medicínských simulací
– astronomie analýza terabajtů astronomických dat z teleskopů
– životní prostředí příprava modelů a vyhodnocování monitorování znečištení prostředí a předpovědi počasí
– média produkce, vysílání a přehrávání interaktivního mediálního obsahu INFSO-RI-031688
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
8
Virtuální organizace Enabling Grids for E-sciencE
• Principy fungování – uživatelé by si měli z Gridu vzít prostředky, které zrovna potřebují, když je potřebují, tam kde je potřebují § § § §
procesory resp. jejich výkon diskový prostor přenosová kapacita sítí speciální hardware (mikroskopy, senzory, …)
– Grid zajistí § unifikovaný přístup, bezpečnost, spolehlivou dodávku § vyúčtování za spotřebu
INFSO-RI-031688
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
9
Virtuální organizace Enabling Grids for E-sciencE
• Definice gridového počítání – „Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations.“ (I. Foster, C. Kesselman. -The Grid: Blueprint for a New Computing Infrastructure, 1999)
– Virtuální organizace (VO) § souhrn výpočetních zdrojů a lidí pracujících na společném projektu – Cíle virtuálních organizací § sdílení datových zdrojů a výpočetních kapacit použitelných pro zpracování výpočetních úloh
INFSO-RI-031688
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
10
Evropské gridové prostředí Enabling Grids for E-sciencE
• Projekt EGEE – panevropská gridová platforma • •
sdružuje cca 100 institucí z více než 30-ti zemí aktuální stav – počet procesorů – disková kapacita – datový tok
•
~20 000 5 PB (5 milionů GB) 1,5 GB/s
struktura projektu – regionální členění do federací – specifické aktivity § servisní (SA) § síťové (NA) § společné výzkumné (JRA)
INFSO-RI-031688
provoz, podpora a monitorování podpora aplikací, diseminace vývoj a integrace middlewaru
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
11
Evropské gridové prostředí Enabling Grids for E-sciencE
• VOCE – Virtuální organizace pro střední Evropu VO je dynamickým rezervoárem zdrojů & uživatelů z různých domén sdružených za specifickým účelem – poskytuje kompletní gridovou infrastrukturu v rámci projektu EGEE – oficiálně registrována jako jediná “Regionální VO” pro region střední Evropy (CE) – založena na regionálním principu § VOCE pokrývá celou CE federaci § klíčové služby spravovány sdružením CESNET § zdroje jsou poskytovány několika institucemi z CE regionu (tyto zdroje jsou dostupné všem registrovaným uživatelům VOCE)
INFSO-RI-031688
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
12
Evropské gridové prostředí Enabling Grids for E-sciencE
• VOCE – Virtuální organizace pro střední Evropu
•
poskytovatelé zdrojů
•
více než 102 registrovaných uživatelů z 10-ti institucí a 6-ti zemí
•
celkem
INFSO-RI-031688
CESNET (Česká republika) PSNC, CYFRONET, ICM (Polsko) II-SAS (Slovensko), KFKI, ELTE (Maďarsko), GUP, HEPHY (Rakousko),SRCE (Chorvatsko)
999 procesorů, cca 13.1 TB diskový prostor Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
13
Bezpečnostní prvky Gridů Enabling Grids for E-sciencE
•
Autentizace – proces ověření identity komunikujících partnerů (uživatel – služba) Jste opravdu tím, kým tvrdíte, že jste? – certifikace – mechanismus pro ustavení důvěry mezi partnery
•
Autorizace Máte přístup ke zdrojům, které požadujete?
•
Šifrování – utajení citlivých uživatelských dat (biomedicínské Gridy)
•
Accounting Co jste udělali, kdy jste to udělali a odkud jste to udělali?
INFSO-RI-031688
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
14
Bezpečnostní prvky Gridů Enabling Grids for E-sciencE
• Certifikát – je datový soubor – má podobnou funkci jako občanský nebo řidičský průkaz – je určen pro autentizaci majitele certifikátu
Jméno majitele Vydavatel: CA Doba platnosti Veřejný klíč majitele Podpis CA
– každý certifikát § je elektronicky podepsán certifikační autoritou § má časově omezenou dobu platnosti (1 rok) § obsahuje jednoznačnou identifikaci majitele a jeho veřejný klíč
• Certifikační autorita (CA) – za účelem ustavení důvěry certifikační autorita certifikáty vydává, spravuje a případně revokuje (ruší platnost) – při žádosti o certifikát musí uživatel předložit svůj občanský průkaz nebo svůj cestovní pas INFSO-RI-031688
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
15
Vize budoucnosti Enabling Grids for E-sciencE
• Jak dále s Gridy? – projekt EGEE II jako aplikačně-orientovaný nástupce projektu EGEE, který vytvořil infrastrukturní základnu – představa dlouhodobě udržovaného prostředí pro vědecké výpočty (gridové prostředí jako standardní součást servisu poskytovaného servisu v rámci ERA) – klíčová vazba na národní gridové iniciativy a projekty (interakce VOCE-METACentrum)
INFSO-RI-031688
Projekt EGEE je financován Evropskou Unií (smlouva číslo IST-2003-508833)
16