Enabling Grids for E-sciencE
EGEE köztesréteg Adat szolgáltatások a gLite-ban
www.eu-egee.org INFSO-RI-222667
Adat szolgáltatások a Gridben Enabling Grids for E-sciencE
• Egyszerű adat fájlok Grid specifikus tárolón • Köztesréteg támogatás – Replika fájlok Hogy a fájl közel legyen a számításhoz biztonságosság
– Logikai fájlnevek – Katalógus: összerendeli a logikai fájlnevet a fizikai elhelyezkedéssel – Virtuális fájlrendszerek, POSIX jellegű I/O
•
Másfajta adat: – Strukturált adat: RDBMS, XML adatbázisok,…
•
A köztes réteg közvetlenül nem támogatja
• Megoldások tartalmazák: – gLite adat szolgáltatások – Globus: Data Replication Service – Storage Resource Broker
INFSO-RI-222667
2
Adat szolgáltatás példa Enabling Grids for E-sciencE
“Felhasználói felület”
Input “sandbox”
DataSets info
LCG FileCatalogue (LFC)
Output “sandbox” Max. 20MByt e
Erőforrás Bróker
Tárolási Elem 2
Számítási egység
Tárolási elem 1
1st kiírja és másolatot készít 2 SE-re INFSO-RI-222667
3
Adat szolgáltatás példa Enabling Grids for E-sciencE
“Felhasználói felület”
Input “sandbox”
DataSets info
LCG FileCatalogue (LFC)
Output “sandbox” Max. 20MByt e
Erőforrás Bróker
Tárolási Elem 2
Közel legyen az adat a számításhoz
Számítási egység
Tárolási elem 1
2. Felhasználja az adatot asz SE-ről INFSO-RI-222667
4
Logikai fájlnév feloldás Enabling Grids for E-sciencE
“Felhasználói felület”
LCG FileCatalogue (LFC)
“Myfile.dat”
File_on_se1 Myfile.dat
File_on_se2
Tárolási Egység 1
Tárolási Egység 2
A tartalom két SE-n is elérhető INFSO-RI-222667
5
Logikai fájlnév feloldás Enabling Grids for E-sciencE
“Felhasználói felület”
LCG FileCatalogue (LFC)
“Myfile.dat”
File_on_se1 (“SURL”: site URL) Myfile.dat “Logical filename”
“GUID” Global Unique Identifier
File_on_se2 (“SURL”: site URL)
Tárolási Egység 2
A fájl tartalma nem változhat meg Nincs szükség szinkronizációra a replikák között
Tárolási Egység 1
A tartalom két SE-n is elérhető INFSO-RI-222667
6
Nevezési konvenciók Enabling Grids for E-sciencE
• Logical File Name (LFN) – logikai fájl név – Egy felhasználó által létrehozott alias a fájlra lfn:/grid/gilda/budapest23/run2/track1
• Globally Unique Identifier (GUID)
- globális egyedi azonosító
– Gép által feldolgozott egyedi azonosító guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6
• Site URL (SURL) (or Physical File Name (PFN) or Site FN) – Az adat egy darabjának a helye egy tárolási rendszerben srm://pcrd24.cern.ch/flatfiles/cms/output10_1 (SRM) sfn://lxshare0209.cern.ch/data/alice/ntuples.dat (Classic SE)
• Transport URL (TURL) – Egy replika ideiglenes helye + hozzáférés szabályozás rfio://lxshare0209.cern.ch//data/alice/ntuples.dat
INFSO-RI-222667
7
Nevezési konvenciók Enabling Grids for E-sciencE
• A felhasználó alapvetően a logikai fájlnevekkel fér hozzá az adatokhoz - LFC
LFC könyvtár struktúrával rendelkezik lfn:/grid/
/ LFC Névtér
Felhasználó határozza meg •A mappelést a katalógus szerver végzi
INFSO-RI-222667
8
LFC könyvtárak Enabling Grids for E-sciencE
lfn:/grid/gilda/budapest23/run2/ input1 input2 input3
LCG FileCatalogue (LFC)
Tárolási egység 1 sfn://grid005.iucc.ac.il/storage/gilda/generated/2007-06-23/fileb233d43f-5bc6-4ede-a5fe-611d48be2ba5
Tárolási egység 2 srm://aliserv6.ct.infn.it/dpm/ct.infn.it/home/gilda/generated/2007-06-23/filea21ab3e2-8ff6-4a44-82a7-f2
Storage Element 3 sfn://trigriden01.unime.it/flatfiles/SE00/gilda/generated/2007-06-23/filec79a9e3c-2485-4206-a2a5-235f Tárolási egység 4 sfn://grid005.iucc.ac.it/flatfiles/SE00/gilda/generated/2007-06-23/filec79a9e3c-2485-4206-a2a5-235f
• LFC könyvtárak = virtuális könyvtárak – Minden bejegyzést lehet más SE-n tárolni INFSO-RI-222667
9
A parancsok két csoportja Enabling Grids for E-sciencE
• lfc-* LFC = LCG File Catalogue LCG = LHC Compute Grid LHC = Large Hadron Collider
– Az LFC-s parancsok kizárólag a katalógussal történő interakcióhoz szükségesek Létrehozni egy katalógus könyvtárt Fájl listázás
• lcg-* – Fájl katalógus műveletek fájl menedzsmenttel – Fájl másolás az SE-ről/-re – Replika készítés
INFSO-RI-222667
10
LFC alapjai Enabling Grids for E-sciencE
LFC könyvtár struktúrával rendelkezik /grid// LFC Namespace
Defined by the user
• A VO minden tagja írás/olvasással rendelkezik a VO könyvtáraiban • A parancsok ugyanúgy néznek ki mint UNIX-ban a “lfc-” prefixel
INFSO-RI-222667
11
Tárolási egység Enabling Grids for E-sciencE
• Biztosítja – Tárkapacitás fájlok számára: – Átviteli protokollok (gsiFTP)
Protokollok
Fájl kérelem és VOMS proxy
erőforrás
szerver
protokoll protokoll
Tape
Tape
Tárolási egység
Tape
protokoll
Disk
Hitelesítés és engedélyezés INFSO-RI-222667
12
Enabling Grids for E-sciencE
Típus
Erőforrás
Fájl átvitel
Fájl I/O
SRM
Classic SE
Disk server
GSIFTP
insecure RFIO
No
DPM
Disk pool
GSIFTP
secure RFIO
Yes
dCache
Disk pool/MSS
GSIFTP
gsidcap
Yes
CASTOR
MSS
GSIFTP
insecure RFIO
Yes
INFSO-RI-222667
13
LFC Catalog commands Enabling Grids for E-sciencE
Summary of the LFC Catalog commands lfc-chmod
Change access mode of the LFC file/directory
lfc-chown
Change owner and group of the LFC file-directory
lfc-delcomment
Delete the comment associated with the file/directory
lfc-getacl
Get file/directory access control lists
lfc-ln
Make a symbolic link to a file/directory
lfc-ls
List file/directory entries in a directory
lfc-mkdir
Create a directory
lfc-rename
Rename a file/directory
lfc-rm
Remove a file/directory
lfc-setacl
Set file/directory access control lists
lfc-setcomment
Add/replace a comment
INFSO-RI-222667
14
Summary of lcg-utils commands Enabling Grids for E-sciencE
Replica Management lcg-cp
Copies a grid file to a local destination
lcg-cr
Copies a file to a SE and registers the file in the catalog
lcg-del
Delete one file
lcg-rep
Replication between SEs and registration of the replica
lcg-gt
Gets the TURL for a given SURL and transfer protocol
lcg-sd
Sets file status to “Done” for a given SURL in a SRM request
INFSO-RI-222667
15
Summary of fts client commands Enabling Grids for E-sciencE
FTS client glite-transfer-submit
Submit a transfer job : needs at least source and destination SURL
glite-transfer-status
Given one or more job ID, query about their status
glite-transfer-cancel
Delete the transfer with the give Job ID
glite-transfer-list
Query about status of all user’s jobs; support options for query restrictions
glite-transferchannel-list
Show all available channel; detailed info only if user has admin privileges
INFSO-RI-222667
16
