Architektura DBMS RNDr. Ondřej Zýka
1
Obsah • • • • • • •
Cíle DBMS Zdroje DBMS Limity DBMS Paralelní architektury Životní cyklus uživatelského požadavku Implementace procesů Příklady architektury
2
Cíle DBMS • DBMS – Data Base Management Systém • Uložit datové struktury • Zabezpečit data • Perzistence uložení • Autorizace přístupů
• Realizovat požadavky uživatelů • • • • •
Změna datových struktur Změna dat Dotazy nad daty Monitoring Spouštět kód
• Uživatelský interface 3
Zdroje DBMS • Datové prostory • • • •
Disky Disková pole SAN - Storage area network NAS - Network-attached storage
• Paměť • RAM • Virtual memory
• Procesory • Univerzální procesory • Specializované procesory
4
Zdroje DBMS • Sběrnice • Komunikace mezi disky a pamětí • Komunikace mezi procesory
• Síťové propojení • Komunikace s klientem • Komunikace mezi komponentami – například mody clusteru
• Operační systém • správa a přidělování zdrojů • správa procesů a threadů
5
Limity DBMS
6
Limity DBMS • Zvládnutí velkého množství dat • Jednotky MB pro jednoduché systémy • Desítky PB pro enterprise systémy
• Zvládnutí velkého množství uživatelů • Desítky až stovky • Internetový provoz
• Zvládnutí velkého množství dotazů • OLTP aplikace (Online transaction processing) • Desítky za vteřinu
• Zvládnutí dotazů vyžadujících velké množství dat • DDS apliakce (Decision support systems)
7
Limity DBMS • Stabilita • Imunita vůči chybám • • • •
Uživatelů Aplikací Operačního systému Hardware
8
Paralelní architektury • Shared memory P
• Shared disk
M
P
P
M
P
P
M
P
P
M
P
M
9
Paralelní architektury • Shared nothing
• NUMA P
M
M
P
P
P M
M
P
P
P
P
P
P P M P
P P
M
P
10
Shared memory • Procesory a disk mají přístup do společné paměti • Vysoce efektivní komunikace mezi procesory – data v paměti jsou přístupná všem procesorům • Nejčastější HW obsahuje 2 nebo 4 procesory • Procesory mohou obsahovat více jader • Proces (core) obsluhuje jeden požadavek • Parallel query – rozdělení zpracování jednoho požadavku na více procesorů • Maximálně 32 až 64 procesorů • Úzké místo je komunikace s pamětí • Oracle, Microsoft, Sybase, MySQL 11
Shared disk • Všechny procesory komunikují s disky, data si ukládají ve vlastní paměti • Vysoká míra dostupnosti – výpadek procesoru může nahradit jiný procesor • Úzké místo je komunikace s disky • IBM Sysplex, DEC clusters s databází Rdb
12
Shared nothing • Každý procesor má vlastní paměť i data • Data jsou zpracovávána pouze příslušným procesorem – nepředávají se mezi nody • Nody spolu komunikují přes síť, předávají si požadavky a výsledky • Architektura umožňuje rozšíření na tisíce nodů • Teradata, Tandem, Oracle-n CUBE
13
NUMA • Non-Uniform Memory Access • Shared memory model použitý v clusteru s nezávislou pamětí • Procesor má rychlý přístup do lokální paměti a pomalejší do paměti ostatních uzlů
14
Klient-server architektura • Jeden server nabízí služby pro mnoho klientů • Všichni klienti vidí jeden obraz dat • Klienti si neudržují data • Klienti předávají pouze příkazy • Opakem jsou jednouživatelské databáze • Microsoft Acces • dBase
15
Distribuované transakce • Požadavky klienta vyřizuje více serverů • Požadavky (transakce) jsou koordinovány jedním transakčním koordinátorem • Database link, proxy table • Výkon je dán nejslabším místem 16
Životní cyklus uživatelského požadavku • • • • •
Navázání spojení s klientem Porozumění požadavku Optimalizace a vytvoření výpočtu Vlastní výpočet Předání výsledků
17
Navázání spojení s klientem • Adresářové služby pro nalezení serveru • Síťový listener • Vytvoření procesu spravující klientské připojení • Alokace struktur pro správu klientského připojení • Síťová komunikace • Prostor pro výsledky • Lokální prostor pro výpočty 18
Porozumění požadavku • Parser – syntaktická analýza • Mapování na objekty v databázi • Shromáždění informací o použitých objektech • Ověření práv • Informace o struktuře • • • • •
Struktura tabulek Indexy Partitioning Umístění tabulek na discích Statistiky
19
Optimalizace a vytvoření výpočtu • Optimalizátor • Rule based optimalization • Oracle do verze 10g • OPTIMIZER_MODE=RULE
• Cost base optimalization • Oracle 11 • Microsoft • Sybase
• Úprava dotazu • Vnořený select • Transakční uzávěr • Boolean logic optimalization
• • • •
Join optimalization Special optimalization Parallel procesisng Přístupové metody k datům 20
Vlastní výpočet • • • • •
Asynchronní čtení dat Použití datových keší Execution engine Temporary space Query recompilation
21
Předání výsledků • Datasety • Definice • Data
• Cursory • Chyby • Zprávy
22
Disky • Dnes kapacita i více než 1TB • Stále jenom cca 200 pohybů hlavičky za sekundu • Čím více malých disků, tím lépe
• Disková pole • • • •
Veliké keše Složitý operační systém Mirroring Striping
• Přenosová rychlost • Disk - 100MB sec • Diskové pole - SATA teoreticky 6GB/sec
23
Data write stack • Datový server dá příkaz zápisu na disk • • • • • • • •
Datový server –> operační systém Operační systém –> souborový systém Souborový systém –> volume manager Volume manager –> device driver Device driver –> Host-Bus-Adapter Host-Bus-Adapter –> Storage controler Storage controler –> Disk Disk OS –> medium
• Uložení dat na NAS pro zjednodušení pomineme 24
Konzistence dat • Microsoft DBCC příkazy • kontroly konzistence databáze • Kontrola interních struktur, indexů • SQL Server 2005 – checksum protection
• Oracle HARD iniciative • vypočet checksum pro zapsané bloky
25
Paměť • Systémové struktury • Nastavení • Buffery pro třídění dat • Buffery pro kód (java)
• Datové buffery • Čtení z paměti je mnohonásobně rychlejší • Požadovaná data se dají předpovědět na základě struktury uložení dat nebo dotazu • Asynchronní načítání dat • Načítání celých datových bloků
• Do bufferů se ukládají • Často používaná data • Naposledy použitá data • Změněná data
• LRU algoritmus
• Buffer výsledků • Globální buffery • Lokální buffery
26
LRU algoritmus
• • •
Hledání stránek – hash table Žádné kopírování stránek Odstranění dirty page – vysoce náročné •
•
Wash maker
Unikátní přístup na stránku •
Spinlock
27
Procesy • Procesy vykonávající požadavky klientů • Podpůrné procesy • • • • • •
Listener Správa diskových prostorů Checkoint process Sběr statistik Monitoring Backup procesy 28
Implementace procesů • Procesy operačního systému • Řízené operačním systémem • Přepínání kontextu na úrovni operačního systému • Každý proces vlastní má adresní prostor
• Thready operačního systému • Jednotný adresní prostor • Řízeno operačním systémem
• Vlastní řešení procesů • Jeden proces, jednotlivé procesy jsou v něm implementovány interně • Jednotný adresní prostor • Kontrola nad správou procesů bez nutnosti zásahu OS – nezávislost nad OS
29
Implementace procesů • Procesy nebo thready v operačním systému mají větší náročnost při změně kontextu (provádí operační systém) • Větší závislost na verzi operačním systému – ladění parametrů na úrovni operačního systému • Při použití vlastního řízení každá synchronní IO operace nebo volání jádra blokuje i ostatní procesy • Každá chyba v software ovlivní i další procesy 30
Implementace transakčního logu • Write-ahead log model • Log transakce musí být zapsán na disk v okamžiku commit transakce • Zajištění schopnosti zotavit se při pádu serveru
• Transakční log na úrovni databáze • Záznamy transakčního logu • • • •
Začátek a konec transakce U každé změny stav před a po změně Jakékoliv změny struktury databáze Alokace a dealokace datových stránek 31
Implementace transakčního logu • Datové stránky se nezapisují okamžitě • Checkpoint • Uvolnění z datové keše • Další důvody
• Recovery • Projde se transakční log od posledního checkpointu • Komitované transakce se opraví na cílový stav • Zrušené transakce se opraví na stav před transakcí 32
Implementace transakčního logu
Page 105
Page 106
Page 107
Page 108
Page109
Page 110
End of Log
Min Log sequence Number Oldest open transaction Start of Log Last checkpoint Truncated pages
33
Kritická místa řešení • Operační paměť a IO operace • Pokud je jí málo, je vhodné použít malé IO operace • Pokud rostou data, je velké množství malých operací limitující
• Operační paměť a počet klientů • Pokud je klientů málo, je vhodné maximum informací držet ve vlastním prostoru klienta • Pokud je klientů hodně, je nutné maximum informací držet v globálním prostoru serveru 34
Kritická místa architektury • Operační paměť a rychlost procesoru • 4.77 MHz (1981) • 3.60 GHz (2009), více úrovní keší • Pokud je procesor pomalý, je načtení z disku asi 20krát pomalejší než z paměti • Dnes je přístup na disk 1000 dražší • Vyplatí se udržovat data v paměti • In-memory database
35
Kritická místa architektury • Diskové operace a uložení dat • Pokud mají být data zpracovány, musí projít procesorem • Komprimace dat rychlejší přenos dat z disku do paměti, je náročnější na výkon procesoru • Přenesení rozhodování o datech z procesoru na úroveň řadiče disků • Požadavek na maximální paralelizaci diskového subsystému
36
Praktické příklady
• Oracle
• Sybase
37
Oracle history • • • • • • • • • •
1972 - Oracle 2, basic SQL, no transaction 1983 – Version 3 - transaction 1984 – Version 4 – read- consistency 1985 – Version 5 – networking, client-server 1988 – Version 6 – PL/SQL, row level locking, hot backup 1992 – Version 7 – referencial integrity, triggers 1999 – Version 8i – java 2001 – Version 9i – XML, RAC 2003 – Version 10 – grid computing, flash back 2007 – Version 11 - Exadata 38
39
Oracle •
Oddělený listener
•
Procesy operačního systému • • • • • • •
•
Process Monitor Process (PMON) System Monitor Process (SMON) Database Writer Process (DBWn) Log Writer Process (LGWR) Checkpoint Process (CKPT) Manageability Monitor Processes (MMON and MMNL) Recoverer Process (RECO)SGA
Diskové prostory •
Dataspaces • • •
• • •
User Systém Temp
On-line redolog Archive redolog Flashback log
40
Oracle • SGA – Systém Global Area • • • • • • •
Database Buffer Cache Redo Log Buffer Shared Pool Large Pool Java Pool Streams Pool Fixed SGA
• PGA – Program Global Area • SQL Work area – Sort, Hash, Bitmap merge • Private SQL Area – Session memory, Persitent area, Runtime Area 41
Sybase • Engine • Proces na procesoru
• User processes • Queue
• Shared memory • Stránky • Datové, logu
• Keše • Datové • Kódu
• Serverové struktury • Diskové prostory • Data • Transakční logy
42
43
Limity databáze Bytes per short string column
Maximum sizes/numbers SQL Server (32-bit) 8,000
Bytes per GROUP BY, ORDER BY
8,060
Bytes per index, foreign, primary key
900
SQL Server Database Engine object
Bytes per row8 8,060 Bytes per varchar(max), varbinary(max), xml, text, or image 2^31-1 column Columns in GROUP BY, ORDER BY Limited only by number of bytes Columns per index, foreign, primary key
16
Columns per nonwide/wide table
1,024/30000
Columns per SELECT/INSERT statement
4096
Database size
524,272 terabytes
Databases per instance of SQL Server
32,767
Foreign key table references per table4
253
Identifier length (in characters)
128
Locks per instance of SQL Server5
Up to 2,147,483,647
44
Limity databáze Nested stored procedure levels6
Maximum sizes/numbers SQL Server (32-bit) 32
Nested subqueries
32
Nested trigger levels
32
Nonclustered indexes per table
999
Parameters per stored procedure
2,100
Parameters per user-defined function
2,100
REFERENCES per table
253
Rows per table
Limited by available storage Limited by number of objects in a database 1,000
SQL Server Database Engine object
Tables per database3 Partitions per partitioned table or index Tables per SELECT statement
Columns per UPDATE statement (Wide Tables)
Limited only by available resources Limited by number of objects in a database 4096
User connections
32,767
Triggers per table3
45
Další vývoj • Specializovaný hardware (operační systém) • In-memory database • Specializované databáze • Distribuované řešení – claud databáze • Ústup od ACID principů • Uživatelská přívětivost - GUI • Snadnost administrace 46
Doporučená literatura • Joseph M Hellerstein, Michael Stonebraker, James Hamilton Architecture of a Database System (Foundations and Trends(R) in Databases) Now Publishers Inc (September 30, 2007) • Oracle documentaion: Oracle® Database Concepts • Microsoft SQL server documentation: Planning and Architecture
47
