Adaptív menetrendezés ADP algoritmus alkalmazásával

Adaptív menetrendezés ADP algoritmus alkalmazásával Alcím III. Mechwart András Ifjúsági Találkozó Mátraháza, 2013. szeptember 10. Divényi Dániel

Villamos Energetika Tanszék

Villamos Művek és Környezet Csoport

Tartalom • A probléma felvetése • Az ágensmodell bemutatása • Ágensek és környezet • Cselekvések általánosítása • Stratégia alapú program • Tanulási módszer • Megerősítéses tanulás alapjai • Alkalmazás a problémára • Összefoglalás

2013.09.10.

III. Mechwart András Ifjúsági Találkozó, Mátraháza

2

• A probléma felvetése

A kutatást indító probléma ismertetése • Szabályozási tartalékok szűkössége • A paksi atomerőmű nem szabályozható • Elavult, magas költségű erőművek • Kiserőművek elterjedése

Kiserőművek bevonása a rendszerszintű szabályozásba • Négy éves kutatás során: • A kiserőművek viselkedésének és üzemének modellezése • Különböző termelési technológiákra • Számos műszaki és gazdaságossági korlát figyelembevételével

• Szabályozási potenciál vizsgálata virtuális erőművek feltételezésével

Ágensalapú kiserőmű modell

2013.09.12.

60. Vándorgyűlés, Mátraháza

3


Modell: elvárások • Kezelje a különböző

termelési technológiákat • Kapcsolt • gázmotor (földgáz, biogáz) • gázturbina • kazán (szén, olaj, gáz, biomassza) • gőzturbina • Megújuló • szélerőművek • vízerőművek • napelemek • Egyéb • Energiatároló (hő, villamos)

2013.09.12.


4


Modell: elvárások • Kezelje a különböző

• Vegye figyelembe a

termelési technológiákat

következőket

• Műszaki korlátok • Kapcsolt • gradiens, minimum terhelés • gázmotor (földgáz, biogáz) Az összes fenti elvárás • komplex rendszerek (CCGT) • gázturbina •került Gazdaságossági megfontolások implementálásra egy • kazán (szén, olaj, gáz, • Villamosenergia-piac (kötelező biomassza) adaptív elemeket tartalmazó, átvétel, szabad piac) • gőzturbina • Távhőpiac (hatósági ár) könnyen bővíthető, • Megújuló • Távhőrendszer korlátai áttekinthető struktúrájú • szélerőművek • Éves szinten termelt hőenergia modellben • Hőigényre szabályozás • vízerőművek • napelemek • Időjárás hatása • Törvényi szabályozás • Egyéb (hatásfok) • Energiatároló (hő, villamos) • Üzemanyag-fogyasztás

2013.09.12.


5

Az ágensmodell bemutatása

2013.09.10.


6

• Az ágensmodell alapjai

Ágensalapú megközelítés Ágensek

Környezetük

• Kiserőművek

• Idő

(DG agent) • Erőműkoncentrátor (DGC agent)

• Időjárás • hőmérséklet • szélsebesség • Piac • Váratlan üzemzavarok

• Minden ágens célja a

profitmaximalizálás, amit folyamatosan változó környezetben kell végezniük. 2013.09.12.

• Részlegesen megfigyelhető,

sztochasztikus, szekvenciális és statikus ágenskörnyezet.


7


Cselekvések általánosítása • Cselekvés = üzemállapot

kiválasztása • A haszonszámítás legyen független az alkalmazott technológiától

• Hő (eladott, elengedett…)

• Szabályozási idő

• Az üzemállapotok

• A működő egységek

paraméterei:

technológiától és az erőműtől •Elegendőek a hasznosság számításához 2013.09.12.

• Villamos • Üzemanyag-fogyasztás

Az üzemállapotokat általánosítani kell

•Függetlenek a

• Állapotparaméterek • Teljesítmények

típusa és darabszáma • Az alkalmazás időjárási feltételei


8


Stratégia alapú program • Két lépésből áll: 1. Szűrés 2. Hasznosságszámítás • Az egyes lépések során figyelembe kell venni számos

szempontot Az egyes korlátokat és meggondolásokat különböző stratégiák képviselik az algoritmus futása során. • Jelenleg implementált stratégiák: • • • • • • •

Profit stratégia Villamosenergia-termelés stratégia Hőszolgáltatás stratégia (csak kapcsolt technológiák esetén) Hőtároló stratégia (ha van hőtároló az erőműben) Üzemanyag stratégia (csak kapcsolt technológiák esetén) Gépegység kezelő stratégia Időjárás stratégia (csak szélerőművek esetén)

2013.09.12.


9

Tanulási módszer

2013.09.10.


10

• Tanulási módszer

A megerősítéses tanulás alapjai • Hol alkalmazható? Ott ahol az ágens… • nem ismeri a környezetét • nem tudja cselekedeteinek következményeit • nem tudja megállapítani, hogy mi a jó, mi kerülendő • az egyes cselekvéseinek hasznáról csak utólag kap értékelést • Alapfogalmak: • Állapot: az ágens állapotról állapotra lépked • Részleges vagy teljesen megfigyelhető környezet

• Cselekvés: egy állapotból egy másik állapotba visz • Sztochasztikus vagy determinisztikus állapot átmenet modell

• Jutalom: megadja, hogy egy-egy állapotban való lét mennyire jó • Hasznosság: egy állapot jutalmának, valamint az innen várható

későbbi állapotok jutalmainak összege 2013.09.10.


11


A megerősítéses tanulás alapjai • Állapotok • Kezdő állapot (bal alsó) • Vég állapot (vastag keret) • Cselekvés: • Balra-Jobbra-Fel-Le • Cselekvés-átmenet modell: sztochasztikus A kívánt irányba csak 80%-kal megy, ahhoz képest 10-10%, hogy oldal irányba halad.

• Jutalom: • Minden átmeneti állapotban kicsit büntet (-0.04) • A két végállapotban nagyon jó, vagy nagyon rossz! 2013.09.10.

−0.04

−0.04

−0.04 −0.04

−0.04

−0.04

1.00

−0.04

−1.00

−0.04

−0.04

• Feladatok: 1. Hasznosságszámítás 0.812

0.868

0.762 0.705

2.

0.655

0.918

1.00

0.660

−1.00

0.611

0.388

Optimális stratégia meghatározás


12


A megerősítéses tanulás alapjai • Feladatok: 1. Hasznosságszámítás 2. Optimális stratégia • Ha mindent tudok, akkor

egyszerű, de: -

2013.09.10.

0.660

−1.00

0.611

0.388

1.00

−1.00





- S ha 10%-ban balra húz?

1.00

0.655

- Hol vannak állapotok/falak - Mennyi az állapotok jutalma?

- A felfelé mindig felfelé visz? - De ha ott fal van?

0.918

0.705

ha nem ismerem a cselekvések következményeit?

0.868

0.762

ha nem látom a táblát?

- Milyen végállapotok vannak?

-

0.812



• Különböző algoritmusok: • A számítási igény az állapottér növekedésével exponenciálisan nő! • Közelítő algoritmusok, egyszerűsítő lépések


13


ADP algoritmus alkalmazása • Passzív és aktív tanulás • Passzív: nem fedez fel, csak véletlenszerűen lépked • Aktív: szándékosan körbe néz, még akkor is, ha kezdetben nem éri meg. • Alkalmazott: Aktív adaptív dinamikus programozás

prioritásos végigsöpréssel • Hasznosságszámítás: csak a legvalószínűbb következmények

alapján • Hasznosságértékek frissítése: csak ott, amelyek valószínű következményeiben nagy hasznosságváltozás történt! • Aktív tanulás: a rég nem látott állapotok kipróbálása

2013.09.10.


14


Alkalmazás a problémára • Állapotok • Szekvenciális állapottér: • minden negyedórában 20-20 állapot

így a teljes állapottér 24x4x20 = 1920 állapot • Minden állapotból csak a következő negyedóra 20 állapotába lehet lépni • A 20-20 állapot a stratégiától függően kerül meghatározásra: • Pl. szolgáltatott villamos energia (0-100%, 5% lépésekben)

• Cselekvések: az (általánosított) üzemállapotba történő

váltás. • Determinisztikus: meghatározható, hogy egy adott üzemállapotba

történő lépés melyik állapotba visz!

2013.09.10.


15


Alkalmazás a problémára • Jutalom: • Az adott negyedórában, a stratégiához tartozó bevétel/költség: • Villamosenergia-termelés: a negyedórás villamosenergia-bevétel, • Hőszolgáltatás stratégia : a negyedórás hőenergia-bevétel, • Hőtároló stratégia: a negyedórás, tárolóból eladott hőenergia-bevétel, • Üzemanyag stratégia : a negyedórás üzemanyag-költség, • Gépegység kezelő stratégia: az egységek szabályozási/indítási költsége.

• Az egyes stratégiák jutalmának összegéből kiadódik a profit!

Cél: a jutalmak maximalizálása a nap során. • Hasznosság egy adott állapotban • Az adott negyedórás profit + az adott állapotból várható hátralévő profit

2013.09.10.


16


Jelenlegi eredmények egy napra

2013.09.10.


17

Köszönöm a figyelmet! [email protected]

2013.09.10.


18

Adaptív menetrendezés ADP algoritmus alkalmazásával

Recommend Documents