Pannon Egyetem Informatikai Tudományok Doktori Iskola Tézisfüzet
Kétdimenziós mesterséges festési eljárások. Hatások és alkalmazások
Kovács Levente Képfeldolgozás és Neuroszámítógépek Tanszék Témavezet®: Prof. Dr. Szirányi Tamás
Veszprém, 2006.
El®zmények, célok, módszertan
1
El®zmények, célkit¶zések A nem-fotorealisztikus képalkotási módszerek az elmúlt kb. egy étvized termékei a számítógépes gra ka világában. Amint azt az elnevezés is jelzi, ezeknek a módszereknek a célja nem valamilyen modell-képek minél pontosabb reprodukálása gra kai célokra, hanem éppen ellenkez®leg, egy modellkép különféle akár m¶vészinek is nevezhet® reprezentációinak el®állítása. Ezen módszerek els® célja valós festmények hatásainak mesterséges reprodukálása volt, hétköznapi felvételek pl. olajfestmény-szer¶vé alakítása. Azóta számos módszer látott napvilágot, de az els®dleges cél megmaradt: kellemes látványt nyújtó festményszer¶ gra kák készítése, rajz lm-szer¶ hatások létrehozása képeken és vidókon ill. gra kákban. Ezen módszerek nagy halmazának egyik elemét jelentik az ú.n. ecsetvonás-alapú képalkotási algoritmusok. Ezekben a festmény-szer¶ képi hatások létrehozása valós ecsetmintázatok valamilyen mérték¶ utánzásával, szimulációjával történik, egy mesterséges festési folyamatban. Az ebbe a családba tartozó fontosabb módszerek mélyreható áttekintését megtalálhatjuk
El®zmények, célok, módszertan
2
Gooch és Gooch. (Non-Photorealistic Rendering. AK Peters, Ltd. 2001.), ill. Strothotte és tsai. (Non-Photorealistic Computer Graphics, Morgan Kaufman Publishers, 2002.) könyveiben. A munka során a szerz® célja új ecsetvonás-alapú festményszer¶ képi hatások, eektusok kidolgozása, vizsgálata, új alternatív megoldások kidolgozása, különféle képfeldolgozási és képi struktúra-információ kinyerési módszerek alkalmazása az ecsetvonás-alapú képalkotásokban, újabb festésalapú képalkotási módszerek kidolgozására volt, és párhuzamosan az ezekkel a módszerekkel létrehozott képek hatékony leírási, tárolási, kódolási lehet®ségeinek vizsgálata, amely egy új néz®pont ezen a teröleten. A kutatói munka során elért eredmények kerülnek bemutatásra, amelyek kulcsszavakban a következ®k: különféle többszint¶ ecsetmintázatok használata a festés-szer¶ képalkotási folyamatban, festési optimalizálások, a létrehozott képek ecset-sorozat alapú leírásának hatékonysága, tér-mérték módszerek alkalmazása a ecsetmintázat alapú festésben, alkalmazás képsorozatokra, módszer relatív fókusztérképek automatikus kinyerésére illetve ennek alkalmazása a festési eljárásban a részletgazdagság vezérlésére, létrehozott festett képek vektorgra kus reprezentációja, illetve néhány egyéb alkalmazási terület.
El®zmények, célok, módszertan
3
A kutatás módszertana Az ecsetvonás alapú mesterséges festési eljárások célja és a gyelem középpontja általában a létrehozott képi hatások, ezek milyensége, min®sége. Számos módszer látott napvilágot, amelyekkel számtalan festményszer¶ hatást tudunk elérni, automatikusan, fél-automatikusan vagy felhasználó-vezérelten. Ebben a munkában a szerz® egyik szempontja is ez volt, újabb módszerek létrehozása, de ennél volt egy fontosabb vezérfonal is: hogyan lehet a festést minél teljesebb mértékben a képi struktúrákból kinyert információkkal vezérelni, ezáltal olyan módszereket kidolgozni, amelyek automatikus eekt-készítésre alkalmasak és csak egy modell-képre van szükségük. Egy másik fontos alapgondolat az volt, hogy a festési módszerek folyamatukban távolodjanak el a sztochasztikus alapmódszerekt®l. Ezekt®l az elvekt®l vezérelve történt az egyes módszerek kidolgozása. Egy következ® szempont volt az, hogy az egyes kidolgozott módszerek által létrehozott képeket hogyan lehet hatékonyan és könnyen kezelhet®, hordozható formában tárolni, amely szintén egy új szempont volt a területen.
El®zmények, célok, módszertan A disszertáció gerincét a festési eljárások jelentik.
4 Ezek kidolgo-
zása során a szerz® egyaránt támaszkodott létez® és új eszközökre is. A festés-transzformációk során számos, a képfeldolgozás területén használatos standard próbaképeken ill.
a szerz® által gy¶jtött képeken történtek a
tesztelések. A relatív fókusztérkép kinyerési módszernél a tesztek standard textúra-mintázatokon és próbaképeken, ill. a fókuszterület alapú indexelési teszteknél a szerz® által készített képi adatbázison történtek. Az egyes kiértékelések alapját a képfeldolgozás és jelfeldolgozás klasszikus hibamértékei adták.
A fejlesztésekhez és a teszt-alkalmazásokhoz számos
matematikai és programozási fejleszt®i környezetet vett igénybe a szerz®. A kutatási munkát a szerza Pannon (Veszprémi) Egyetem Képfeldolgozás és Neuroszámítógépek Tanszékének Képfeldolgozási Laboratóriumában végezte.
Lehetséges alkalmazások
5
Lehetséges alkalmazások A disszertációban bemutatott módszerek felhasználási területei els®sorban a festményszer¶, rajz lm-szer¶ eektusok generálása képeken és videókon. Manapság egyre több számítógépes játékban és mozi lmben alkalmaznak egyre több nem-fotorealisztikus módszerekkel alkotott összetev®t, így az erre a területre koncentráló kutatási irányok is folytatódnak és folyamatosan fejl®dnek. A szerz® eredményei els®sorban a képi struktúrákra alapozott automatikus eektus-generálás területén kínálnak megoldásokat. Lehetséges alkalmazási területek, ahogy azokat a disszertációban is részleteiben tárgyaljuk, a következ®k:
• Ecsetvonás alapú festés-transzformált képek és videók el®állítása és kódolása - rajz lm-szer¶ hatások készítése és egyúttal ezek hatékony és tömör kódolása,
• Festmény-képek ecsetvonás-alapú átalakítása - valós festmény-képek kükönféle stílusú reprezentációinak készítése ecset-mintázatokkal, hordozható és skálázható formátumban,
Lehetséges alkalmazások
6
• Transzformált képek valós idej¶ skálázása és megjelenítése - festett képek különféle felbontású és részlettartalmú megjelenítése ill. továbbítása,
• Területfüg® részletgazdagságú festett képek el®állítása vektor gra kus reprezentációban - automatikus részletgazdagság-vezérelt festések, alkalmazásfüggetlen, skálázható, hordozható formában,
• Fókusztérképek használata képi tulajdonság-kinyerésre - képi adatbázisok indexelése és keresése fontos képi területek alapján a bevezetett relatív fókusz-térkép kinyer® módszer segítségével, fókusz-területek követése videókon. A szerz® részt vett lm-restaurálási munkákban is, név szerint az 1949-es Lúdas Matyi lm felújításának fejlesztési munkálataiban. A szerz® festés alapú kép- és videó-transzformációs munkájára [15] három független forrás hivatkozik.
Téziscsoportok
7
Téziscsoportok 1. Téziscsoport: alapmódszerek Új módszereket vezettem be a 2D-s automatikusan m¶köd®, sztochasztikus, nem-fotorealisztikus gra kai festési eljárásokban, új eektusok létrehozására, a festések eredményesebb és hatékonyabb megvalósítására, megmutattam és igazoltam, hogy ezek jelent®s javulást okoznak min®ségben, sebességben, illetve a létrehozott képek tömörítésében. (a) Altézis: Bináris és sokszín¶ ecset-mintázatok használatával stílusok szimulációja válik lehet®vé. Ezáltal egyéni stílusú mesterségesen megalkotott képek készíthet®k. (b) Altézis: Bevezettem egy interpolációs kitöltésen alapuló színi morfológiai lépést a többréteg¶ festési folyamatba és igazoltam alkalmasságát a festési eljárások közbüls® lépéseinek gyorsítására ill. a létrehozott képek kódolásának javítására. (c) Altézis: A többszint¶ sztochasztikus festési eljárásokban a tömörítési min®ség/méret/id® optimumának kulcsa a felhasznált
Téziscsoportok
8
ecset-méretek optimális megválasztása, ami kísérletekkel igazoltan általában három ecsetkészletet jelent. (d) Altézis: Igazoltam, hogy a festés-alapú képalkotási eljárás eredményképeinek (festett képek) ecsetvonás-sorozat alapú reprezentációja képpont-alapú képi kódolásoknál alkalmasabb festett képek kódolására és tömörítésére. 2. Téziscsoport: scale-space és festési eljárások összekapcsolása A scale-space elmélet képi struktúra-analízissel kapcsolatos eredményeit alkalmaztam új automatikus gra kai festési eljárások fejlesztésére, olyan módszerek bevezetésével, amelyek a képi struktúra és tulajdonságok alapján vezérlik a festési folyamatot, és amelyek természetesebbé teszik a festett képek felépítését és leírását. Kísérletileg igazoltam, hogy scale-space struktúra-információk kinyerésén alapuló automatikus festési eljárások hatékony alternatívái a klasszikus eljárásoknak. (a) Altézis: Megmutattam, hogy a képi struktúra-analízissel kinyert él/gerinc-vonal információkra alapozva nem-sztochasztikus festési eljárás készíthet®, amely más módszerekkel kombinálva új festési módokat tesz lehet®vé (b) Altézis: Megmutattam, hogy a modell-képekb®l kinyert kombinált él - és gerincvonal információk olyan hatékony automatikus vezérlést biztosítanak a festési folyamatban, amely egyidej¶leg egy természetesebb képleírási és reprezentációs módot is jelent.
Téziscsoportok
9
3. Téziscsoport: relatív fókusztérképek használata a képrégió-függ® festési
részletgazdagság vezérlésére Bevezettem egy vak dekonvolúción alapuló automatikus eljárást, amely képes képek relatív fókusztérképnek kinyerésére és igazoltam ennek gyakorlati használhatóságát. Bevezettem egy automatikus nem-fotorealisztikus festési eljárást, amely a képek relatív fókusz-térképét felhasználva képes a festés részletgazdagságát a lokális relevancia függvényében vezérelni. (a) Altézis: Bevezettem és megmutattam a lokális vak dekonvolúció használhatóságát képek relatív fókusztérképének el®állítására, ezáltal a releváns képi területek automatikus kinyerésére. (b) Altézis: Kisérletileg igazoltam, hogy a dekonvolúciós fókusztérkép kinyerés különféle textúrált felületeket tartalmazó képeken is jól használható az el®térben található területek megkülönböztetésére. (c) Altézis: Megmutattam a vak dekonvolúciós relatív fókusztérképek gyakorlati alkalmazhatóságát fókusz-alapú képi osztályozáson keresztül. Ezáltal lehet®vé tettem képi adatbázisok indexelését fókuszterületek alapján. (d) Altézis: Megmutattam, hogy a kinyert fókusztérképek segítségével olyan automatikus nem-fotorealisztikus festési eljárás készíthet®, amely képes az egyes képi területek festési részletgazdagságát változtatni a területek relevanciájának függvényében.
Téziscsoportok
10
4. Téziscsoport: alkalmazások és kiterjesztés mozgóképekre Igazoltam, hogy a festett képek ecsetvonás-sorozatként történ® kódolása lehet®vé teszi hogy a festett képek különböz® felbontású változatait valós id®ben megjelenítsük újra-transzformálás nélkül.
A
mesterséges automatikus festés-alapú képalkotási módszereket mozgóképek festményszer¶ átalakítására alkalmaztam és megmutattam, hogy megfelel® mozgásdetektáló eljárásokkal kombinálva alkalmazható festményszer¶ eektusok mozgóképeken történ® alkalmazására. (a) Altézis: A festett képek ecsetvonás-sorozat alapú leírása nem csupán hatékony tárolási módszer, hanem arra is alkalmas, hogy festett képek különböz® felbontásó változatai újra-transzformálás nélkül megjeleníthet®ek legyenek. Megmutattam a festett képek alkalmazásfüggetlen SVG (vektorgra kus) szintaxissal történ® leírásának lehet®ségét a könnyebb kezelhet®ség és a hordozhatóság céljával. Egy teszt-alkalmazással megmutattam az ecsetsorozatként kódolt festett képek valós idej¶ megjelenítésének és skálázásának lehet®ségét. (b) Altézis: Festési módszereket alkalmaztam egymást követ® képkockák transzformációjára, rajz lm-szer¶ eektusok létrehozására.
Ehhez a képsorozatokból mozgásmez®ket nyertem ki a
képkockák közötti változó területek megtalálásához, és hasznosítottam a képkockát alkotó ecsetvonások helyzet- és irányultságadatainak kinyerésére.
Publikációk
11
Publikációk [1] Kovács, L., Szirányi, T. 2D Multilayer Painterly Rendering with Automatic Focus Extraction, WSCG 2006 Full Papers Proceedings, ISBN 80-8694303-8, pp. 141-145, Plzen, 2006. [2] Kovács, L., Szirányi, T. Painterly Rendering by Automatic Feature Extraction, HACIPPR 2005, pp. 287-295, Veszprem, Hungary, 2005. [3] Kovács, L., Szirányi, T. Image Indexing By Focus Map, ACIVS 2005, Lecture Notes in Computer Science, vol. 3708, pp. 300-307, Antwerp, 2005. IF:0.513 [4] Kovács, L., Szirányi, T. Relative Focus Map Estimation Using Blind Deconvolution, Optics Letters, vol. 30, pp. 3021-3023, 2005. IF: 3.882 [5] Kovács, L., and Szirányi, T. Painterly Rendering of Images and Real Paintings with SVG Support. 3. Magyar Gra ka és Geometria Konferencia, pp. 2-8, Budapest, 2005. [6] Kovács, L., Szirányi, T. Coding of Stroke-Based Animations, WSCG 2004, Plzen, Checz Republic, ISBN:80-903100-6-0, pp. 81-84, 2004. [7] Kovács, L., Szirányi, T. Painterly Rendering Controlled by Multiscale Image Features, SCCG 2004 (Spring Conference on Computer Graphics), Published by ACM, ISBN: 1-58113-914-4, Budmerice, Slovakia, pp.183-190, 2004. [8] Kovács, L., Szirányi, T. E cient Coding of Stroke-Rendered Paintings, 17th ICPR, Cambridge, UK, august 23-26, vol. 2, pp. 835-839, 2004.
Publikációk
12
[9] Kovács, L., Szirányi, T. Rendering and Coding of Still and Motion Picture by Stochastic Painting, IV. KépAf konferencia, Miskolc-Tapolca, pp. 171178, 2004. [10] Czúni, L., Hanis, A., Kovács, L., Kránicz, B., Licsár, A., Szirányi, T., Kas, I., Kovács, Gy., Manno, S. Digital Motion Picture Restoration System for Film Archives (DIMORF), SMPTE Motion Imaging Journal, May/June 2004, pp. 170-178, 2004. [11] Czúni, L., Császár, G., Hanis, A., Kovács, L., Licsár, A., Szirányi, T. Semi Automatic Digital Motion Picture Restoration System with Learning Capabilities, 17th ICPR, Workshop: Learning for Adaptable Visual Systems, CD Proceedings. 2004. [12] Kovács, L., Szirányi, T. Stroke-Based Painting and Coding of Image Sequences, 2. Magyar Gra ka és Geometria Konferencia, pp. 142-150, BME, Budapest, 2003. [13] Bölecz, M., Czúni, L., Gál, B., Hanis, A., Kovács, L., Kránicz, B., Licsár, A., Szirányi, T., Kas, I., Kovács, Gy., Manno, S. Digital Motion Picture Restoration System for Film Archives (DIMORF), IBC2003, Amsterdam, 2003. [14] Kovács, L., Szirányi, T. Creating Video Animations Combining Stochastic Paintbrush Transformation and Motion Detection,, III. KépAf konferencia, Domaszék, pp. 210-217, 2002. [15] Kovács, L., Szirányi, T. Creating Animations Combining Stochastic Paintbrush Transformation and Motion Detection, 16th ICPR, Quebec City, Canada pp. 1090-1093, 2002. [16] Kovács, L., Szirányi, T. Vak dekonvolúció alapú automatikus fókusz-térkép kinyerési eljárás,, Magyar Szabadalmi Hivatal, benyújtva P050164/2 alatt, november 2005. [17] Kovács, L., Szirányi, T., Focus Area Extraction by Blind Deconvolution for De ning Regions of Interest, IEEE Transactions on Pattern Analysis and Machine Intelligence, javított változat bírálat alatt, 2006. IF: 4.352 [18] Kovács, L., Szirányi, T. Painterly Eects Rendering with Focus Based Level of Detail, IEEE Computer Graphics and Applications, javított változat bírálat alatt, 2006. IF: 1.602
