INTEGRÁLT BIOMETRIKUS AZONOSÍTÓ RENDSZEREK

BUDAPESTI MŰSZAKI ÉS GAZDASÁGTUDOMÁNYI EGYETEM MÉRÉSTECHNIKA ÉS INFORMÁCIÓS RENDSZEREK TANSZÉK

SEARCH-LAB KFT

TATEYAMA MAGYAR LABORATÓRIUM KFT

INTEGRÁLT BIOMETRIKUS AZONOSÍTÓ RENDSZEREK Mintagyűjtemény leírás Dokumentum információk: Fájl neve: 1_00_JE_Mintagyujtemeny_leiras Kiadás dátuma: 2005. szeptember 23. Készítették: Hornák Zoltán, Jeges Ernő, Körmöczi Csaba BME Méréstechnika és Információs Rendszerek Tanszék Csik László, Máté László SEARCH-LAB Kft

Péter Csurgay, László Tizedes Tateyama Magyar Laboratórium Kft

Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

1/50

Fájl neve: Projekt azonosító: Készítette:

P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc TST03 Csaba Kormoczi

Biztonsági minősítés: Utolsó mentés ideje:

Belső 2005. 09. 23..

TARTALOMJEGYZÉK Összefoglaló .........................................................................................................5 Abstract................................................................................................................6 1.

2.

Bevezető.........................................................................................................7 1.1

A mintagyűjtés célja ...................................................................................... 7

1.2

Az egyes minta típusok bemutatása ............................................................. 8

1.3

Dokumentum felépítése ................................................................................. 8

Saját készítésű mintagyűjtemény felépítése ..............................................9 2.1

Könvytárstruktúra ........................................................................................ 9

2.2

Az XML indexfájlok struktúrája ................................................................. 9

2.3

Mozgóképes minták fevétele és tárolása .................................................... 11

2.3.1 2.3.2 2.3.3

3.

Adatbázis felvételi alkalmazás......................................................................... 11 A felvételek előkészítése.................................................................................. 12 A minták tárolása ............................................................................................. 12

Arckép adatbázis........................................................................................14 3.1

Publikus adatbázisok................................................................................... 14

3.1.1 3.1.2 3.1.3 3.1.4 3.1.5 3.1.6 3.1.7 3.1.8 3.1.9 3.1.10 3.1.11 3.1.12 3.1.13 3.1.14 3.1.15 3.1.16 3.1.17 3.1.18 3.1.19 3.1.20 3.1.21

3.2

AR-Face Database ........................................................................................... 14 AT&T (Olivetti) database ................................................................................ 14 BioID Face Detection Database....................................................................... 14 Caltech Image Database................................................................................... 15 CVL Face Database ......................................................................................... 15 CMU Face Detection Databases ...................................................................... 15 CMU PIE Database.......................................................................................... 15 Feret Facial Recognition Technology Database .............................................. 15 Japanese Female Facial Expression (JAFFE) Database .................................. 16 MIT Media Labs Database............................................................................... 16 MIT CBCL Face Data Set................................................................................ 16 M2VTS Database............................................................................................. 16 NIST Mug-shot Images Database.................................................................... 16 Olivetti face database....................................................................................... 17 Psychological Image Collection at Stirling (PICS) ......................................... 17 UCFI Database................................................................................................. 17 University of Bern face database ..................................................................... 17 University Oulu Physics-Based Face Database ............................................... 17 UMIST Face Database..................................................................................... 18 Yale Face Database.......................................................................................... 18 Yale Face Database B ...................................................................................... 18

Saját gyűjtésű minták.................................................................................. 18

3.2.1 Forgatókönyvek ............................................................................................... 19 3.2.1.1 Fejről készült közeli felvételek forgatókönyve............................................ 19 Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

2/50




Belső 2005. 09. 23..

3.2.1.2 Sztereó arcfelvételek forgatókönyve............................................................ 19 3.2.2 Az adatbázis leírása.......................................................................................... 20

4.

Fülkép adatbázis ........................................................................................21 4.1


4.2


4.2.1 Fül fényképek................................................................................................... 22 4.2.1.1 A felvételek forgatókönyve.......................................................................... 22 4.2.1.2 Az adatbázis leírása...................................................................................... 23 4.2.2 Mozgóképes fülminták..................................................................................... 26 4.2.2.1 Fejről készült közeli felvételek forgatókönyve............................................ 26 4.2.2.2 Színes árnyékos fülfelvételek forgatókönyve .............................................. 26 4.2.2.3 Az adatbázis leírása...................................................................................... 27

4.3

Fül fényképeken végzett manuális tesztek................................................. 27

4.3.1 4.3.2 4.3.3

5.

Ujjnyomat adatbázis..................................................................................31 5.1


5.1.1 5.1.2

5.2

5.3

Az SFinGe paraméterezése .............................................................................. 33 Szintetikus ujjnyomat adatbázis készítése ....................................................... 35


5.3.1 5.3.2

Az ujjnyomat vétel forgatókönyve................................................................... 37 Az adatbázis leírása.......................................................................................... 37

Tenyérnyomat adatbázis ...........................................................................39 6.1


6.1.1 6.1.2

6.2

A Bolognai Műszaki Egyetem tenyér adatbázisa ............................................ 39 A Hong Kongi Politechnikum tenyérnyomat adatbázisa................................. 39


6.2.1 6.2.2

7.

Guardware tesztadatbázis................................................................................. 31 FVC2000 adatbázisok...................................................................................... 32

Szintetikusan generált ujjnyomatképek .................................................... 33

5.2.1 5.2.2

6.

Fülpárosítás előkészítése.................................................................................. 27 Párosítás menete............................................................................................... 28 Párosítások értékelése ...................................................................................... 29

A tenyérnyomat gyűjtés forgatókönyve........................................................... 40 Az adatbázis leírása.......................................................................................... 40

Teljes alakos mozgóképek adatbázisa......................................................42 7.1


7.1.1 7.1.2 7.1.3 7.1.4 7.1.5 7.1.6 7.1.7

Arizona State University.................................................................................. 42 Georgia Institute of Technology ...................................................................... 42 Carnegie Mellon University............................................................................. 43 Royal Institute of Technology in Stockholm ................................................... 43 University of Maryland.................................................................................... 44 University of Southampton .............................................................................. 44 University of South Florida ............................................................................. 44


3/50


7.1.8

7.2


Belső 2005. 09. 23..

Massachusetts Institute of Technology............................................................ 45


7.2.1 7.2.2

8.


A teljes alakos minták forgatókönyve.............................................................. 45 Az adatbázis leírása.......................................................................................... 47

Összefoglalás...............................................................................................48

A. Melléklet – A mintagyűjtemény könyvtárstruktúrája ...........................49


4/50




Belső 2005. 09. 23..

ÖSSZEFOGLALÓ Minden biztonsági rendszernek – akár informatikai akár fizikai védelemnek – az alapja a személyek minél megbízhatóbb azonosítása. Az azonosítás megvalósítására három alapvető módszer áll rendelkezésünkre: a tudás, avagy jelszó alapú, a birtok, avagy kulcs alapú és a biometrikus azonosítás. A jelszavas és a kulcs alapú megoldások azonban csak áttételesen köthetők a valós személyhez, ezért eredendő, kiküszöbölhetetlen gyengeséggel rendelkeznek: a jelszó lehallgatható, kicsalható, megtudható; a kulcs vagy kártya eltulajdonítható, más által is használható. A tudás illetve a birtok alapú személyazonosítási módszerekhez képest a biometrikus azonosító rendszerek nagyobb biztonságot, bizonyos esetekben pedig kényelmesebb megoldást kínálnak, hiszen közvetlenül az azonosítani kívánt személyt, annak biometrikus jellemzőit vizsgálják. Biometrikus azonosításra az emberi test számos jellemzője alkalmazható: vizsgálható például az ujjnyomat, az arc, a szem (a retina vagy az írisz), a fül vagy a hang. A biometrikus azonosítást a tudás és a birtok alapú azonosítási módszerekkel együtt alkalmazva (pl. ujjnyomat + PIN kód) az egyes módszerek erőssége jelentősen fokozható. A kitűzött céloknak megfelelően tevékenységünk két nagy területre bontható: célunk egyrészt új biometrikus eljárások és eszközök kutatása és fejlesztése, másrészt pedig egy integrált személyazonosító és személyazonosság követő rendszer prototípusának a kifejlesztése, amely a meglévő és az új biometrikus módszereket is alkalmazva képes egységes módon támogatni a megfigyelt területen jelen lévő személyek mozgásának és személyazonosságának a követését. A projektben részvevő partnerek már számos biometrikus és egyéb azonosító megoldással, algoritmussal, illetve azokra épülő termékkel rendelkeznek, amelyek különböző azonosítási módszerek megvalósítására irányulnak. Ezeken felül az új biometrikus eljárások kifejlesztésénél elsősorban a tenyérnyomat azonosítás és a fül alapú azonosítási módszerek kifejlesztésére, illetve az ujjnyomat olvasó miniatürizálása helyezzük a hangsúlyt. A kutatások során az azonosítási módszerekkel összefüggő, azokra specifikus képfeldolgozási algoritmusok kifejlesztése illetve továbbfejlesztése is kiemelt jelentőségű. A partnerek által kifejlesztett rendszereken felül számos, kereskedelmi forgalomban hozzáférhető termék áll a rendelkezésünkre az integrációhoz. Az integrált személyazonosító és személyazonosság követő rendszer az összekapcsolt alrendszerek szolgáltatásaira támaszkodva nyújt kiegészítő szolgáltatásokat, amelyek révén a személyek követhetőek, a személyazonosságuk automatikusan megállapítható a felhasznált módszerekből eredő bizonytalanság kezelésével. E bizonytalanságokat a rendszer az ellentmondások feloldásával, illetve a kezelőszemélyzet bevonásával mérsékelheti, például a videoképeken látható arcok elmentésével, humán arcfelismerés támogatásával. Az integrált rendszer kiegészítéseképpen számos, a kutatási eredményeinkre épülő demonstrációs alkalmazást fejlesztünk ki. Ezek elsősorban otthoni és irodai alkalmazások, amelyek az azonosítási módszereinket az információs és a mobil technológiákkal ötvözik. Célunk ezen alkalmazásokkal egy olyan portfolió kialakítása, amely által kutatási eredményeink kézzelfoghatóvá válnak, megteremtve a későbbi hasznosítás alapjait. Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

5/50




Belső 2005. 09. 23..

ABSTRACT The basis of every access control system – nevertheless being logical or physical – is the reliable identification of people. For this there are three major solutions available: knowledge (password) based, possession (key) based and biometric identification methods. However, passwords or keys are only implicitly linked to people, thus they inherit an ineludible weaknes: password can be intercepted or cheated out; keys can be stolen and used by others. As opposed to the knowledge or possession based methods, biometric identification systems offer higher security and in some cases also more comfortable solutions, as they directly check the identifiable person, his or her biometric features. Different features of human body can be used, like fingerprint, face, eyes (retina or iris), ear or voice. Using biometric identification along with knowledge and possession based methods (e.g. fingerprint + PIN code) can significantly strengthen the security of the separate methods. According to the appointed goals, we can devide our activities to two main areas: on the one hand our goal is to research and develop biometric procedures and devices; on the other hand we shall develop the prototype of an Integrated Human Identification and Identity Tracking System, which will use existing and new biometric methods in a single integrated system to support the tracking of persons and their identities within the observed facilty. The partners taking part in the project have already developed several biometric and other solutions and algorithms for identification, and they have several products based on these. Additionally, we will primarily put stress both on palm-print and ear based identification methods and fingerprint reader miniaturization during the development of new identification techniques. The development of specific image processing algorithms in order to enhance biometric identification methods is also of accentuated importance. Besides the existing solutions of the partners, a greate number of products are available on the market for the integration. The Integrated Human Identification and Identity Tracking System will offer its auxiliary services relying on the services of these interconnected subsystems, using which people can be tracked, and their identities can be determined with proper and conscious handling of ambiguities resulting from the used methods. Ambiguities will be resolved in the system by detecting and resolving contradictions, and by involving the guard personnel to the process of identification for example by showing the saved face pictures of peoples and offering manual identification, which we call the human face recognition support. As a supplement to the integrated system we plan to develop several applications for demonstrative purposes based on the results of our researches. These will be primarily home and office appliances, which will compound the developed identification methods with information and mobile technologies. Our goal is to build a portfolio, using which our researches will be tangible, thus serving a good basis for the exploitation of our results.


6/50




Belső 2005. 09. 23..

1. BEVEZETŐ A dokumentum az Integrált biometrikus azonosító rendszerek projekt első fázisában összegyűjtött mintagyűjtemény adatbázist mutatja be. Tekintettel arra, hogy jelentős mennyiségű mintát gyűjtöttünk különböző mintatípusokból, az eredményeket jelen dokumentumban foglaljuk össze, az Irodalomkutatás és a Rendszerterv mellékleteként. Munkánk során egyaránt töltöttünk le, illetve gyűjtöttünk össze meglévő, publikusan hozzáférhető adatbázisokat, és vettünk fel saját céljainknak jobban megfelelő mintákat is, ezért az egyes minta típusok bemutatása során felsoroljuk azokat az adatbázisokat, amelyek (általában az Interneten) hozzáférhetőek bizonyos kutatócsoportoknál vagy más szervezeteknél, illetve a magunk által felvett minták kapcsán bemutatjuk a felvételek tervezésének a szempontjait, illetve az így előállt adatbázisokat.

1.1 A mintagyűjtés célja A mintagyűjtés elsődleges célja a keretrendszerben megvalósított azonosítási és alakkövetési módszerek tesztelése. A biometrikus azonosítási rendszerek két alapvető hibaparamétere a téves elfogadások (FAR - False Acceptance Rate) és a téves visszautasítások (FRR – False Rejection Rate) aránya, amely számok együttesen fejezik ki egy biometrikus rendszer jóságát. Az alakkövetés esetében áttételesen szintén a fenti hibamutatókra támaszkodhatunk. A hibamutatókról mind az Irodalomkutatás kötetben, mind pedig a Rendszertervben (System Specification) részletesen szót ejtettünk. A tervezett rendszer moduljaiban megvalósított eljárások finomításához, fejlesztéséhez elengedhetetlen mind az egyes modulok, mind pedig a rendszer egészének a folyamatos minősítése az előre meghatározott hibamutatókkal. Az egyes megvalósítandó alternatívák közötti választáshoz szükségünk van olyan mérésekre, amelyek a módszereket összehasonlíthatóvá teszik. Ezen mérések elvégzéséhez viszont elengedhetetlen egy megfelelő méretű adatbázis megléte, amely segítségével a megfelelő pontossággal becsülhetjük a hibaparamétereket, és dönthetünk a lehetséges fejlesztési irányokról. Mivel a tervezett rendszerünk egy integrált személyazonosító és személyazonosítás követő rendszer, amely az alakkövetésen felül különböző biometrikus azonosítási módszereket kíván felhasználni, a teszteléséhez is különböző felvételeket, azonosítási objektumokat tartalmazó mintákra (pl. arc, fül, ujjnyomat) van szükségünk minél több emberről. A publikusan elérhető adatbázisok esetében ritka, hogy egy adott személyről mindennemű biometrikus adat megtalálható egy helyen, hiszen azok szinte kizárólag egy-egy azonosítási módszer tesztelése céljából jöttek létre, így ezen ok miatt is szükségünk volt és van olyan saját tesztadatbázis felépítésére és folyamatos bővítésére, amely eleget tud tenni ennek a követelménynek is.


7/50




Belső 2005. 09. 23..

1.2 Az egyes minta típusok bemutatása A mintagyűjtés során ötféle biometrikus azonosító gyűjtésére koncentráltunk (arc, fül, ujjnyomat, tenyér és teljes alak). Az ujjnyomat és az arc a két legnyilvánvalóbb azonosításra használt biometrikus jellemző. A kettő közül az ujjnyomat gépiesített feldolgozása az egyszerűbb, az ember számára viszont az arc alapú felismerés a könnyebb. A fül illetve a tenyér már sokkal újkeletűbb, mindkét esetben több megoldás áll rendelkezése az egyediségek azonosításra való felhasználására. A video szekvenciák olyan video felvételek, amelyekről könnyen felismerhetőek a teljes test folytonos mozágásának egyedi típusjegyei, illetve az alakkövetés is elsősorban a videoképeken látható teljes alakok követéséből fog állni a rendszerben. Minden egyes minta típus bemutatásánál egységes struktúrát alkalmazunk. A rövid, lényegretörő bevezetőt követően ismertetjük a publikusan elérhető adatbázisokat, majd a saját gyűjtésű mintaadatbázist. Utóbbi tekintetében külön részletezzük a felvételek megtervezése során figyelembe vett szempontokat, majd az előállt adatbázis tárolásának a struktúráját.

1.3 Dokumentum felépítése Jelen kötet egy kiegészítés az Irodalomkutatás kötet és a Rendszerterv dokumentumokhoz, célja az elkészült mintagyűjtemény bemutatása. A dokumentum nyolc fejezetből áll. Az első, bevezető fejezet összefoglalja a dokumentum céljait és felépítését, majd a második fejezet a mintagyűjtemény felépítését, struktúráját mutatja be. A harmadiktól a hetedik fejezetig sorban bemutatjuk az arc, a fül, az ujjnyomat, a tenyér felvételeket és a teljes alakos videoszekvenciák adatbázisát. A dokumentum nyolcadik, egyben utolsó fejezete összefoglalja az előállt mintagyűjtemény jellemzőit.


8/50




Belső 2005. 09. 23..

2. SAJÁT KÉSZÍTÉSŰ MINTAGYŰJTEMÉNY FELÉPÍTÉSE Ebben a fejezetben bemutatjuk a saját készítésű mintagyűjtemény felépítésének általános alapelveit, valamint a minták rendszerezésének módját. A fejezet végén bemutatjuk a mozgóképes minták felvételi módját, valamint a rájuk vonatkozó tárolási struktúrákat is, hiszen ezek a minták az azonosítási módszerek nagy részének a teszteléséhez használhatóak. Mindenkelőtt azonban a teljes mintagyűjtemény rendszerezésének általános szabályait ismertetjük. A mintagyűjetemény adatbázisának kialakításánál fontos cél volt, hogy a létrejött adatbázis jól átlátható és könnyen kezelhető legyen, ezért egységes szerkezetbe foglaltuk az adatokat. A mintákat hierarchikusan rendeztük, amelynek két fontos építőeleme van. Egyrészt egy könyvtárstruktúra, amely különböző szempontok szerint sorolja be az elkészült felvételkeket (lásd bővebben a következő, 2.1 fejezetben), másrészt pedig minden egyes könyvtáron belül a mintákkal kapcsolatos adatokat egy XML indexfájlban tároljuk, amely mintegy összefogja a külön állományokban található mintákat (lásd bővebben a 2.2 fejezetben).

2.1 Könvytárstruktúra A könyvtárstruktúra legfelső szintjén minden egyes mintatípusnak van egy saját, dedikált könyvtára. Minden, ezen főkönyvtáron belül nyíló alkönyvtárak elnevezése egy személyi azonosítót takar, amely egyértelműen azonosítja a mintához tartozó személyt (adatvédelmi okokból az adatbázisban egyáltalán nem tároljuk a személyek nevét illetve egyéb releváns személyi adatait). Az alanyok könyvtárain belül külön könyvtárba vannak rendezve az egyes felvételek a felvétel időpontjától függően. Bizonyos esetekben egy adott személyről egy adott felvétel többféle eszközzel és több környezeti feltétel mellett is elkészült, ilyen esetben, egy plusz lépcső van a személyekhez tartozó könyvtárak és a minták között, amely elválasztja a különböző technikákkal készült képeket egymástól.

2.2 Az XML indexfájlok struktúrája Az adatbázisok alapja minden esetben egy XML formátumú leíró fájl, amely, mintegy adatbázisként hivatkozik az általa kezelt mintákra és egyéb állományokra. Minden, a minták feldolgozása során előállított állomány egy, az adott XML-hez tartozó könyvtárban van. Az XML-ben szereplő egyes adatbejegyzések által hivatkozott fájlnevek tehát mindig ezen könyvtárban szereplő fájlokra vonatkoznak (a fájlnév képzési szabályokról a későbbiekben még lesz szó). Az XML fájlok fejléce a következő adatokat tartalmazza: Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

9/50




Belső 2005. 09. 23..

•

Name: az adatbázis neve.

•

File: az XML fájl neve. Ide másoljuk az XML fájl képzésekor azt a fájlnevet, amelyet az XML-t képző modul kapott. A hivatkozás lehet abszolút elérés a fájl teljes nevének a megadásával vagy relatív fájlnév is.

•

Version: az XML dokumentum verziószáma.

•

Created: a létrehozás ideje (dátum és idő).

•

Path: az egyes bejegyzésekben szereplő fájlnevek könyvtára. Az XML-hez képest relatívan adjuk meg.

•

Source: az adatok „forrása”, tehát az bemeneti XML indexfájl vagy könyvtárnév, amelyből kiindulva az adatbázist előállítottuk. A File-hoz hasonlóan itt is abszolút vagy relatív hivatkozás szerepel, attól függően, hogy az XML létrehozásakor arra hogyan hivatkoztunk.

A kimeneti XML fájlok írása általában a bemeneti fájlok olvasásával párhuzamosan történik, mert így szükségtelen a teljes XML beolvasása a memóriába. Ennek megfelelően a fejlécbe nem helyezhetjük el az adatbejegyzések (rekordok) számát, hiszen azt nem tudhatjuk előre. A beolvasandó adatmennyiséget ezért szükség esetén csak úgy állapíthatjuk meg, hogy az XML tag-eket (mezőneveket) előre egyszer végigolvassuk, és megszámoljuk az adatbejegyzések számát. Az egyes mezőkben szereplő adatok lehetséges adattípusai: •

Int: egész szám (integer).

•

String: alfanumerikus mező.

•

File: alfanumerikus, fájlnevet tartalmazó mező. Az értelmezési könyvtár függ magának az XML fájlnak a helyétől, az abban szereplő Path bejegyzéstől, és magában a mezőben is elhelyezhetünk abszolút vagy relatív könyvtárhivatkozásokat.

•

DateTime: időpont (dátum és idő).

Az egyes adatbejegyzéseknél a kitöltetlen szöveges mezők tartalma üres, a kitöltetlen numerikus mezőké pedig –1. A konkrét meződefiníciókat az egyes XML fájl-típusoknál ismertetjük. Az XML-ekben található fájl hivatkozásoknál (File adattípus) a következő szabályok érvényesek: 1. szint: az XML fájl útvonala az alap könyvtár, a további szinteken megadott relatív elérések ehhez képest értendőek. 2. szint: az XML fejlécében szereplő Path bejegyzés, amely vagy abszolút, vagy magának az XML elérési útvonalához képest (1. szint) relatív. 3. szint: az egyes adatbejegyzésekben szereplő fájlnevek. Ezek vagy abszolút bejegyzések, vagy a 2. szinten előállt útvonalhoz képest relatívak. A három szint közül tehát a 2. és a 3. szinten, ha relatív hivatkozás van, az mindig az előző szinthez képest relatív. Ha valamely szinten abszolút hivatkozás van, akkor az előző szintek természetesen nem játszanak szerepet az eredményül kapott fájlnév képzésénél. Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

10/50




Belső 2005. 09. 23..

2.3 Mozgóképes minták fevétele és tárolása Az ebben a fejezetben leírtak vonatkoznak minden a továbbiakban bemutatott mozgóképes mintaadatbázisra. Bemutatjuk egyrészt a felvételekhez használt programokat, az előkészítés általános alapelveit, majd a létrejött mozgóképes minták egységes struktúráját.

2.3.1 Adatbázis felvételi alkalmazás A felvételeket az általunk erre a célra kifejlesztett bgconsol.exe nevű alkalmazással készítettük, amely képes egyidejűleg, párhuzamosan 1, 2 illetve 4 kamera képét is rögzíteni. A felvétel indításakor az alkalmazás létrehoz egy egyedi könyvtárat (amiatt egyedi, hogy a későbbi felvételsorozatok máshova kerüljenek), majd a leállításig ebbe a könyvtárba menti a 320x240 pixel felbontású, 3x8 bit színmélységű, BMP formátumú képeket. A felvétel elindítása és leállítása manuálisan történik. A bgconsol.exe a bgcap.dll nevű programkönyvtár függvényeit használja. A bgcap.dll eredményes működtetéséhez a háttérben előzőleg el kell indítani a bgserver.exe nevű alkalmazást. Ez a szerverprogram két nyomógombot tartalmaz, értelemszerűen a Run gombbal tudjuk elindítani, illetve a Stop gombbal tudjuk leállítani a képvételt. A bgconsol.exe elindítása után először be kell állítani, hogy melyik csatornákon kívánunk képet venni (View menüpont). Ekkor az alkalmazás folyamatosan megjeleníti az egyes kamerák képét (feltéve, hogy a bgserver.exe képvételi állapotban van). Ezután a Save menüponttal tudjuk elindítani a képek lementését, és értelemszerűen a Stop menüponttal tudjuk azt leállítani. Ezután a merevlemezen a legutoljára keletkezett, egyedi nevű könyvtárban találhatóak meg a képszekvencia képei.

1. ábra: A képfelvételhez szükséges két alkalmazás: baloldalt a bgserver.exe, jobboldalt a bgconsol.exe


11/50




Belső 2005. 09. 23..

2.3.2 A felvételek előkészítése A tesztadatbázis felvétele során a tesztalanyok előre meghatározott forgatókönyvek alapján mozogtak az elhelyezett kamerák előtt. A forgatókönyveket úgy alakítottuk ki, hogy a felvételek minél jobban illeszkedjenek a tervezett detektáló és azonosító algoritmusainkhoz, hogy a létrejött adatbázison történő mérések által minél hatékonyabban határozhassuk meg a továbbfejlesztési lehetőségeket és szükségleteket, illetve, hogy esetleg az eljárásokban algalmazott neurális háló által megvalósított módszerek tanítására is alkalmasak legyenek. A különböző felvételtípusokhoz tartozó forgatókönyveket a megfelelő azonosítási módszerhnél, általában a felvételek előkészítéséről szóló alfejezetekben mutatjuk be.

2.3.3 A minták tárolása A felvételek során előálló képkockákat egy könyvtárban elhelyezkedő BMP-formátumú képek alakjában tároljuk. A képek mérete 320x240, egyrészt ekkora méretű képeken már érdemben futtathatóak az azonosítási objektumok detektálásához szükséges algoritmusok, másrészt az ennél nagyobb képek feldolgozása feleslegesen lassítaná a tesztelést. A képek színmélysége 3x8 bit. A képeket 200 milliszekundumonként generáltuk (ez 5 fps-nek felel meg), ez az időköz nagyjából egy nagyságrendbe esik a képfeldolgozás futásidejével: ennél sűrűbb képvétel esetén, valós időben túlságosan torlódnának a még feldolgozatlan képek (a képvétel sebességét természetesen a későbbiekben lehetséges gyorsítani). A már leírtak szerint a mozgókép szekvenciákat tartalmazó könyvtáron belül a könyvtárstruktúra első két szintjén az egyes személyek, majd a mozgóképes felvételtípusok találhatók, így a könyvtárstruktúra harmadik szintjén különülnek csak el a különböző időpontban készített felvételek. Tekintettel arra, hogy mozgóképes felvételek egyaránt tartalmaznak fejről készült közeli mozgóképeket, valamint távoli teljes alakos felvételeket, továbbá egyes speciális felvételeket is, a már említett felvételtípusokat megkülönböztető szint a következő könyvtárakat tartalmazhatja: •

az N0 (N=near) könyvtár tartalmazza a fejről készült közeli felvételeket, kétoldali megvilágítással,

•

az N1 és N2 könyvtárak tartalmazzák a közeli felvételeket bal, illetve jobboldali megvilágítással,

•

az F0 (F=far) könyvtár tartalmazza a távoli teljes alakos felvételeket kétoldali megvilágítással,

•

az F1 és F2 könyvtárak tartalmazzák az ugyancsak távoli teljes alakos, de csak az egyik illetve csak a másik végpontból való megvilágítással,

•

a GF könyvtárban a speciális, sztereó arcfelvételek találhatóak,

•

a REL és RER kódok végezetül a két irányból piros és zöld reflektorral megvilágított bal- és jobboldali sztereo fülképekre utalnak.

A könyvtárstruktúra legalsó szintjén az egyedi azonosítójú könyvtárnevek találhatóak, amelyek a felvételsorozatokat tartalmazzák. Ezekben az egyszerre egy vagy két kamera által Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

12/50




Belső 2005. 09. 23..

szinkronban felvett képkockák sorozata található, valamint az INDEX.XML, amely ezeket a már említett módon összefogja egy-egy közös képszekvenciába. Az egyes képkockák fájlneveit a következő módon képeztük: Cxx_ÉÉÉÉ_HH_NN_ÓÓ_PP_MM_EE.bmp ahol Cxx az xx. azonosítóval rendelkező kamerára vonatkozó prefix (00 vagy 01), az ÉÉÉÉ_HH_NN a felvétel készítésének dátuma (év, hónap és nap), az ÓÓ_PP_MM_EE pedig az időpont óra, perc, másodperc, illetve ezredmásodperc paramétere. Ez a szerkezet lehetővé teszi a tesztek előkészítéséért felelős perl szkriptek lefutását, hiszen így a szkriptek a legfelső szintű könyvtárnévből vehetik a személy azonosítóját, a következő szintű könyvtárakból következtethetnek a képszekvencia típusára, magából a fájlnévből pedig következik a kamera sorszáma, illetve az egyes képkockák sorrendje. Az INDEX.XML az egyes adatbejegyzésekben (Frame) a következő adatokat tartalmazza: Azonosító Index

Típus Int

CreatedBy AlgoID RGBFile Width Height ColorRepr Time CamereaIndex

String String File Int Int String Date Int

Leírás A videoszekvenciában megtalálható képkockák sorszáma Létrehozó személy neve. A feldolgozó algoritmus azonosítója A képet tartalmazó fájl neve. A kép szélessége A kép magassága A kép színmélysége A mintavétel ideje A felvevő kamera sorszáma

CameraType

String

A felvevő kamera típusa

FramePerSec

Int

Enabled Source

Boole an Int

ProcessedBy Type

Int String

A felvevő kamera mintavételi frekvenciája Csak a rögzített és engedélyezett képek kerülnek feldolgozásra A kép forrása (a feldolgozó modul bemenete) A képet feldolgozó modul A hivatkozott adatfájl típusa


Értéke 0.. inkrementális, automatikus

Esetünkben: 320 Esetünkben: 240 Esetünkben: RGB24 Esetünkben: 0 vagy 1 S=statikus D=dinamikus Esetünkben 8 0=enabled 1=disabled Általában hivatkozás más XML-ekre Modul ID Esetünkben: Image

13/50




Belső 2005. 09. 23..

3. ARCKÉP ADATBÁZIS Az arckép alapú azonosítási módszer teszteléséhez közelről felvett képekre vagy képszekvenciákra van szükség az emberek arcáról.

3.1 Publikus adatbázisok Az arcfelismerésen alapuló automatikus azonosítási módszereket már több évtizede kutatják, így ehhez a módszerhez számtalan tesztadatbázis létezik. A Google keresővel közel 5000 találatot kapunk a „face database” szavakra. A hozzáférhető adatbázisok szinte kivétel nélkül arc fényképek. A teljesség igénye nélkül néhány adatbázis főbb jellemzői, dióhéjban:

3.1.1 AR-Face Database Személyek száma: 126 (70 férfi, 56 nő). Képek száma, formátuma: 4000 színes kép, 24-bites RGB, BMP. Variációk, póz, egyéb megjegyzések: különböző arckifejezések, megvilágítási irányok, kitakarások; elölnézet. Link: http://rvl1.ecn.purdue.edu/~aleix/aleix_face_DB.html.

3.1.2 AT&T (Olivetti) database Személyek száma: 40. Képek száma, formátuma: 400 szürkeárnyalatos kép, 10 szemből/fő, 5 profilból/fő, PGM. Variációk, póz, egyéb megjegyzések: különböző időben készített képek, megvilágítás, arckifejezés, szemüveg; elölnézet és profil. Link: nincs adat.

3.1.3 BioID Face Detection Database Személyek száma: 23. Képek száma, formátuma: 1521 szürkeárnyalatos kép, 384x286, PGM. Variációk, póz, egyéb megjegyzések: szempozíciók bejelölve; elölnézet. Link: http://www.humanscan.de/support/downloads/facedb.php. Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

14/50




Belső 2005. 09. 23..

3.1.4 Caltech Image Database Személyek száma: 27. Képek száma, formátuma: 450 kép, 896x592, JPG. Variációk, póz, egyéb megjegyzések: különböző megvilágítás, arckifejezés és háttér; elölnézet. Link: http://www.vision.caltech.edu/html-files/archive.html.

3.1.5 CVL Face Database Személyek száma: 114. Képek száma, formátuma: 7 fő, 640x480, JPG. Variációk, póz, egyéb megjegyzések: nincs adat. Link: http://lrv.fri.uni-lj.si/facedb.html.

3.1.6 CMU Face Detection Databases Személyek száma: 2 adatbázis. Képek száma, formátuma: szürkeárnyalatos képek, GIF. Variációk, póz, egyéb megjegyzések: különböző háttér; elölnézet és profil. Link: http://www.ri.cmu.edu/projects/project_419.html.

3.1.7 CMU PIE Database Személyek száma: 68. Képek száma, formátuma: 41368 kép. Variációk, póz, egyéb megjegyzések: 13 póz, 43 megvilágítás, 4 különböző arckifejezés Link: http://www.ri.cmu.edu/projects/project_418.html.

3.1.8 Feret Facial Recognition Technology Database Személyek száma: nincs adat. Képek száma, formátuma: 14051 szürkeárnyalatos kép. Variációk, póz, egyéb megjegyzések: különböző pózok a profiltól az elölnézetig; különböző arckifejezés és megvilágítás. Link: http://www.itl.nist.gov/iad/humanid/feret/feret_master.html.


15/50




Belső 2005. 09. 23..

3.1.9 Japanese Female Facial Expression (JAFFE) Database Személyek száma: 10 nő. Képek száma, formátuma: 213 szürkeárnyalatos kép, TIFF. Variációk, póz, egyéb megjegyzések: 7 különböző arckifejezés. Link: http://www.irc.atr.jp/~mlyons/jaffe.html.

3.1.10 MIT Media Labs Database Személyek száma: 16. Képek száma, formátuma: 16*27 kép, saját formátum. Variációk, póz, egyéb megjegyzések: megvilágítás, méret és fej tartás irány. Link: http://vismod.media.mit.edu/pub/images/.

3.1.11 MIT CBCL Face Data Set Személyek száma: nincs adat. Képek száma, formátuma: 6977 regisztrációs kép (2429 arc/4548 más), 24045 teszt kép (472/23573 más), 19x19 szürkeárnyalatos kép, PGM. Variációk, póz, egyéb megjegyzések: nincs adat. Link: nincs adat.

3.1.12 M2VTS Database Személyek száma: 295. Képek száma, formátuma: színes képek, 4 video szekvencia per fő, saját formátum. Variációk, póz, egyéb megjegyzések: beszéd közben; elforgatás, arckifejezés, szemüveg. Link: http://www.ee.surrey.ac.uk/Research/VSSP/xm2vtsdb/.

3.1.13 NIST Mug-shot Images Database Személyek száma: 1573 (1495 férfi, 78 nő). Képek száma, formátuma: 3248 szürkeárnyalatos kép. Variációk, póz, egyéb megjegyzések: elölnézet és profil, különböző képméretek. Link: http://www.nist.gov/srd/nistsd18.htm.


16/50




Belső 2005. 09. 23..

3.1.14 Olivetti face database Személyek száma: nincs adat. Képek száma, formátuma: 400 kép, PGM. Variációk, póz, egyéb megjegyzések: nincs adat. Link: http://mambo.ucsc.edu/psl/olivetti.html.

3.1.15 Psychological Image Collection at Stirling (PICS) Személyek száma: nincs adat. Képek száma, formátuma: kb. 1000 kép. Variációk, póz, egyéb megjegyzések: több különböző adatbázis. Link: http://pics.psych.stir.ac.uk/.

3.1.16 UCFI Database Személyek száma: nincs adat. Képek száma, formátuma: színes képek. Variációk, póz, egyéb megjegyzések: méret, elhelyezkedés, irány, arckifejezés, megvilágítás; kézzel szegmentált képek. Link: http://dsp.ucd.ie/~prag/.

3.1.17 University of Bern face database Személyek száma: 30. Képek száma, formátuma: 450 szürkeárnyalatos kép, 300 szemből (10/fő), 150 profilból (5/fő), SUN raster formátum. Variációk, póz, egyéb megjegyzések: fej pozíció, méret, kontraszt. Link: http://www.ph.tn.tudelft.nl/PRInfo/data/msg00010.html.

3.1.18 University Oulu Physics-Based Face Database Személyek száma: 125. Képek száma, formátuma: színes képek, 428x569, 24-bites RGB, BMP. Variációk, póz, egyéb megjegyzések: különböző megvilágítás, szemüveg; 16 elölnézeti kép. Link: http://www.ee.oulu.fi/research/imag/color/pbfd.html.


17/50




Belső 2005. 09. 23..

3.1.19 UMIST Face Database Személyek száma: 20. Képek száma, formátuma: 564 kép, 220x220, szürkeárnyalat, PGMÍ. Variációk, póz, egyéb megjegyzések: elölnézettől profilig, különböző nem, bőrszín. Link: http://images.ee.umist.ac.uk/danny/database.html.

3.1.20 Yale Face Database Személyek száma: 15. Képek száma, formátuma: 165 szürkeárnyalatos kép, GIF. Variációk, póz, egyéb megjegyzések: 11 különböző körülmény: arckifejezés megvilágítás, szemüveg. Link: http://cvc.yale.edu/projects/yalefaces/yalefaces.html.

3.1.21 Yale Face Database B Személyek száma: 10. Képek száma, formátuma: 5760 kép, PGM. Variációk, póz, egyéb megjegyzések: alanyonként 576 kép: 9 póz és 64 megvilágítás. Link: http://cvc.yale.edu/projects/yalefacesB/yalefacesB.html.

3.2 Saját gyűjtésű minták A publikusan hozzáférhető adatbázisok állóképeivel szemben mi közeli, mozgóképes felvételeket gyűjtöttünk az arcokról. Ezeken, mint látni fogjuk, egyaránt szerepelnek arc és fül minták, hiszen ezek a felvételek a személyek fejéről készült olyan módon, hogy közben a fej nagy szögben ponttól pontig mozgott. A minták készítése során fontos szempont volt, hogy életszerű tesztadatbázist vegyünk fel. Ezt a fényviszonyok és egyéb beállítások változtatásával értük el. Mozgóképekről lévén szó, a mintákat a 2.3.3 fejezetben leírtak szerint rendszereztük a mozgóképeket tartalmazó adatbázison belül. Arc alapú azonosítás tesztelésre az N0, N1 és N2 jelzésű fejről készült közeli képszekvenciákat használhatjuk, tehát a mintákat az ilyen nevű könyvtárakon belül találhatjuk. A GF jelű, speciális sztereó felvételeket is arc azonosítási módszerek fejlesztésének a céljára vettük fel.


18/50




Belső 2005. 09. 23..

3.2.1 Forgatókönyvek Arcazonosítás tesztelésére elsősorban a fejről készült közeli felvételeket szántuk, amelyek egyaránt használhatók arc és fül alapú módszerek tesztelésére is. További kísérletek elvégzése céljából azonban készítettünk sztereó arcfelvételeket is, amelyek az előzővel ellentétben kizárólag arc alapú módszerekhez használható.

3.2.1.1 Fejről készült közeli felvételek forgatókönyve A fejről készült közeli felvételek egyaránt taralmaznak arc és fül mintákat. A közeli felvételek esetén a személy fejére (pontosabban arcára) fókuszált kamerafelvételeket szimuláljuk. Emiatt szemből és oldalról, enyhén felülről vesszük fel a tesztalanyokat. A tesztalanyok a felvétel alatt folyamatosan mozgatják a fejüket balra és jobbra, így egy sorozat alatt számos látószögből készül róluk felvétel. A következő ábrán a közeli felvételek elkészítésére szolgáló forgatókönyv sematikus ábrája látható:

2. ábra: Az arc és fül felvételi ábrája Az ábrán látható legnagyobb alakzat az asztalt ábrázolja felülnézetből. Az asztalon találhatók a K1 és K2 jelölésű kamerák. Az asztalon található továbbá a felvételt végző számítógép monitorja, ennek segítségével könnyű a kamerák képeit jól beállítani. Mindkét kamera az asztaltól számítva 50 cm magasságban van, ezáltal a székben ülő alanyra enyhén lefelé néz. A K1 kamera van közelebb az alanyhoz: a fejétől mintegy 15 cm-re. Ez készít felvételt a fülről. A fejtől kb. 40 cm-re lévő K2 kamera pedig az arcról készít felvételt. Az alany a székben foglal helyet, amelyet az asztal oldalával párhuzamosra állítunk be. Ezután – mivel minden alany magassága különböző – a kamerákat szükség szerint beállítjuk, hogy K1-en az alany füle, míg K2-n az alany arca legyen a középpontban (a fókusztávolságokat már előre beállítottuk). A felvétel során az alany a széket nem mozdítva, vízszintes síkban forgatja a fejét jobbra és balra, a fizikailag lehetséges végpontok között, összesen négyszer. Mivel a fül lokalizálás és a fül alapú azonosítás problémája az egyik fülön is tesztelhető, emiatt az egyszerűbb felvételkészítés érdekében megelégedtünk a bal fület ábrázoló felvételekkel.

3.2.1.2 Sztereó arcfelvételek forgatókönyve A tesztalany a székben foglal helyet, háttal a falnak. A P1 projektor segítségével egy speciális, kétszínű rácsmintát vetítünk rá. Az alany a két fizikailag lehetséges végpont között, Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

19/50




Belső 2005. 09. 23..

balról indulva, vízszintes síkban, lassan forgatja a fejét jobbra és balra, három teljes cikluson keresztül. A képet a K1 és K2 kamerák rögzítik két eltérő pozícióból. A sztereó arcfelvételek tervrajza az alábbi ábrán látható:

3. ábra: A sztereó arcfelvételek tervrajza A kivetített rácsszerkezet egy bitmap, amit az alábbi módon konstruáltunk: a vonalak sűrűsége olyan módon lett optimalizálva, hogy az egyes vonalak elkülöníthetőek legyenek, de emellett az arc nagyobb geometriai változásai is kifejeződjön az ’arcra görbített’ vonalak által. Mivel vonalalakzatot könnyű detektálni, emiatt esett a választás a rácsszerkezetre, ahol az egyes metszéspontok könnyen megtalálhatóak mindkét képen, tehát rendelkezésre fognak állni egy-egy értelműen megfeleltetett pontok az arcon – így a két, megfigyelő kamerákból húzott vezérsugár metszéspontjainak háromdimenziós helyzete meghatározható. A rácsminta amiatt kétszínű, mert ez megkönnyíti az egyes vonalak egyértelmű azonosítását. A vonalak vastagságát elegendően nagyra kellett választani, ugyanis a túl vékony vonalak interferenciajelenséget okoznak a kamerával. A segédvonalak színe úgy lett beállítva, hogy az arcon kielégítően látsszanak, továbbá a fehér vonalaktól is kellő mértékben szeparálhatók legyenek – erre főleg a lilás árnyalatok voltak alkalmasak.

4. ábra: A kivetített rácsminta és a felvétel menete

3.2.2 Az adatbázis leírása Mozgóképes szekvenciákról lévén szó, a létrejött minták a 2.3.3 fejezetben leírtak szerint lettek tárolva. Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

20/50




Belső 2005. 09. 23..

4. FÜLKÉP ADATBÁZIS Az egyedi fülmintázat felhasználása biometrikus célra sokkal újabb megközelítés, mint az eddig tárgyalt biometrikus minták (pl.: ujjnyomat). A saját mintagyűjtésünk során a kifejlesztendő módszerek tesztelése céljára egyrészt digitális fényképezőgéppel rögzítettünk fülképeket, másrészt pedig mozgóképek is készültek.

4.1 Publikus adatbázisok A fül alapú azonosítási módszer elektronikus megvalósítása még rendkívül új, ezért ezen a téren az arcfelvételekhez képest jóval kevesebb összegyűjtött adatbázis létezik. A fül alapú azonosítási módszer kialakulása alapvetően Alfred Ianarelli nevéhez fűződik, aki elsőként hozott létre fül-adatbázist és végzett manuális összehasonlításokat a XX. század közepén. Csak nemrég merült fel, hogy a módszer számítógép segítségével automatikus személyazonosításra is használható lenne, elfogadva azt a feltételezést, hogy az emberi fül formája egyedi. A témakör kutatása elindult, számos publikáció számolt be részeredményekről. Fül alapú azonosításra alapuló kereskedelmi termék mindazonáltal még nem jelent meg a piacon. Esetünkben a fül alapú azonosítás előfeltétele az, hogy a megfigyelt személyről megfelelő felbontású fülképet tudjunk felvenni. Iannarelli 1949-ben dolgozta ki eljárását, amellyel a fülképen a fül részeinek bizonyos távolságait mérte, majd azokat használta azonosításra. Az idők során több tízezres adatbázist épített fel ilyen módon, amelyeken a vizsgált paraméterek egyedinek bizonyultak. Iannarelli a fülön 12 távolságparamétert mért. Ezek megállapításához azonban elengedhetetlen a kép megfelelő pozicionálása a mintán, tehát szükséges a megfelelő nagyítást is elvégezni az illesztés előtt. Ezen pontos illesztés miatt tartják a módszert nehezen automatizálhatónak, hiszen míg az emberi szem pontos illesztésre képes, nehezen hozható létre olyan algoritmus, amely ezt az illesztést olyan precizitással képes megvalósítani, hogy a mért paraméterek kellően pontosak legyenek. Módszerével először a képet egy etalon keret méretére kell nagyítani, majd a képet bizonyos jól meghatározható pontok alapján kell a mintához illeszteni. Végül újra nagyítást kell alkalmazni olyan módon, hogy a fül a méréshez használt tengelyeken definiált etalon szakaszokhoz illeszkedjen. Ezek után megtörténhet az azonosításhoz szükséges távolság paraméterek mérése. Iannarelli a távolságokat 3 mm-es pontossággal mérte. Sajnos elektronikus formában publikusan elérhető adatbázis jelenlegi ismeretink szerint nincs, ezért a fül alapú azonosítási módszerek tesztelésére kizárólag a magunk által készített mintákat használhatjuk, amelyeket a következő fejezetekben mutatunk be.


21/50




Belső 2005. 09. 23..

4.2 Saját gyűjtésű minták A fül alapú azonosítás teszteléséhez egyrészt fül fényképek adatbáziát készítettük el, másrészt pedig az arc alapú azonosításnál már ismertetett fejről készült közeli felvételek használhatóak.

4.2.1 Fül fényképek 4.2.1.1 A felvételek forgatókönyve A fül fénykép adatbázis felépítésekor az volt a cél, hogy olyan fényképeket hozzunk létre, amelyek fülazonosító algoritmusok tesztelésére alkalmasak. Az adatbázis építésének első fázisában megterveztük, hogy milyen felvételeket készítsünk. Az alanyok füleit különböző szögekből, különböző fénybeállításokkal, különböző távolságokból és különböző eszközökkel fényképeztük. A különböző minőségű kamerák képeinek vizsgálata érdekében digitális fényképezőgéppel és mobil telefon kamerájával is készítettünk mindenkiről felvételt. Ezáltal jó és gyengébb minőségű képeken is tesztelhetjük majd az algoritmusainkat. A különböző paramétereket (digitális fényképezőgép vagy mobiltelefon, természetes fény vagy vaku, fényképezés szöge ill. távolsága, stb.) úgy határoztuk meg, hogy lehetőleg minden tényezőt számba vegyünk, ami az azonosítás menetét befolyásolhatja, de a felvételek ne eredményezzenek feleslegesen sok képet. A választott paramétereket az alábbi táblázatban foglaljuk össze, amelyet adminisztrációs célokra használtuk a mintagyűjtés során. Fülnyomatkép fájlok

B

J

0 fokból Hátulról 15 fokból Hátulról 30 fokból Digitális géppel, 0 fokból természetes fényben Elölről 15 fokból Elölről 30 fokból Elölről 45 fokból 0 fokból 0 fokból Hátulról 15 fokból Hátulról 30 fokból Digitális géppel, 0 fokból vakuval Elölről 15 fokból Elölről 30 fokból Elölről 45 fokból 0 fokból Közelről Mobiltelefonos kép Fél méterről 1 méterről

5. ábra: Egy felvétel adatlapja Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

22/50




Belső 2005. 09. 23..

A fenti táblázatból kiolvasható, hogy egy személyről, annak mindkét füléről (B és J oszlop) összesen harmincnyolc kép készült. A fényképeken túl egyéb jellemzőket (foglalkozás, van-e fülbevalója, anyajegye, mi a mintavétel ideje) is rendeltünk az egyes alanyokhoz. Ezek egy része fontos lehet statisztikai vizsgálatokhoz, más részük pedig elengedhetetlen az adminisztráció szempontjából. A cél a képek listájának előállításánál az volt, hogy olyan képeket készítsünk, amilyeneket egy, a falra erősített térfigyelő kamera, vagy egy, a fülünk mellett tartott mobiltelefon készítene. A képek valósághűsége elengedhetetlen a vizsgálandó algoritmusok teszteléséhez, hiszen azokat egyaránt kell tesztelni jó és rossz minőségű képekkel is. A szögbeállításokat a következő forgatókönyv alapján végeztük:

6. ábra: Szögbeállítások a fülkép elkészítéséhez A személyt leültetve, fényképtartó állványról fényképeztük. Először oldalról merőlegesen (0 fok), majd -15, -30, 0, 15, 30, 45 és 0 fokba forgattuk. Azért készült több merőleges 0 fokos kép, hogy az algoritmust közel azonos számú merőleges illetve szögben készült képpel tudjuk vizsgálni. Egy ember mindkét füléről elkészültek a fent bemutatott felvételek, természetes fényben és vakuval egyaránt.

4.2.1.2 Az adatbázis leírása A mintegyűjtés során 32 személy füléről készült személyenként 38 darab kép. Ezek hatékony eléréséhez és kezeléséhez létre kellett hozni egy adatbázis leíró fájlt, amely első lépésben a könnyebb adatfelvétel miatt Excel fájl formátumban állt elő, majd a későbbiekben ez alapján a könnyebb gépi feldolgozás érdekében létrehoztuk a 2.2 fejezetben leírt struktúrájú index fájlt. A táblában a személyeket kétbetűs „sorszámok” (sorszámnak nevezett kétbetűs azonosítók) azonosítják, a személyekhez a képeket a leíró fájl táblázata rendeli hozzá. A képek soraiból egyértelműen meg lehet határozni, hogy azok milyen paraméterekkel készültek (természetes fény, mobiltelefon, hány fokból, milyen távolról, stb.). Ha egy táblázat cellája üres, akkor az ott található érték nem változik az előző sorban lévőhöz képest. Az alábbi részletet az adatbázis leíró fájl egy szeletét tartalmazza. Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

23/50

aa

d

000

s

1565

j

aa

d

e15

s

1566

j

aa

d

e30

s

1567

j

aa

d

e45

s

1568

j

aa

d

000

s

1569

j

aa

d

000

s

1570

b

26

irod. dolg.

j j j

2004.06.15

Belső 2005. 09. 23..

Ismertetőjel

1562 1563 1564

Dátum

s s s


Minőség

Kép. azon.

000 h15 h30

Oldal

Fény

d d d

Foglalk.

Irány

aa aa aa

Kor

Eszköz


Sorszám


fülbevaló nyoma

...

7. ábra: Adatbázis-leíró fájl A fenti táblázatrészlet 5. sorából például kiolvasható, hogy az aa sorszámmal azonosított személy jobb füléről (j), digitális fényképezőgéppel (d), elölről 15 fokos szögből (e15) természetes fényben (s) készült kép sorszáma 1566. Különböző személyekről készült képeket különböző könyvtárakban tárolunk, az aa személyt az aa nevű könyvtárban, ezért a képazonosítónak csak a könyvtáron belül kell egyedinek lennie. Ha egy kép azonosítója pl. 1234, akkor neve Img_1234 ha digitális géppel, Image(1234), ha mobiltelefonnal készült képről van szó (ez a két képvételi eszköz fájlnév képző rendszeréből adódik). A táblázatból kiolvashatók további attribútumok is: az aa személy 26 éves, irodai dolgozó, a fénykép 2004.06.15-én készült róla, és különös ismertetőjellel rendelkezik a fülén (látszik a fülbevaló nyoma). A középen található üres oszlop celláiba kerül majd az adott kép minőségi jellemzője. A digitális fényképezőgéppel készült képek felét természetes fényben vettük fel, másik felét vakuval, sötétebb helyen. A fejre nagyítottunk rá úgy, hogy annak egésze éppen beleférjen a képbe. Fényképezővel három képet készítettünk 0 fokból, de hogy ezek ne legyenek teljesen egyformák, ezért egy fülről készült képek elsője, negyedikje és nyolcadikja készült merőlegesen a füllel szemben. A többi kép különböző szögbeállításban készült. Az aa-ah képek elkészítésekor a fényképező személy járta körbe a fényképezettet, azonban ekkor elég sok életlen kép keletkezett, ezért úgy döntöttünk, hogy a további képeket állványról fényképezzük, és a fotóalanyokat mozgattuk forgatható széken. A természetes fényben készített képeket az ablak előtt, fénynek háttal készítettük, a vakusokat sötét folyosón, vagy egy sötét szobában. Egy ember körbefényképezési időtartama kb. hét és tíz perc közé esett. A fényképezőgépet mindenképpen érdemes volt hálózatról működtetni, mivel a két garnitúra elemet kb. négy óra folyamatos fényképezéssel sikerült kimeríteni. Hat óra alatt sikerült körülbelül 900 képet készíteni, ez a mennyiség egy 256 és egy 64 megabájtos memóriakártyára fért rá. A képek maradék részét egy Nokia 6600 típusú, fényképezőgéppel rendelkező mobiltelefonnal készítettük merőleges irányból, természetes fényben, három különböző távolságból: 1 méterről, fél méterről, és egészen közelről (úgy, hogy fül betöltse a képet). A mobiltelefon memóriája bőven be tudta fogadni a képeket, és az akkumulátor töltöttsége nem változott kb.150 kép készítése után sem. Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

24/50




Belső 2005. 09. 23..

Az elkészült képeket letöltöttük az eszközökről és beillesztettük a fent ismertetett struktúrába. A manuális tesztek előkészítése céljára (ld. a 4.3 fejezetben) a képekről egyenként leválasztottuk a környezet, és így ténylegesen egy csak a füleket tartalmazó kép adatbázist kaptunk. Ezen Excel táblából egy XML indexfájlt állítottunk elő, amely adatbejegyzései (Picture) a következő attribútumokat tartalmazzák: Azonosító

Típus

Leírás

Angle

Int

A kamera fülre rálátási szöge

Comment

String

Date Device Directory

Date String Directory

Distance

Int

File

File

Index

Int

Lightening

String

Purpose

String

Side

Boolean

Special

String

A képhez fűződő megjegyzés szövege A kép készítésének dátuma Felvevő eszköz típusa Tároló könyvtár elérési útja A kamera és a fül közötti távolság a felvétel pillanatában A fájlnév neve A kép sorszáma a képsorszekvenciában A megvilágítás típusa a felvétel során A felvétel készítésének a célja (itt nem használjuk) Melyik fülről készült a kép (bal vagy jobb) A megjegyzés rovatban speciális információk adhatók meg

Értéke Digicam: xnn, ahol x=F/N (Front/Rear azaz elölről vagy hátulról), nn érteke pedig a szög (0, 15 és 30). Mobile: 000

Mobile vagy Digicam Csak mobiltelefonos felvételnél, cm-ben megadva: 0, 50 vagy 100 (közeli, közepes, távoli)

N=természetes fény F=vaku Nem használt L=left R=right

A következő ábrán néhány példa képet mutatunk be:

0003

v e30

0004 v 000

0005

v 000

8. ábra: A füladatbázis néhány minta képe Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

25/50




Belső 2005. 09. 23..

4.2.2 Mozgóképes fülminták A fülazonosítási módszerek teszteléséhez a fül fényképek adatbázisán felül a fejről készül közeli mozgóképeket is használhatjuk, illetve különleges, a harmadik dimenziót is figyelembe vevő mérésekre készítettünk színes árnyékos fülfelvételeket is.

4.2.2.1 Fejről készült közeli felvételek forgatókönyve Az arc adatbázisnál már bemutatott, fejről készült közeli felvételeket egyaránt használhatjuk a fül alapú azonosítási módszerek tesztelésére is. Ezen felvételek előkészítésének a leírását a 3.2.1.1 fejezetben találjuk.

4.2.2.2 Színes árnyékos fülfelvételek forgatókönyve A színes árnyékos fülfelvételek tervrajza az alábbi ábrán látható:

9. ábra: A színes árnyékos fülfelvételek tervrajza A két asztalon helyeztük el az R1 és R2 reflektorokat tartó háromlábú állványt. A reflektorok magassága a talajtól számítva 130 cm, a kameráé 90 cm. A szék távolsága a reflektoroktól 140, a kamerától 250 cm. Az alany a széken foglal helyet, a fülét a kamera felé fordítva. A megvilágításhoz két 300 Wattos reflektort használunk, az R1 jelű zöld, az R2 piros fénnyel világít, a szék irányába. A tesztalany a normál fülfelvételhez hasonló módon, lassan, vízszintes síkban mozgatja a fejét, a bal oldali jelöléstől (x) indulva három teljes ciklust tesz meg a két jelölés között (mintegy 30 fokban). A felvételek a K1 jelű kamerával készülnek, melynek objektívje elegendő nagyítást biztosít ahhoz, hogy a felvételen a nagyobb távolság ellenére se legyen látható a reflektorokat rögzítő állvány. A széket 180 fokkal elforgatva a másik fülről is elkészítjük a felvételeket.


26/50




Belső 2005. 09. 23..

10. ábra: A piros és zöld reflektorok és a megvilágított tesztalany A képfelvétel menete tulajdonképpen megegyezik a sztereó arcfelvételek elkészítésekor alkalmazottakkal, ezt részletesen a 3.2.1.2 fejezetben írtuk le.

4.2.2.3 Az adatbázis leírása Mindkét esetben mozgóképes szekvenciákról lévén szó, a létrejött mintákat a 2.3.3 fejezetben leírtak szerint tároljuk. A közeli fej felvételek az N0, N1 és N2 könyvtárakban találhatóak az egyes alanyokhoz tartozó könyvtárakon belül, a színes árnyékkal készült fülfelvételek pedig a REL és RER könyvtárakban.

4.3 Fül fényképeken végzett manuális tesztek A majdani algoritmus első megvalósíthatósági tesztjét manuálisan végeztettük el, hogy megvizsgáljuk, vajon csak a fülek alakja alapján az ember képes-e azonos személyhez tartozó füleket összepárosítani. Ehhez az először elkészült nyolc emberről készült fülképeket kinyomtattuk, majd összekevertük úgy, hogy közben a nyomtatott sorszámok alapján az eredetük beazonosítható maradt, de a párosítást végző személy a kép alatt látható adatból nem tudta visszakövetkeztetni a fülkép eredetét.

4.3.1 Fülpárosítás előkészítése A nyolc emberről (aa-ah) digitális géppel készült képből kivágtuk a füleket és az új képeket elhelyeztük a fül, a régieket az eredeti, a mobiltelefonnal készülteket pedig a mobil könyvtárba; ezek mindegyike az azonosítóval megegyező könyvtárból nyílik. Így például az aa személy füleiről mobiltelefonnal készült képek az aa/mobil könyvtárban találhatóak. A digitális géppel készített immár csak a füleket tartalmazó képekből kiválogattunk 82-t. A kiválogatás véletlenszerűen történt. Fülek szerkesztése Hogy a manuális fülpárosítás valóban objektív legyen és a párosító személyek – a gépi algoritmushoz hasonlóan – csak a füleket vegyék figyelembe döntésük során, a tesztben a füleket, és nem a füleket tartalmazó képeket kellet párosítani, amelyen esetleg a fejből is Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

27/50




Belső 2005. 09. 23..

látható részlet. Ennek érdekében minden egyes digitális géppel készült képről képszerkesztő program segítségével kivágtuk a füleket. Fülek kiválasztása A párosítandó fülképek kiválasztásakor az volt a célunk, hogy személyenként nagyjából egyenletes eloszlásban, de mégis mindenkiről véletlen számú fülkép legyen a kiválasztottak között. Maximum 100 kép látszott reálisnak, amit a párosítást végző személyek még relatíve rövid időn belül képesek besorolni. Ezeket a szempontokat követve a kiválasztó eljárás a következő volt. A minták számának korlátozása miatt végül 8 személy fülképei közül választottunk véletlenszerűen. Száz fülképhez így egy embertől átlagosan 12-13 felvételt kellett választani. Minden emberhez sorsoltunk tehát egy 0 és 25 közötti véletlen számot, és tőle ennyi képet választottunk. A konkrét képeket úgy választottuk, hogy azok a lehető legkülönbözőbbek legyenek. Ezután volt 82 képünk a 8 emberről. A fényképek sorszámához 1-82-ig permutáltuk a számokat, ezek lettek a kiértékelést elősegítő másodlagos azonosítók, amelyek a véletlenszerű sorsolás folytán már nem segíthették a párosítást végző személyt. A permutáció úgy történt, hogy a képek elsődleges azonosítóit egy tömbbe tettük, majd egy programot futtatunk ciklikusan, amely egy ciklusban két véletlenszerűen kiválasztott tömbelemet felcserélt. A ciklus lefutása után az i. tömbelemmel (a kép elsődleges azonosítója) azonosított képnek i lett a másodlagos azonosítója. Fülképek nyomtatása A fülképek kivágása, a kiválasztás és a másodlagos sorszámozás után a nyomtatás következett. Négy fülképet helyeztünk egy A4-es oldalra és így fekete-fehérben nyomtattuk ki őket. Minden fülkép alatt szerepelt a másodlagos azonosítója, ami lehetővé tette a párosító tesztek adminisztrálását.

4.3.2 Párosítás menete A kinyomtatott és szétvágott 82 képet összekevertük. A feladat tehát 8 ember bal és jobb füleinek az összepárosítása volt, így a párosítás végeredményeképpen 16 csoportot kellett meghatározni úgy, hogy lehetőleg be kellett azonosítani az azonos emberhez tartozó jobb és bal füleket. A párosítást menetének a megfigyelése során a következőket tapasztaltuk: a tesztben résztvevő személyek általában úgy párosítottak, hogy először szétválogatták a bal illetve jobb füleket, majd azokat sorolták osztályokba, végül megkeresték a jobb-bal osztály-párokat. Osztályozás közben sorra vették a fülképeket, és ha az aktuális fülkép hasonlított egy már az asztalon lévő kupacokban szereplő fülhöz, akkor a kupacba sorolták, egyébként új kupacot nyitottak, illetve a későbbiek során osztályokat egyesítettek és választottak szét. Érdekes megfigyelés volt, hogy a fülre rálógó haj a manuális párosítást nemhogy nehezítette volna (mint ahogy azt a gépi azonosítás során az egyik legnagyobb nehezítő tényezőként emeli ki a szakirodalom), hanem még segítette is. Hiába kértük a párosító személyeket, hogy szigorúan a fülkép alapján döntsenek, olyan esetben amikor nagyon jellegzetes volt a képen Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

28/50




Belső 2005. 09. 23..

látható, a fülre rálógó haj (esetünkben erősen göndör volt az egyik alany haja), mindenki meglehetősen gyorsan és hiba nélkül tudta az adott alanyhoz tartozó képeket bepárosítani. A másik fontos tanulság az volt, hogy az ember meglehetősen sok háttértudást is felhasznál a feladat megoldása során. Például a különböző szögekből készült felvételek esetén mindenki megpróbált arra következtetni, hogy vajon az adott képek készülhettek-e ugyanarról a 3dimenziós fülalakról. Hasonló a priori tudásként értékelhető, hogy szinte mindenki előbbutóbb rájött, hogy a napfénynél készült és a vakus képek között olyan eltérések vannak, hogy ahol a sima képnél sötét, árnyékos területek látszottak, ott a vakufény hatására lehet, hogy éppen ellenkezőleg világos, sőt fényesen tükröződő felület volt látható. A manuális párosítás ezen tapasztalatai különösen fontosak voltak a későbbiek során, amikor a gépi azonosítás algoritmusát készítettük.

4.3.3 Párosítások értékelése A kiértékelés az osztályozás alapján történt. A másodlagos azonosítókat végignéztük, és melléjük írtuk, hogy a kép valójában melyik emberhez tartozik. Ezután úgy számoltunk, hogy egy halmazt ahhoz a személyhez rendeltük, amelyik a legtöbbször szerepelt benne. A helyes besorolások és a tévedések számát ennek megfelelően határoztuk meg. Egy másik mérőszám is megjelent az értékelés során, amely azt mutatta, hogy a jobb-bal fülpárosítás összerendelése sikerült-e. Általában a két mérőszám 65/82 és 5/8 körül alakult. Érdekes, hogy mindenki nagyjából ezt az eredményt érte el. Azt sejtettük, hogy ezek a mérőszámok a képek minőségét, nem pedig a lehetséges fülkép azonosítási módszer erősségét jellemzik – ennek a hipotézisnek a bizonyítására a következőkben leírt ellenőrzést hajtottuk végre. Táblázatot készítettünk, amelyben minden képhez szerepel, hogy melyik képekkel hányszor párosították be jól vagy rosszul, és mely képeket nem párosították be, pedig várható lett volna. Az alábbi táblázat részlet ilyen eseteket mutat.

ac ac

2 ag63-1 ag9-2 ag58-1 ag64-2 ag66-1 ag14-1 ac75-3 af0-3 af6-1

aa33-1

ac40 ac48 ac71

26 ab12-1 ab31-1 ab20-1 ac67-4 af52-1 af78-1 ac71-1 ag9-1 ac2-2 ac75-1

11. ábra: A párosítási táblázat két kiragadott sora Az ábra első sorából látszik, hogy az ac ember füléről készült 2-es másodlagos azonosítószámmal ellátott képet egyszer párosították össze rosszul az ag személy 63-as másodlagos azonosítószámmal ellátott képével, a kétszer ugyanezen alany 9-es fülképével stb., nem párosították össze viszont egyszer sem az ac ember füléről készült 40-es, 48-as és 71-es másodlagos azonosítószámmal ellátott képpel. A fent ismertetett táblázatot úgy értékeltük ki, hogy minden emberre elvégeztük a következő vizsgálatot. Egy ember azon két fülképét választottuk ki, amelyek a tesztalanyok leginkább összetévesztették másokéval (adott emberhez tartozó leghosszabb két sor a táblázatban). Vettük az olyan tévesztéseket, amelyeket legalább két ember elkövetett (a kötőjel utáni szám nagyobb vagy egyenlő kettővel). Azért csak ezeket, mert feltehető, hogy minél többen Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

29/50




Belső 2005. 09. 23..

elkövették az adott hibát, annál kevésbé szubjektív paraméterek alapján hozták a döntést. A két párosított képet összehasonlítottuk és kerestük a tévesztések lehetséges okát. Az alábbiakban összefoglaljuk az megállapításainkat: •

Az esetek egy részében mindkét kép, vagy csak az egyik rossz minőségű, homályos volt, egyértelműen ezért nem sikerülhetett a párosítás. A 82 kép közül 12 fülképről állapítottuk meg, hogy a kép minősége a sikeres párosítást nagyban befolyásolhatta.

•

Rossz párosításokhoz vezetett még, ha különböző emberekhez tartozó fülek ugyanolyan fényviszonyok között lettek felvéve, illetve ugyanolyan volt az élességük.

•

Különböző fülek, különböző szögbeállításokkal lettek összepárosítva (pl. s000-h15, s000e15, e30-e45, s000-e45). Ha ugyanolyanok a beállítások, akkor látszik, hogy a fülek nem egy személyhez tartoznak.

•

Néhol nem látszottak a fülkagyló járatai a belógó hajtól, így információ hiányában össze lettek tévesztve olyan fülekkel, ahol nem lógott be a haj.

•

A belógó haj sokszor viszont segítette az összepárosítást. Azon fülképek esetén, ahol a belógó haj markánsan azonosította a lefényképezett személyt, a tesztelők szinte hibátlanul párosítottak.

•

A 8-ból 3 fület markánsan eltérően jól tudtak párosítani. Az egyik esetben a már említett belógó haj, a másikban a nagy cimpa, a harmadikban pedig a fülkagyló jellegzetes formája lehetett az, ami alapján a párosítás ennyire sikeres volt.

•

Egy meglepő tévesztést mindenki elkövetett. Két különböző fülről, ugyanazon szögbeállítás mellett készült két kép, az egyik vakuval, a másik természetes fényben (f51g54). A két fül első ránézésre nagyon különbözik, a párosítók viszont rendre összepárosították, ebben az esetben valószínűleg épp a fényerőkülönbségnek tudták be a nagy eltérést; azt gondolták, hogy a szemmel látható nagy eltérés ebből adódik.

•

Volt olyan személy, akinek valamely füléről nem került be az összes párosítás a táblázatba, volt olyan fülképe, amit soha nem hozzá párosítottak. A fület megvizsgálva kiderült, hogy az előre hajlik, így a hátulról készített képek nem szolgáltattak elég információt a párosításhoz (af személy).

A táblázat alapján a képeket vizsgálva megállapítható, hogy a rossz párosítások nagy részét a kép homályossága okozta. A jó párosítások egy részét az azonos fényviszonyok, az azonos élesség, valamint a mellékes információk (pl. belógó haj) jelentősen elősegítette. Nagy szerepe volt továbbá a képvételi szögnek is. Aki a képeken a sötét, illetve világos foltok elhelyezkedéséből próbált következtetéseket levonni, az nem tudta összepárosítani az azonos személyhez tartozó vakus, illetve természetes fényben készült képeket. Az a folt, ami a természetes fényben készült képnél sötét, a vakuval készült képnél sok esetben éppen ellenkezőleg világos volt. E manuális párosítási kísérletekből tehát azt a következtetést vonhatjuk le, hogy jó minőségű képek és hasonló fényviszonyok és felvételi szög szükséges ahhoz, hogy esélyünk legyen megbízhatóan jó párosítások meghatározására.


30/50




Belső 2005. 09. 23..

5. UJJNYOMAT ADATBÁZIS Az ujjnyomat azonosítás már régóta ismert, ám a várakozásokkal ellentétben nem létezik sok nyíltan hozzáférhető adatbázis.

5.1 Publikus adatbázisok A források két csoportba sorolhatóak: egyik a ténylegesen, valós személyektől származó „igazi” ujjnyomatok adatbázisa, a másik pedig a speciális szoftverekkel generált szintetikus ujjnyomatok.

5.1.1 Guardware tesztadatbázis A Guardware Systems Kft. tesztelési céllal felvett adatbázisa egy-egy személy 6 ujjáról 2 * 4 ujjnyomat képet tartalmaz. Az első négy regisztrációs kép a master minutia ponthalmaz előállítására (3 kép) és a biometriai ellenőrzésre (4. kép), a további négy ellenőrző kép mindegyike pedig külön-külön a master minutia ponthalmaz tesztelésére, ellenőrzésére szolgál. Az első és a második négy-négy kép felvételére eltérő időpontban történt, ezáltal a teszt a későbbi alkalmazások számára jól hasznosítható információkat szolgáltathat, így a mi esetünkben is. Az ujjnyomatokat azonos méretű szürke árnyalatos (400 * 480 byte-os) kép formájában fájlok tárolják, melyek járulékos információkat nem tartalmaznak, s az ujjnyomatok közti kapcsolatot a fájlok neve hordozza. Az adatbázis képei a Guardware optikai elven működő eszközével készültek. A képek 256 szürkeárnyalatosak, felbontásuk 500 dpi, méretük 400 * 480 pixel. Az adatbázis két részből áll: A template-ek generálásához 100 ember hüvelyk, mutató és középső ujjairól vannak felvett képek. Minden ujjról 4 kép lett eltárolva, ebből 3 a regisztrációs minta generálásához, 1 pedig a regisztráció során szükséges visszaellenőrzéshez van. Ezek a képek nem tekinthetők teljesen függetlennek, mivel a képek felvétele között sok esetben nem mozdult el az ujj. A tesztkép adatbázis ugyanezen 100 ember minden ujjáról továvvbi 4 független képet tartalmaz. Elvileg tehát 600 különböző template és 4000 minta kód előállítására elegendő képet tartalmaz a teljes adatbázis, de képek felvételekor természetszerűen fellépő hibák miatt ennél valamivel kevesebb a valóban használható kép. Ez az adatbázis a hibás visszautasítások (FRR) mérésére tehát maximum 2400 összehasonlítást tesz lehetővé. 600 template-et lehet összehasonlítani a nekik megfelelő 4 mintával, ugyanakkor a hibás elfogadások (FAR) mérésére már közel 3 millió összehasonlítás az elvi maximum. Természetesen az adatbázis felvételekor történt hibák és esetleges képfeldolgozási problémák miatt ezen elvi értéknél valamivel kevesebb a valóban használható összehasonlítások száma.


31/50




Belső 2005. 09. 23..

12. ábra: Minta képek a Guardware tesztadatbázisból

5.1.2 FVC2000 adatbázisok A 2000-ben megrendezett Fingerprint Verification Competition 4 különböző adatbázist használt. Minden egyes adatbázis 110 különböző ujjról tartalmaz 8 független képet. A képek 256 szürkeárnyalatosak, felbontásuk 500 dpi. A képeknél garantált, hogy +-15 °-nál nagyobb elforgatást nem alkalmaztak és az azonos ujjról készült 8 kép mindegyike tartalmaz a többivel átfedő területet. A 4 adatbázis egyéni jellemzői: •

DB1: Olcsóbb kategóriás optikai eszközzel (Secure Desktop Scanner by KeyTronic) lettek felvéve. A képek mérete 300*300 pixel.

•

DB2: Olcsóbb kategóriás kapacitív elven működő (TouchChip by ST Microelectronics) lettek felvéve. A képek mérete 256*364 pixel.

•

DB3: Jobb minőségű optikai eszközzel (DF-90” by Identicator Technology) lettek felvéve. A képek mérete 448*478 pixel.

•

DB4: A képek szitetikus ujjnyomat generátorral készültek, méretük 240*320 pixel. A generátor egy olcsó kis képvételi felülettel rendelkező eszköz emulálására volt felparaméterezve.

A DB1 és DB2 adatbázis 20-30 éves diákok mutató és középső ujjairól készült. A diákok között körülbelül fele-fele arányban voltak fiúk, illetve lányok, akik nem voltak előzetesen kiképezve a szkennerek használatára, így a képek minőségére nem ügyeltek, a szkennert sem tisztították rendszeresen és nem garantált, hogy a képeken szerepel core illetve delta, mivel a pozícionálásra sem figyeltek. A DB3 adatbázis 5 és 75 év közötti 19 önkéntes hüvelyk, mutató és középső ujjáról készült. 55%-uk volt férfi, egyharmaduk már elmúlt 55 éves, egyharmaduk még nem érte el a 18 évet, egyhatoduk pedig a 7 évet sem. A képeket 4 időben elkülönülő sorozatban vették fel, egy napon maximum két sorozatot. Az első és utolsó sorozat között legalább 3 nap telt el, de előfordult a 3 hónap is. A szenzorokat és az önkéntesek ujjait is mindig megtisztították a képvétel előtt és figyelmet fordítottak arra, hogy az ujj közepe szerepeljen a képen.


32/50




Belső 2005. 09. 23..

13. ábra: Mintaképek az FVC 2000 adatbázisokból Link: http://bias.csr.unibo.it/fvc2000/

5.2 Szintetikusan generált ujjnyomatképek A szintetikus ujjnyomat minták generálására az SFinGe szintetikus ujjnyomat generáló programot használtuk, amelyet a Bolognai egyetemen működő Biometrikus Rendszerek Laboratórium gárdája fejlesztett ki. A fejlesztés célja pontosan az volt, hogy hasonló biometrikus alkalmazások tesztelését és hangolását könnyítse meg, illetve tegye lehetővé. Az SFinGe által generált szintetikus adatbázisok számos esetben bizonyították, hogy a valós adatbázisokkal megegyező paramétereket mutatnak, tehát azok helyett szabadon használhatók az algoritmusok tesztelésére és hangolására, a hibaparaméterek megállapítására.

5.2.1 Az SFinGe paraméterezése Lássuk most, milyen paraméterekkel tudjuk befolyásolni az ujjnyomatok generálását. Először is kiválasztjuk a kívánt felbontást.

14. ábra: A generálandó bitmap mérete A generálás különböző paramétereit 10 lépésben adhatjuk meg.


33/50




Belső 2005. 09. 23..

15. ábra: Az SFinGe paraméterezési lépései Lépések: 1. Maszk megadása. Itt a tojás alakú foltot horizontális és vertikális irányban nyújthatjuk. A létrejövő hasznos kép ezt az alakot veszi fel. 2. Minutia típus, irány térkép specifikálása. Itt adhatjuk meg az ujjnyomat globális típusát, az irányvektorok perturbációját. 3. Redőzet sűrűség meghatározása. Itt történik tulajdonképpen magának az ujjnyomat mintának a generálása. Megadhatjuk, hogy a generálás hány „magból” kiindulva történjen. 4. Állandó ujj-sérülések, karcolások számának megadása. Az ujjak nagy része tartalmaz bizonyos karcolásokat, sérüléseket. Itt ezek számát adhatjuk meg, az elhelyezkedésük véletlenszerű lesz. 5. Az ujj érintkezési felülete az olvasón. A generált ujjnyomatnak mely részét tettük rá az olvasóra. 6. Rányomás mértéke, nedvességtartalom. Azt szabályozhatjuk, hogy az ujjat jobban, vagy kevésbé nyomták rá az olvasóra, ettől függően tulajdonképpen a redőzet vastagsága változik. Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

34/50




Belső 2005. 09. 23..

7. Lineáris és nemlineáris transzformációk (transzláció, forgatás és gyűrődés). A gyűrődés meghatározásához megadhatjuk a bőr elaszticitását, illetve az ellipszisekkel azt a felületet, amit az olvasóra nyomtunk, és ami körül gyűrődhet a bőr. 8. Eseti karcolások, szűrővel való torzítás. 9. Az eredmény lineáris transzformációja. Az eredményt még egyszer eltolhatjuk, elforgathatjuk. 10. Háttér és kontraszt. A háttérrel kapcsolatban megadhatjuk, hogy optikai vagy kapacitív olvasót szimulálunk, ez meghatározza a háttérzaj minőségét.

5.2.2 Szintetikus ujjnyomat adatbázis készítése Egy több mintából álló ujjnyomat adatbázis generálásához az előző fejezetben említett paramétereket a rendszer a megfelelő intervallumok között véletlenszerűen választja egy-egy minta előállításához. Bizonyos paramétereket a rendszer a teljes intervallumból választja, bizonyos paraméterek esetében viszont az intervallumot a generálás előtt megadhatjuk.

16. ábra: Az SFinGe ujjnyomat adatbázis generáláskor beállítható paraméterek A generáláshoz beállított paraméterek: • Number of fingers: a tesztadatbázis 50.000 mintát fog tartalmazni. • Impressions per finger: egy ujjnyomat mintát 4 különböző lenyomatban generálunk. A lenyomatok ugyanazon ujjnyomat különböző transzformációi és torzításai. lehetnek. • Generator seed: Hány pontból (magból) kiindulva generálja a képet. • Class distribution: A generált ujjnyomatok típus-eloszlása milyen legyen. A beállított „Natural” érték azt jelenti, hogy az eloszlás ne egyenletes legyen, hanem az elkészült adatbázist a természetben előforduló arányokat kövesse (Sima íves=3.7%, Központos íves =2.9%, Bal hurkos=33.8%, Jobb hurkos=31.7%, Örvényes=27.9%). • Image size: az elkészülő bitmap pixel méretei. A ténylegesen elmentett felbontáshoz Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

35/50


• • • • •



Belső 2005. 09. 23..

lásd az „Advanced generation option”-t a következő ábrán. Background type: Optikai vagy kapacitív háttér választható. Background noise: A háttérzaj mértéke. Translation, Rotation, Deformation, Noise: Különböző transzformációk és torzítások. Scratches: Az ujjnyomatra generált vágások, sérülések maximális száma. Difficulty: A redőzet bonyolultsága.

Az „Advanced generation option”-ben további paraméterek állítunk be, esetünkben tulajdonképpen itt csak a kimeneti BMP fájl felbontását adjuk meg, a generálási lépések mindegyikét bevetjük, a generálás sebességét viszont jelentősen befolyásoló, menet közbeni lépések mutatását rejtve tartjuk. A minutiák számára nem adunk megkötést.

17. ábra: Az „Advanced generation options” képernyő – a beállítot bmp méret értékek Az ilyen módon elkészült szintetikus ujjnyomat adatbázisunk 50.000 ujjnyomat minta 4-4 lenyomatát tartalmazza. Az adatbázist az SFinGe több gépen való párhuzamos futtatásával állítottuk elő kb. egy hét alatt. Egy ujjnyomat generálása esetünkben (1200 Mhz-es Intel Celeron gépekkel) kb. 10 másodperc, minden lenyomat képzése további 5-5 másodpercet vett igénybe, így esetünkben valamivel kevesebb, mint fél perc alatt generáltunk egy mintát. Egy 400x480 pixel-es bmp mérete 190kB, így egy minta 760kB helyet foglal. A teljes, 50.000 mintát tartalmazó adatbázis tárolásához így összesen 36GB tárolási kapacitás volt szükséges.


36/50




Belső 2005. 09. 23..

18. ábra: Az adatbázis generálása

5.3 Saját gyűjtésű minták Hogy bővítsük a rendelkezésre álló ujjnyomatok adatbázisát, valamint azért, hogy minél több olyan személyünk legyen az adatbázisban, akiről minden használandó biometrikus mintánk megvan, saját ujjnyomat gyűjtéseket is végeztünk. Az alábbiakban ezeket mutatjuk be.

5.3.1 Az ujjnyomat vétel forgatókönyve Általában három ujjnyomat vétel szükséges az ujjnyomat olvasók segítségével egy regisztrációhoz. A feldolgozást végző algoritmus összehasonlítja a három mintát, majd kiátlagolja őket, meggyőződik arról, hogy mi a biztosan jó felvétel. Hogy a rögzített képekből biztosan előállítható legyen regisztrációs ujjnyomat több felvételt készítésének szükségessége egyértelművé vált. Ezért többször vettünk fel egy ujjnyomatot (7-8), az esetleges hibák kiküszöbölésére. A tervezés során már látszott, hogy emberenként mind a tíz ujjról készíteni felvételt rendkívül sokáig tartana, ráadásul mindegyikről hetet, ezért a mintavételezett ujjak számát tízről hatra redukáltuk (három az egyik, három a másik kézről)

5.3.2 Az adatbázis leírása Az adatbázis létező személyektől felvett 400*480 méretű, 500dpi felbontású, 256 szürkeárnyalatú ujjnyomatképeket tartalmaz, szabványos BMP formátumban. A leíró fájl rekordjai tartalmazzák a képfájl nevét, az általános (személyre, ujjra vonatkozó) információkat és az ujj egyedi jellemzőit (minőség, típus, minutia pontok száma). A Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

37/50




Belső 2005. 09. 23..

későbbiekben ezen adatbejegyzések (mezők) tartalma alapján a megfelelő mérések elvégzéséhez szűrőfeltételek fogalmazhatók meg. Azonosító

Típus

Index

Int

File

File

Person

String

Sex

String

Age

Int

Occupation

String

Finger

String

Quality

Int Date Time

Leírás Az ujjnyomatkép adatbázison belüli egyedi azonosítója Az ujjnyomat-képet tároló fájl neve Az ujjnyomatkép tulajdonosának globálisan egyedi azonosítója Az ujjnyomatkép tulajdonosának neme Az ujjnyomatkép tulajdonosának kora Az ujjnyomatkép tulajdonosának foglalkozása A kéz (L vagy R) és az ujj (0-4, a hüvelykujjtól számozva) összevont azonosítója Az ujjnyomatkép minősége Az ujjnyomatkép létrejöttének az időpontja

Type

Int

Az ujjnyomat típusa

Purpose

Int

MinutiaNo

Int

Date

Az ujjnyomatkép felhasználási célja A képen található minutiák száma

Értéke 0.. inkrementális, automatikus

F/M 0..99

L/R+0..4 0..99 1900.01.012900.12.31. 1: regisztráció 2: ellenőrzés 0..99

19. ábra: A Finger XML fájl


38/50




Belső 2005. 09. 23..

6. TENYÉRNYOMAT ADATBÁZIS Jelen fejezetben a tenyérnyomat alapú azonosítási módszerek tesztelésére rendelkezésre álló adatbázisokat mutatjuk be. A tenyérnyomat alapú azonosításon kívül ezek a minták a kéz geometriájának az azonosításra való felhasználását is lehetővé teszik.

6.1 Publikus adatbázisok Az alábbiakban a csekély számú publikusan hozzáférhető, Internetről letölthető adatbázist mutatjuk be.

6.1.1 A Bolognai Műszaki Egyetem tenyér adatbázisa Az adatbáziunkat a Bolognai Műszaki Egyetem Biometrikus rendszerek laboratóriuma által elkészített adtbázisból elérhető tenyérképek is bővítettük. Ennek az adatbázisnak a mérete meglehetősen szerény, mintegy 70 képet tartalmaz nyolc személy kezéről. A képek TIFF fájlformátumban vannak tárolva, 640*512 es felbontábban, 256 fekete fehér árnyalattal. Minden résztvevőről 8 kép készült, ez a fájlok elnevezésében is kikövetkeztethető, a fájlnév első része a személy sorzámát, míg a második az elkészült fénykép sorszámát adja meg. Link: http://bias.csr.unibo.it/research/biolab/bio_tree.html

20. ábra: Tenyérképek a Bolognai Műszaki Egyetem adatbázisából

6.1.2 A Hong Kongi Politechnikum tenyérnyomat adatbázisa Az egyetem tenyér adatbázisa mintegy 600 képet tartalmaz 100 különböző tenyérről, feketefehér BMP formátumú képekben. A fejenkénti hat mintavétel két szakaszban került rögzítésre, szakaszonként három kép felvételével. A két rögzítései között eltelt idő átlagosan két hónap volt. A tenyérnyomat adatbázisban a képek elnevezése három részből tevődik Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

39/50




Belső 2005. 09. 23..

össze. Először az egyetem neve, majd a képen látható kéz tulajdonosának az azonosítója, illetve a róla készült felvétel sorszáma következik. Link: http://www.comp.polyu.edu.hk/~biometrics/

6.2 Saját gyűjtésű minták E fejezet a saját gyűjtésű minták megtervezését, felvételét illetve tárolását ismerteti.

6.2.1 A tenyérnyomat gyűjtés forgatókönyve A szükséges típusfelvételek összeválogatásánál igyekeztünk minél inkább felkészüni minden esehetőségre, minél precízebben megtervezni az egyes tenyérminták felvételét, hogy a későbbi felhasználás során ne szabhasson határt a felvételek hasonlósága. Hogy elérjük ezt a célt a felvételeket többször megismételtük minden egyes alannyal. Több módon is digitalizáltunk minden egyes tenyérmintát, változtatva az ujjak állásán, illetve a tenyér zártságán. A felvételeket egy síkágyas lapolvasóval készítettük, ügyelve arra, hogy a kéz kényelmesen, nyugalmi helyzetben legyen. A jobb képminőség érdekében minden alany után megtisztítottuk a berendezést az esetleges szennyeződésektől. A tenyereket mind zárt, mint nyitott állapotban felvettük, mint az a következő ábrán látszik.

21. ábra: A tenyérnyomat felvételek forgatókönyve A felvétele során a sorrend a következő volt: •

jobb kéz nyitva (2x),

•

jobb kéz zárva (2x),

•

bal kéz nyitva (2x),

•

bal kéz zárva (2x).

6.2.2 Az adatbázis leírása Az adatbázisban struktúráltan helyezkednek el az adatok, XML alapú indexfájlok formájában, ahogyan azt a 2.2 fejezetben bemutattuk.


40/50




Belső 2005. 09. 23..

Az adatbázisban szereplő minták adatait tartalmazó XML fájl felépítése a következő: Azonosító

Típus

Index

Int

File

File

Time

Time,Date

Side

char

Spread

Boolean

Prupose

String

Special

String

Comment

String

Leírás A tenyérnyomatfelvétel sorszáma Az tenyérnyomat-képet tároló fájl neve Az tenyérnyomat rögzítésének időpontja Bal vagy jobb tenyérről készült-e a felvétel A tenyér zártságát vagy nyíltságát rögzíti A felvétel későbbi felhasználásának a célja Speciális megjegyés a fényképről és a tenyérről Általános megjegyzés

Értéke 0.. inkrementális, estünkben max 6

L=left R=right 0=zárt 1=nyílt Nem használt

22. ábra: Mintaképek a sáját építésű tenyér adatbázisból


41/50




Belső 2005. 09. 23..

7. TELJES ALAKOS MOZGÓKÉPEK ADATBÁZISA A alakfelismerésen alapuló azonosítási módszer egy távoli kamera által vett képről a mozgó emberi test statikus és dinamikus jellemzőit vizsgálja és hasonlítja össze különböző emberek esetében. Az azonosítás ezen paraméterek alapján történik meg, így elengedhetetlen olyan képsorozatok felvétele, amelyeken egy ember látható mozgás (járás) közben, és amelyekről a kívánt paraméterek kinyerhetőek. Ilyen paraméterek lehetnek például a testmagasság és a végtagok hossza, mint statikus jellemzők, illetve a térd és a csípő szögének periodikus változása, ezen mozgás frekvenciája és amplitúdója, mint dinamikus jellemzők. A módszerek teljes körű teszteléséhez tehát olyan képszekvenciákra lesz szükségünk, ahol az azonosítani kívánt személy elölről, hátulról és oldalról egyaránt, teljes egészében látszik. A felvett képekkel egyaránt teszteljük a teljes alak detektálását (pusztán annak a ténynek a felismerését, hogy a képen emberi alak látható), majd a kívánt paraméterek levételét, és az azok alapján történő azonosítást.

7.1 Publikus adatbázisok A továbbiakban röviden összefoglaljuk a fellelhető adatbázisok jellemzőit, az azokat létrehozó kutatócsoportok szerint rendszerezve. Az adatbázisok egy része csak néhány személyről tartalmaz mintát, így tesztelésre nem használhatjuk, viszont megismerésükkel fontos tapasztalatot szerezhetünk hasonló adatbázisok készítésével kapcsolatosan.

7.1.1 Arizona State University Kutatócsoport: Cubic – Center for Cognitive Ubiquitous Computing Adatbázis neve: DRAG Link: http://cubic.asu.edu/research/gait.aspx Eredetileg a járás biomechanikai jellemzőinek vizsgálatára létrehozott adatbázis. 5 személy járásmintáját tartalmazza, 4 darab 120 Hz-es kamerával felvéve. A mozgó testeken jelzőpontokat helyeztek el az egyes testrészek mozgásának a pontos megfigyelése érdekében. A mozgás kinematikus jellemzőit külön berendezéssel rögzítették.

7.1.2 Georgia Institute of Technology Kutatócsoport: Computational Perception Laboratory Adatbázis neve: Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

42/50




Belső 2005. 09. 23..

Link: http://www.cc.gatech.edu/cpl/projects/hid/ Tulajdonképpen 3 adatbázisról van szó. Az első adatbázis 20 személy járás közbeni mozgását tartalmazza. Mindenkiről beltéri és kültéri mozgást is felvettek, néhány alany esetében különböző felvételi szögeket alkalmaztak. A második adatbázison azt vizsgálták, hogy hogyan hat ki a gyaloglás sebessége az azonosításra. A felvételeken minden alany négy különböző sebességgel (0.7, 1.0, 1.3 és 1.6 m/s) gyalogol, egy-egy adott sebességen háromszor haladva el a kamera előtt. A harmadik adatbázis is a sebesség analizálására szolgál, 15 alany (12 férfi és 3 nő) felvételeit rögzítették. A felvételhez egy különleges mozgás-rögzítő helyiségben Vicon mozgás-rögzítő berendezést használtak, amellyel az egyes végtagok bizonyos kiemelt pontjainak mozgását külön is rögzítették. A második adatbázishoz hasonlóan az alanyok négy különböző sebességgel, sebességenként háromszor haladtak el a kamera előtt. A szekvenciákat három menetben vették fel: az elsőn használták a Vicon mozgás-rögzítést; a másodiknál levették az egyes végtagok pályagörbéjének rögzítésére használt jelzőpontokat; a harmadik felvételt pedig az első kettő után legalább egy nappal készítették. Így 15*4*3*3=540 járási szekvenciát gyűjtöttek.

7.1.3 Carnegie Mellon University Kutatócsoport: Robotics Institute Adatbázis neve: Mobo Link: http://www.hid.ri.cmu.edu/HidEval/ Az adatbázis jelenleg 25 alany felvételét tartalmazza, akik egy mozgószőnyegen mozogtak, a mozgást 6 szinkronizált kamerával vették fel 640x480 felbontással. Minden alanyt négy különböző járási módozatban figyeltek meg: lassú gyaloglás, gyors gyaloglás, lejtőn lefelé és lassú járás labdával a kézben. Minden minta 11 másodperc hosszú, másodpercenkénti 30 képkocka (FPS) felvétellel. Hozzáférhető az eredetileg felvett videokép mind a 6 kameráról, valamint a háttér eltávolítása után kapott szekvenciák is.

7.1.4 Royal Institute of Technology in Stockholm Kutatócsoport: Department of Numerical Analysis and Computing Science (NADA) / Computational Vision and Active Perception Laboratory (CVAP) Adatbázis neve: Link: http://www.nada.kth.se/cvap/actions/ Az adatbázis 25 alanyról tartalmaz átlagosan négy másodperces mintákat. Minden alany hatféle mozgási tevékenységet hajt végre: gyaloglás, kocogás, futás, boksz, integetés, tapsolás. Az elemi mozgásokat néhányszor megismétlik. A szekvenciákat különböző környezeti feltételek mellett vették fel: kültér a kamerára merőlegesen, kültér a kamerával bizonyos szöget bezárva, kültér különböző ruhában illetve beltér. A felvételek homogén háttér mellett, másodpercenkénti 25 képkockával készültek, a felbontás 160x120 volt. Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

43/50




Belső 2005. 09. 23..

7.1.5 University of Maryland Kutatócsoport: Perceptual Interfaces and Reality Laboratory Adatbázis neve: Link: http://degas.umiacs.umd.edu/Hid/data.html Az adatbázis három elkülöníthető részt tartalmaz. Az első rész 25 alany négy nézetből felvett járását tartalmazza. A négy nézőpont: az alannyal szemben, az alany háta mögül, oldalról jobbra haladva, oldalról balra haladva. A második rész 55 alany egy T-alakú nyomvonalon való mozgását rögzíti. A szekvenciákat két, a T-alakú nyomvonal két szárára merőlegesen irányított kamerával vették fel. A harmadik rész csak 12 alanyt tartalmaz 0, 15, 30, 45 és 60 fokban sétálva a kamera felvételi irányában. Ennek a nézet-szintézist végző algoritmus tesztelésében van szerepe.

7.1.6 University of Southampton Kutatócsoport: Electronics and Computer Science Adatbázis neve: Southampton HID database Link: http://www.gait.ecs.soton.ac.uk/database/index.php3 Az adatbázis két részből áll. Az elsőben közel 100, másodikban csak 10 személy mozgását rögzítették. Az első felvételhalmaz két szekvenciát tartalmaz alanyonként: egyet oldalról és egyet szögből; mindegyiket három különböző felvételi környezetben: kültér, beltér és mozgószőnyeg. A másik adatbázis a különböző környezeti hatások vizsgálatára készült, így különböző lábbeli, ruházat és viselet (pl. hátizsák) mellett készült, de csak beltéri mintákat tartalmaz.

7.1.7 University of South Florida Kutatócsoport: The Computer Vision / Image Analysis Research Laboratory at the University of South Florida Adatbázis neve: Link: http://figment.csee.usf.edu/GaitBaseline/ Az adatbázist két menetben, 2001 májusában és novemberében vették fel. A két részben 33 közös alany van. Az alanyok egy elliptikus pályán gyalogolnak végig a kamera vagy kamerák előtt, minden alany több, mint 5 kört tesz meg ezen a pályán, de csak az utolsó kört rögzítették az adatbázisba, hogy a pályabejárás kezdeti „betanulási” sajátságait kiküszöböljék. Minden személy esetében 5 tényezőt variálhattak: két lábbeli típus, aktatáskával vagy anélkül, két különböző terepen (beton és fű), két különböző irányból felvéve (balról és jobbról) és végül két különböző időben. A 32 lehetséges variáció közül bizonyos alanyok esetében csak néhányat rögzítettek.


44/50




Belső 2005. 09. 23..

7.1.8 Massachusetts Institute of Technology Kutatócsoport: Artificial Intelligence Laboratory Adatbázis neve: Link: http://www.ai.mit.edu/people/llee/HID/data.htm Az adatbázisban minden alany kétszer megy el a kamera előtt oda és vissza, a kamerára merőleges irányban. Az adatbázis érdekessége, hogy ugyanattól az alanytól felvett minták különböző napokon készültek. Ez nemcsak a különböző algoritmusok öltözéktől való függőségének a tesztelését teszi lehetővé, de vizsgálhatjuk a járás dinamikájának a változását is különböző napokon (az adatfelvétel három hónapot ölelt fel). Az adatbázis 194 beltéri szekvenciát tartalmaz 25 alanyról (11 nő és 14 férfi), a mintákat két különböző háttér előtt vették fel.

7.2 Saját gyűjtésű minták Célunk a teljes alak alapú felismeréshez jól használható mozgóképek készítése volt. Hogy a felvételek minél több formában, helyzetben kipróbálhatóak legyenek, alapos tervezés előzte meg az elkészítésüket. Egyrészt előre lefektetett útvonalat határoztunk meg, amelyen végighaladva minden oldalról látható a személy, másrészt változtatható megvilágítást is előírtunk, nem utolsó sorban pedig a videokamerák elhelyezésének módja és helye is úgy került kialakításra, hogy az illeszkedjen a megfigyelő rendszerekben használt kamerák tipikus elhelyezkedéséhez.

7.2.1 A teljes alakos minták forgatókönyve Ebben a fejezetben ismertetjük azokat a főbb szempontokat, amelyeket figyelembe véve kidolgoztuk a felvételnél használt forgatókönyvet. A távoli felvételek esetén a kamerák látószögét úgy állítottuk be, hogy a tesztalany közeli helyzetében térdtől fejtetőig látsszon (a teljes alakos azonosítás egyik fontos paramétere a térd-csípő szög), a távoli helyzetében pedig teljes alakjában. A pályát úgy állítottuk be, hogy a tesztalany minden oldalát mutassa, továbbá a pályán végighaladva ne hagyja el a képteret. A kamerák a tesztalany feje felett lettek elhelyezve, ugyanis a valós szituációkban is ez az optimális. Az alábbi ábrán a teljes alakos felvételek készítéséhez használt forgatókönyv sematikus ábráját láthatjuk. E forgatókönyv alapján a teljes alakról (járás) tudunk felvételeket készíteni úgy, hogy azokon a fej és a fül is biztosan látható legyen (ezeket azonosításra nem, csak detekcióra és lokalizálásra használjuk). A forgatókönyv által előírt mozgási szekvencia egy, a földre rajzolt nyolcas alakzaton való körbe járást ír elő, amelyet két kamerával vesszük. A forgatókönyvet úgy alakítottuk ki, hogy egy tetszőleges irodában könnyen megvalósítható legyen. A tesztalanyok számára követendő utat a padlón jelöljük ki, esetünkben kötél és ragasztószalag segítségével. Az alanyoknak adott instrukciók közt szerepel az is, hogy az alanyok ügyeljenek járásuk természetességére, ne nézzék feltűnően az előttük lévő kijelölést. Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

45/50




Belső 2005. 09. 23..

23. ábra: A teljes alakos felvételek alaprajza A nagyobb téglalap a teljes rendelkezésre álló helyet jelképezi, a szaggatott körvonalú négyzet a felvételek szempontjából hasznos terület. A távolságok méterben értendőek. A tesztalanyok az A pontból indulnak, az ABCD pontokkal jelölt görbe vonalnak megfelelő pályán járnak. A képet a C1 és C2 kamerák rögzítik, amelyek statikusak, állandó látószöget és fókusztávolságot használnak, magasságuk a talajtól számítva 2,2m, a vízszintessel bezárt szögük körülbelül 20 fok (értelemszerűen lefelé). A pályagörbét és a kamerák elhelyezését úgy alakítottuk ki, hogy a tesztalanyok a lehető legtöbb oldalról és mozgási fázisban legyenek láthatók. Így például, amíg az alany az A és B pontok között halad, addig a C1 kamera képén hátulról, távolodva látszik, míg a C2 kamerán szemből, közeledve. Ugyanígy a C és D pontok közötti mozgás közben jobb illetve bal oldali képet rögzítünk, a köztes állapotok pedig lefedik az egyéb lehetséges szögeket és távolságokat. A kamerákat célszerűen egy-egy szekrényen helyezhetjük el egymással szemben, a beállításnál figyelnünk kell arra, hogy azonos látószöget használjunk (egy középre beállított tárgy ugyanakkorának látsszon a két képen), illetve a kamerák azonos szögben álljanak (a kamerák szimmetrikus módon látsszanak egymás képén). Az alany a következő utat járja végig: •

az A pont felől érkezik be,

•

végigjárja a kijelölt utat a nyíllal jelölt irányban,

•

amikor visszaér kiindulási helyére, megfordul, és az ellenkező irányban is végigjárja az utat,

•

a kiindulási pontra érve a C1 kamera irányában elhagyja a pályát.


46/50




Belső 2005. 09. 23..

24. ábra: A kijelölt útvonal.

A felvételek készítése Amíg a felvételek végleges koreográfiája kialakult, tesztalanynak a labor munkatársait kértük fel, így nem kellett speciális felvételi alkalmakat kijelölni, hiszen az éppen bent tartózkodó munkatársakat invitáltuk a kamerák elé, ami számukra nem jelentett komoly időkiesést, hiszen elegendő volt egyszerre az egyiküket elszólítani. A felvételek elemzését követően és a kezdeti problémák kezelése után a további felvételekbe külsősöket is bevontunk, akiknek egyszer megmutattuk a felveendő mozgásmintát, ezután pedig egyenként végrehajtattuk velük azt. Ugyan a tesztalanyokat tájékoztattuk a fontosabb felvételi szempontok felől (pl. hogyan mozogjanak, hova nézzenek), továbbá az egyes mozgásminták bemutatásra is kerültek, körülbelül 20%-uk így is csak nagyobb hibákkal volt képes elvégezni a kívánt mozdulatsort. Úgy döntöttünk azonban, hogy csak extrém esetben kell megismételtetni a teljes szekvencia felvételét, az elkészült felvétel tökéletlensége ugyanis csak erősíti a tesztek során kihozható hibákat. Minden biometriai adatot szolgáltató személy egységes utasításokat kapot a mintaadas módjáról. Egyrészt kikötöttük, hogy a felvétel elindulása előtt a kamera látószögén kívül eső tartományból induljanak, illetve pontosan kövessék a kirajzolt nyomvonalat, és az egyéb meghatározott haladási instrukciókat. Fontos volt a testtartásra, nézésre, fejmozgás szélsőségeinek mellőzése valamint a lomha haladási tempó betartása is.

7.2.2 Az adatbázis leírása Minthogy a mozgókép szekvenciák tárolása egységes metodika, technika és struktúra szerint zajlik, így az ide vonatkozó leírás a 2.3.3. fejezetben található. Budapesti Műszaki és Gazdaságtudományi Egyetem, SEARCH Laboratórium P:\Current\IBAR04\50_Work\Phase1\Adatbazis\Doc\Mintagyujtemeny_leiras.doc

47/50




Belső 2005. 09. 23..

8. ÖSSZEFOGLALÁS Jelen dokumentumban bemutattuk az Integrált Biometrikus Azonosító Rendszerek projekt megvalósításához szükséges összegyűjtött, illetve általunk felvett mintagyűjteményt, amely egyrészt publikusan elérhető, általában Internetről letölthető mintákat tartalmaz, másrészt pedig a magunk által kidolgozott forgatókönyvek szerint lett felvéve. A letöltött adatbázisok összesen több száz személyről tartalmaznak néhány ezer mintát. Ezeknek azonban csak egy része lesz felhasználható a rendszer, illetve az egyes módszerek tesztelése rorán. A publikus minták letöltése és elemzése során azonban már a kezdeti szakaszban számos olyan ötlet merült fel, amelyet a saját mintagyűjtésünk során felhasználhattunk. A minták áttekintésével nem csak a mintagyűjtésre, de a rendszerben megvalósítandó algoritmusokra vonatkozóan is születtek új ötletek. Saját minták gyűjtésére két okból is szükség volt. Egyrészt azért, mert azokat mi terveztük meg és vettük fel, így jobban illeszkednek azokhoz a tervezett megvalósítandó algoritmusokhoz, amelyeket majd a mintagyűjtemény segítségével tesztelni szeretnénk. Másrészt a különböző forrásból származó letöltött adatbázisok nem tartalmazhatnak azonos emberekről különböző azonosítási objektumokat (arc, fül, tenyér, ujj), az integrált biometrikus azonosító rendszerben szereplő multimodális biometrikus azonosítás teszteléshez viszont mindenképp szükségünk van azonos emberekről származó különböző típusú mintákra is. Az általunk felvett mintagyűjtemény kb. 50 emberről tartalmaz minden lehetséges mintát. Nagyjából további 50 olyan ember van, akiről csak néhány típusú mintát sikerült felvenni. A teljes mintagyűjtemény, amely a saját felvételeket tartalmazza közel 50 Gb méretű. Az adatbázis felépítése, az egységes struktúra, a felhasznált szabványos fájlformátumok és jelen dokumentum által nyújtott tervezési és megvalósítási információk egyrészt a mintagyűjtemény könnyű használhatóságát, mársészt pedig az adatbázis további zökkenőmentes bővítését biztosítják.


48/50




Belső 2005. 09. 23..

A. MELLÉKLET – A MINTAGYŰJTEMÉNY KÖNYVTÁRSTRUKTÚRÁJA ┌─Database for object tracking\ │ ├─mvot\ │ │ ├─sample_1\ │ │ ├─sample_2\ │ │ │ ├─C01_2005-09-13-09-48-57-282.BMP │ │ │ ├─C01_2005-09-13-09-48-57-342.BMP │ │ │ ├─C01_2005-09-13-09-48-57-412.BMP │ │ │ ├─... │ │ │ └─INDEX.XML │ │ ├─sample_3\ │ │ └─... │ └─svot\ │ ├─sample_1\ │ ├─sample_2\ │ ├─sample_3\ │ └─... │ ├─Ear database\ │ ├─1000\ │ │ ├─digicam\ │ │ │ ├─IMG_1562.JPG │ │ │ ├─IMG_1563.JPG │ │ │ ├─IMG_1564.JPG │ │ │ └─... │ │ └─mobile\ │ ├─1001\ │ ├─1002\ │ ├─... │ └─EAR.XML │ ├─Fingerprint database\ │ ├─0002\ │ │ ├─20050904_095341.BMP │ │ ├─20050904_095352.BMP │ │ ├─20050904_095406.BMP │ │ ├─20050904_095422.BMP │ │ ├─20050904_095448.BMP │ │ └─... │ ├─... │ └─FINGER.XML │ ├─Palm database\ │ ├─0038\ │ │ └─00\ │ │ ├─L01.BMP │ │ ├─L02.BMP │ │ ├─L11.BMP │ │ ├─L12.BMP │ │ ├─R01.BMP │ │ ├─R02.BMP │ │ ├─R11.BMP │ │ └-R12.BMP │ ├─0039\ │ ├─0040\


49/50




Belső 2005. 09. 23..

│ ├─... │ └─PALM.XML │ ├─Video sequence database\ │ ├─0017\ │ │ ├─F0\ │ │ │ ├─S1111080810\ │ │ │ │ ├─C00_2005-03-17-18-33-31-062.BMP │ │ │ │ ├─C00_2005-03-17-18-33-31-262.BMP │ │ │ │ ├─C00_2005-03-17-18-33-31-462.BMP │ │ │ │ ├─C00_2005-03-17-18-33-31-662.BMP │ │ │ │ ├─... │ │ │ │ └─INDEX.XML │ │ │ ├-S1111080835\ │ │ │ └─... │ │ ├─F1\ │ │ ├─F2\ │ │ ├─gf\ │ │ ├─N0\ │ │ ├─N1\ │ │ ├─N2\ │ │ ├─rel\ │ │ └─rer\ │ ├─0026\ │ │ ├─F0\ │ │ ├─F1\ │ │ ├─F2\ │ │ ├─N0\ │ │ ├─N1\ │ │ └─N2\ │ ├─... │ └─SEQUENCES.XML │ └─PERSONS.XML


50/50

INTEGRÁLT BIOMETRIKUS AZONOSÍTÓ RENDSZEREK

Recommend Documents