Adattárházak és Üzleti intelligencia (2. HÉT, 4. óra) Dr. Danyi Pál, Egyetemi docens, BME,
[email protected]
Információrendszerek: Alkalmazás-Technológia-Adat Az információrendszerek többféleképpen csoportosíthatók. A rendszerek felhasználásának célja, azaz funkciója szerint beszélhetünk ERP, CRM, analitikus CRM rendszerekről, döntéstámogató rendszerekről, riportoló rendszerekről, és sok más rendszerkategóriáról. A rendszerekben alkalmazott technológiák szerint beszélhetünk mesterséges intelligencia (AI) rendszerekről, amelyek AI technológiákat használnak fel, üzleti intelligencia rendszerekről, amelyek BI technológián alapulnak, és ehhez hasonlóan big data technológiát, web technológiát, mobil technológiát, felhó technológiát, stb. alkalmazó rendszerekről. Csoportosíthatjuk a rendszereket aszerint is, hogy milyen adatbázis technológiát használnak: vannak relációs adatbázis menedzselő rendszerek (DBMS), adattárházak, adatpiacok. Először az adatbázis technológiákat vizsgáljuk meg.
Adatok és adatbázisok Adatok
Fizikai értelemben: bit, byte, KB, stb. Logikai értelemben: alfanumerikus karakterek, mezők, rekordok, fájlok.
Adatbázisok
Korábban (50-es, 60-as évek): adatfájlok, amit az egyes programok beolvasnak Most: adatok adatbázisokban Több alkalmazás számára képesek tárolni az adatokat DBMS (Database Management Systems) rendszerek vezérlik az adathozzáférést Felhasználó → programok → DBMS → adatbázis Adatbázis szerverek DBMS-ek előnyei: Logikailag tiszta adatszerkezet Az adatok könnyen lekérdezhetők Jobb biztonsági rendszer alakítható ki. Adatbázisok vs. Adatbázis menedzselő rendszerek (DBMS) Az adatbázis az adatok szervezett állománya. Az adatokat jellemzően úgy szervezik, hogy modellezzék a valóság egyes jellemzőit oly módon, hogy közben támogatják az információt igénylő folyamatokat. Pl. modellezzék szállodák szobáinak elérhetőségét oly módon, hogy meg lehessen találni az üres szobákkal rendelkező hoteleket. Az adatbázis menedzselő rendszerek (DBMS) olyan szoftver alkalmazások, amelyek interakcióban vannak a felhasználókkal, más alkalmazásokkal, és magával az adatbázissal, hogy abban adatokat tároljanak és elemezzenek. Egy általános célú DBMS-t úgy terveznek, hogy lehessen definiálni, létrehozni, feltölteni, keresni, frissíteni és adminisztrálni az adatbázisokat. A legismertebb DBMS-ek: Oracle, IBM DB2, MySQL, PostgreSQL, Microsoft SQL Server, ...
Problémák a meglévő adatokkal Mivel az adataink elsősorban a múltra, néhány hónapra, évre, esetleg évtizedre vonatkoznak, ezért nagyon sokszor bizonytalanság támad az adatok feldolgozása kapcsán:
Adatformátumok nem ismertek, vagy nem egységesek Nem ismert az adatok pontossága: nem tudjuk, hogy mennyire tekinthetjük pontosnak, megbízhatónak az egyes adatokat (Pl. a lakcímben, anyja nevében nem lehet elírás? Régen jól számolták-e a számokat, megfelelő algoritumusokkal, vagy sem.) Időszerűség és frissítés: mennyire pontosak, érvényesek a régi adataink (pl. egy személyi igazolvány szám még érvényes?) Különböző helyeken, különböző adatbázisokban vannak az adatok, esetleg részben átfedően.
Redundancia: egy-egy adat többször is szerepel az adatbázisban, feleslegesen Inkonzisztens: a különböző adatok egymásnak ellentmondóak.
BIZONYTALAN adatok okai Bizonytalan adatoknak nevezzük a valamilyen okból nem megbízható adatokat, valamint a hiányos vagy inkonzisztens adathalmazokat. Bizonytalan adatok okai: - változó az adatok formátuma, - nem egyértelmű az adatok jelentése, - nem ismert az adatok pontossága, helyessége, - az adatok időszerűsége nem megfelelő, - az adatok különböző rendszerekben, egymással össze nem kapcsolható struktúrákban tárolódnak, - redundáns adatok léteznek a rendszerben, - inkonzisztens adataink vannak (ugyanazon információ több jelentésben is megjelenik), - hiányzó: nem található a keresett adat.
Integrált adatforrások Nagyon előnyös, ha egy vállalatnál az egyes információrendszerek adatbázisai nem függetlenek egymástól, hanem integráltak. Pl. ha a számlázó rendszerben és a CRM rendszerben is felhasználjuk az ügyfelek lakcímeit, akkor nincs értelme azokat két helyen külön-külön tárolni és feldolgozni, hanem egy adatbázisban kell tárolni őket, de biztosítani kell, hogy mindkét rendszer, akár egyidőben, hozzáférjen ugyanazokhoz az adatokhoz. Sőt, ha az egyik alkalmazáson keresztül módosítjuk az adatokat, akkor a másik rendszerben is azonnal látszódjanak a változtatások. Az integrált adatbázisú (röviden: integrált) rendszerek a 90-es évek közepén terjedtek el, elsőként a vállalatirányítási (ERP) rendszerekben.
A jó minőségű integrált adatforrás (adatbázis) jellemzői:
teljes mértékben támogatja az üzleti folyamatokat, az adatok jól strukturáltak és dokumentáltak,
megfelelő az adatok pontossága, az adatok naprakészen rendelkezésre állnak, egységes az adatok formátuma, az adatbázis redundancia-mentes, az adatok megértése (információ tartalma) bármely felhasználó számára egyszerű. Adattisztítás Ha az adatbázisaink bizonytalan (megbízhatatlan) adatokat tárolnak, akkor időről időre szükség lehet szisztematikus adattisztításra. Leggyakrabban nagyobb rendszerek konszolidációja esetén van szükség arra, hogy a különböző rendszerek adatbázisait migráljuk egyik rendszerből a másikba, vagy összefésüljük őket. Például cégek összeolvadása esetén gyakori ez a helyzet. Ilyen esetekben alapvető fontosságú az adattisztítás. A nagyobb adatbázisok adatainak tisztítása akár éveket is igénybe vehet, például több évtizedes személyes adatokat (nyugdíj, szociális ellátások, egészségügyi adatok) tároló kormányzati rendszerek esetén. Az adattisztítások sokszor Big Data problémák a nagyon bonyolult összefüggések automatikus ellenőrzése esetén. Adattisztítás tipikus feladatai:
Adatok azonosítása Adatok megértése, metaadatok Adatok tisztítása és integrálása (formátum, hiány, redundancia) Adatkapcsolatok Adatok elemzése, rendezése, Adatok telepítése Az adattárházak DW (Data Warehouse), adattárház: egy szervezet összes információs célú adatának összesített rendszere, amely az adatok
téma-orientált, (azaz egy-egy témakör kapcsán szegmentált, pl. értékesítési, marketing, HR, stb.) integrált, (azaz a logikai kapcsolatban lévő adatok összekapcsoltak) időfüggő, (azaz lehetőleg minden adathoz időpont tartozik) nem felejtő, (azaz sohasem törölnek adatot, csak hozzáadnak)
adatbázisa. Támogatja a menedzsment döntéshozatali folyamatait. Olyan felépítésű, hogy segítse az üzleti intelligencia funkciók minél eredményesebb megvalósítását. Nem feltétel a redundancia-mentesség, azaz egy-egy adat (például havi értékesítés volumene) akár többször is szerepelhet az adatbázisban.
Adattárházak és Adatpiacok célja: OLTP – DW – OLAP Az adattárházak (adatraktárak) és adatpiacok segítenek megoldani azokat a problémákat, amikor hiányzó vagy inkonzisztens adatai vannak a szervezetnek azzal, hogy a bizonytalan adatokra lehet következtetni az egyéb adatokból. Segítenek továbbá szabványosítani az adatformátumokat a tranzakciós adatok és a külső féltől vásárolt adatok között is. Az adattárházak és adatpiacok kifejezetten adatelemzések és adatbányászat számára készítenek elő, tárolnak és menedzselnek adatot.
Ahogy az ábrán látható, legkülönfélébb adatforrásokból, éles tranzakciós (production) adatbázisokból, más belső adatokból, valamint külső, például vásárolt adatokból gyűjt a vállalat adatot, amelyeket tisztít és előkészít az adattárházba való betöltés előtt. Az adattárháznak három komponense van: - Adattárház Menedzselő rendszer (DW DBMS): ami menedzseli az adatokhoz való hozzáférést - Adattárház adatbázis: jellemzően relációs adatbázis, ami tárolja az adatokat - Adattárház metaadatok: adatok az adatokról, amelyek szükségesek a hatékony adatmenedzseléshez, pl. mezőleírások, értelmezések.
Adattárházak és adatpiacok közötti különbség Az adattárházak (DW) tranzakciós (működési) adatokat és vásárolt adatokat tárolnak. A DW megtisztítja és feldolgozza az adatokat, ha szükséges. Az egész szervezetet szolgálja. Az adatpiac kisebb, mint a DW, és egy üzleti szervezet vagy egy szűkebb terület speciális információs igényeire vonatkozik. Funkcionalitásában megegyezik a DW-zal. Közvetlenül lekérdezhető konkrét feladatokra.
Vállalati adatszükségleti hierarchia
Az adatszükséglet piramis csúcsán az adatbányászat, alatta az OLAP eszközök, alatta az ad-hoc lekérdezések, legalul a működési beszámolók, amelyek rendszeresen elkészített, jól strukturált, egyértelmű riportok, adatszolgáltatások.
Üzleti intelligencia rendszerek Ha “Ránagyítunk” a technológiákra…
Az üzleti intelligencia rendszerekről beszélhetünk funkció, eszközök és technológiák szerint.
Definíciók Az üzleti intelligencia rendszerek
nyers adatokat elemeznek és transzformálnak értelmes és hasznos információvá, üzleti elemzések céljára, hogy a menedzsment olyan döntéseket hozzon, amelyek információval minél jobban alátámasztottak. Webopedia: Az üzleti intelligencia
eszközöket és rendszereket jelent, amelyek kulcsszerepet játszanak a vállalati stratégiai és operatív tervezési folyamatban. vállalati adatokat gyűjtenek, tárolnak, elemeznek, azokhoz hozzáférést biztosítanak a döntéshozatal során. Üzleti intelligencia (BI) funkciók
Információ (összefüggés) keresés – lekérdezéseken keresztül Riportolás: teljesítménymérés, mutatószámok (KPI-k) Online analitikus feldolgozások (OLAP) Üzleti elemzés (analitika): magyarázó és előrejelző modellezés főleg statisztikai alapokon Figyelmeztető (“alert”) eszköz
OLAP: Az Üzleti intelligencia funkciók közül az egyik legfontosabb és legnépszerűbb az online analitikus feldolgozások.
OLAP funkciók és az OLAP adatkocka-modell Aggregáció: dimenziók mentén összegzés Lefúrás: az aggregáció ellentéte, pl. havi bontás (DRILL DOWN) Forgatás: dimenzió felcserélése (más nézet) Szelekció: egy dimenzióban értékre szűrés Szeletelés: egy dimenzió lekötése, részkocka kivágása
OLAP vs OLTP OLTP (On-line Transaction Processing)
Napi üzletmenet működése Repülőgépes helyfoglaló rendszerek
OLAP (On-line Analytical Processing)
Féléves, éves trendek alapján előre jelezni
Döntéshozatal
Üzleti intelligencia (BI) eszközök és technológiák Az üzleti intelligencia (BI) rendszer egy olyan információrendszer, ami üzleti intelligencia (BI) eszközöket alkalmaz, hogy létrehozzon és szolgáltasson információt. A BI eszközök olyan számítógépes programok, amelyek bizonyos BI technikákat alkalmaznak. A technikákat 3-féleképpen kategorizáljuk:
Riportoló eszközök: adatot olvasnak be, feldolgozzák azokat, és olyan strukturált riportokba formázzák az adatokat, amelyeket a felhasználó látni kíván. Elsősorban értékelésre használják. Adatbányász eszközök: statisztikai algoritmusokat használva dolgozzák fel az adatokat, mintákat és kapcsolatokat keresnek és előrejelzést tesznek az eredmények alapján. Tudásmenedzselő eszközök: munkatársi tudást (folyamatleírásokat, kapcsolatokat, összefüggéseket, “okosságokat”) tárolnak, és elérhetővé teszik az érdeklődők számára. Itt az adatok forrása az emberi tudás.
Adatbányászat (Data Mining) Definíció
Előre nem sejthető minták, törvényszerűségek, összefüggések keresése nagy adatbázisokban (“TUDÁS” feltárás) Módszerek
Asszociációk
Tornádó és epres pite;
Szekvenciák keresése
Sör és bébiétel
Csoportok keresése
Szakácskönyvek: 20-40 év közötti nők
Alkalmazott technikák: Klaszteranalízis, neurális hálók, döntési fa, big data, stb. Adatbányászati technikák Klaszteranalízis
Pl. Felhasználók szegmentálása
BI rendszerek SPECIÁLIS FAJTÁI Analitikus ügyfélkapcsolat rendszer – CRM
„Nem termékhez vevőt, hanem vevőhöz terméket” Adatbányászati alkalmazási területei nagyon sokfélék:
Ügyfél szegmentáció és ügyfélmegtartás Kockázatmenedzsment Csalások felderítése és megakadályozása Direkt marketing Keresztértékesítés
Vállalati teljesítménymenedzsment – EPM (Enterprise Performance Mgmt)
Olyan rendszer, mely a vállalati teljesítmény mérésére használt mutatók alakulását követi nyomon. Pl.:
Eladások egy vizsgált időszakban Befektetett tőke megtérülési ideje – ROI (Return on Investment)
E-kereskedelem, (3.-4. hét) Dr. Danyi Pál, egyetemi docens
A HÉT IT CIKKE: Miért lett bukás a PLAYSTATION VITA? „Csak” 15 milliót adtak el 2012 óta a Sony Playstation Vita nevű játékkonzolból, ami nagy bukásnak számít a korábbi PSP konzol sikeréhez, 85 millió eladott példányhoz képest. A visszaesés egyértelműen annak is köszönhető, hogy a modernebb okostelefonokon szinte ugyanolyan élmény játszani, mint a célhardvereken, a játékkonzolokon, tehát nem vesznek az emberek külön eszközt. Ugyanez figyelhető meg a kisebb képességű digitális kamerák piacán. E-kereskedelem, e-commerce
Áruk, szolgáltatások; számítógépes hálózattal Értékesítés bizonyos mértékű automatizáltsággal Teljes (termék + szállítás) vagy részleges E-business: tágabb fogalom
E-kereskedelem + a teljes értéklánc (gyártó->nagyker->kisker->vásárló) adatkezelése és elszámolása Beszerzés, marketing, CRM, stb, mindazok a folyamatok beleérthetők, amelyek kiegészítik a ekereskedelem klasszikus tevékenységét.
E-commerce megjelenése 1996-97 körül
Könyváruház (Amazon.com) Online bankolás, pénzátutalások (PayPal, Transferwise) E-árverés (eBay) Álláskeresés, párkeresés (tágabb értelemben e-kereskedelem: egy szolgáltatás online értékesítése) Részvényvásárlás, online tőzsde Árösszehasonlítók, stb.
On-line kereskedelem fejlődése
E-kereskedelem: előnyök és hátrányok Előnyök
Kereskedő és vásárló gyorsabb egymásra találása Kényelmes vásárlás, alacsonyabb árak Részletesebb és olcsóbb tájékoztatás Átláthatóbb költségek Erősebb önszabályozás (nagy verseny) Egyszerűbb adatgyűjtés a vásárlóról Esetleg szórakoztatás Hátrányok
Lassú szállítás Hibás áruk Személyes kontaktus hiánya Több visszaélés E-kereskedelem Magyarországon
Webmarketing = online marketing Az e-kereskedelem legfontosabb sikertényezője a megfelelő online marketing.
Miért könnyebb otthagyni egy weboldalt, mint egy boltot? – mert nincs személyes kontaktus, nincs látható felelősség, kényelmetlen érzés a vevő oldaláról SEO: találjanak rám. Kereső optimalizálás: olyan módon kell beállítani a weboldalakat metaadatokkal, hogy a google vagy más keresők minél előrébb rakják az oldalt a találati listán. Mivel a google évente, félévente rendszeresen módosítja az algoritmusait, ezért folyamatosan illeszteni érdemes a beállításokat. Nehézséget jelent, hogy a google hivatalosan nem publikálja a sorrendező algoritmusait részleteiben. A mérhetetlen “szemét” kiszűrése: Akkora a világháló, hogy ha nem tudja eljuttatni a hirdetéseit a kereskedő a potenciális vásárlóihoz, a célszegmensek számára, akkor nem tud sikeres lenni. Biztos, hogy kizárólag az ár számít a neten? Noha az ár még mindig a legfontosabb vonzereje az ekereskedelemnek, egyre inkább számítanak más szempontok, mint pl. a szállítás gyorsasága és pontossága, a bolt népszerűsége, az ügyfélszolgálat milyensége.
Termékadatok fontossága: a vevők szeretnének minél több leírást, részletes tájékoztatást kapni a termékekről, továbbá független, vásárlói véleményeket szeretnének olvasni. Mitől távoznak a látogatók mp-eken belül? Ha nem átlátható az oldal, ha nem professzionális első látásra, akkor inkább elmennek egy másik konkurens oldalra. Vonzónak, modernnek, felhasználóbarátnak kell lenni a webáruházaknak. Google Analytics: ma már kötelező a google elemzési adatait az oldallátogatásokról kiértékelni, és attól függően folyamatosan módosítani a weboldalakon. A google analytics segítségével lehet azonosítani a népszerű és kevésbé népszerű oldalainkat, lehet látni a látogatók statisztikáit, honnan kattintva érkeztek az oldalainkra, stb.
ÚJ TRENDEK
Biztonság – örökzöld téma: még mindig óvatosak a magyar e-vásárlók a hitelkártya adataik megadásával, de egyre inkább elterjednek az online fizetések is a könnyebb termékátvétellel (pick pack pontok) összhangban.
Rendelés az IPTV-n – internet és TV szolgáltatások összekapcsolása. Még nem indult be igazán ez a kereskedelmi forma, mert a tévénézők inkább az idősebb korosztályból kerülnek ki, akik rugalmatlanok, nem tudják/akarják megtanulni az új technológiát. Valamint a felhasználóbarát navigáláshoz a tévén szükség van olyan konzolra, aminek megvásárlása plusz kiadást jelent. Harmadrészt a tévén inkább az impulzus-vásárlók vásárolnak (TV shop-ok), a tudatos vásárlók inkább a desktop képernyőn töltenek több időt a termékválaszték megismerésével, amire a tévé kevésbé alkalmas megfelelő navigáló berendezés nélkül.
Közösségi (csoportos) vásárlás, vásárlói közösségek, kuponos oldalak. A mennyiségi kedvezményre megy rá ez a forma: a vásárlási igények összegyűjtésével nagyobb volumen vásárlása esetén kedvezményt lehet elérni.
Internetes fizetés (Paypal), internetes átutalások (Transwise) Megváltozó hirdetési piac (Google Adwords mellett Facebook is egyre népszerűbb, megkerülhetetlen) Jellemző a “hűtlenség” – ezért fontosak a lojalitás programok Személyes árazás, személyes kedvezmények: egyre több esetben elemzi a kereskedő a vásárlók historikus adatait, a vásárlói szokásokat, és annak alapján tud személyre szabott ajánlatokat, pl. árkedvezményeket adni.
E-kereskedelem modelljei: 9 típus A2A, A2B, B2A A2A (Administration to Administration)
Kormányzati és közigazgatási szervek egymásnak szolgáltatnak Példa: 4. mobilszolgáltató (LTE 450 MHz, M2M, okos mérések) Strukturált adatok, alkalmazások a közszféra (iskolák, önkorm., eü) felé
A2B (Administration to Business)
Elektronikus közbeszerzés Államadósság finanszírozás, állampapír aukciók B2A (Business to Administration)
Vállalat és közigazgatás közti adatcsere Kereskedelmi kapcsolat a kormányzattal A kormányzat „web business-e” egyre gyorsabban fejlődik B2B, B2C, C2B B2B (Business to Business)
Vállalatközi elektronikus üzletvitel EDI, e-mail (elektronikus üzenetküldés) Elektronikus számlázás Affiliate marketing (hirdetések közvetítése weboldalakon, közvetítői díjért cserébe) Előnyei:
Kevesebb papírmunka Gyorsabb tranzakciók, kevesebb hiba Kisebb raktározási költségek A legnagyobb e-kereskedelmi volument a B2B szolgáltatások jelentik, több, mint kétszer akkora a B2B forgalom, mint a hétköznapokban látható B2C -ekereskedelem forgalma. B2C (Business to Consumer)
Legismertebb fajtája: webshopok Vevői fókusz: hol helyett mit (+árérzékenység): árösszehasonlítók Áruk és szolgáltatások összemosódhatnak C2B: elenyésző, kevésbé érdekes A2C, C2A, C2C A2C ill. C2A: Administration to Consumer és fordítva
Hivatalos ügyek elektronikus intézése (pl. Ügyfélkapu, magyarorszag.hu) Szintjei: Információ a szolgáltatásról Egyirányú/kétirányú interaktivitás Teljes körű elektronikus ügyintézés
C2C: Consumer to Consumer
Jofogas.hu, vatera.hu, használt termékek piacterei Magánszemélyek hobbi oldalai, e-kereskedelme B2B: tranzakciós díj, C2C: ingyenes
