Kontextus-vez´ erelt faktoriz´ aci´ os m´ odszerek implicit feedback alap´ u aj´ anl´ asi probl´ em´ akra T´ezisf¨ uzet
Hidasi Bal´ azs
T´emavezet˝o: Dr. Magyar G´abor K¨ uls˝o konzulens: Dr. Tikk Domonkos Budapesti M˝ uszaki ´es Gazdas´agtudom´anyi Egyetem T´avk¨ozl´esi ´es M´ediainformatikai Tansz´ek 2015. m´ajus
Tartalomjegyz´ ek 1 Bevezet´ es
2
2 T´ emav´ azlat 2.1 Tov´ abbi inform´ aci´ o felhaszn´al´asa m´atrix faktoriz´aci´oban, seg´ıts´eg´evel . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2 Kontextus-vez´erelt faktoriz´aci´os algoritmusok . . . . . . . . 2.3 ALS alap´ u faktoriz´ aci´ o gyors´ıt´asa . . . . . . . . . . . . . . . 2.4 GFF ´es preferencia modellez´es kontextussal . . . . . . . . .
4 inicializ´al´as . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4 5 7 8
3 A disszert´ aci´ o fel´ ep´ıt´ ese
10
´ eredm´ 4 Uj enyek ¨ osszefoglal´ asa
12
5 Eredm´ enyek alkalmaz´ asa
16
T´ ezisekhez kapcsol´ od´ o publik´ aci´ ok
17
A szerz˝ o tov´ abbi publik´ aci´ oi
18
Hivatkoz´ asok
20
1
1
Bevezet´ es
Az aj´ anl´ orendszerek olyan inform´aci´osz˝ ur˝o eszk¨oz¨ok, amik seg´ıtik az inform´ aci´ os t´ ulterhelts´egben szenved˝o felhaszn´al´okat az´altal, hogy sz´amukra ´erdekes/megfelel˝ o/hasznos term´ekeket (tartalmat, stb) javasolnak nekik. A felhaszn´ al´ ok szem´elyre szabott aj´anl´asi list´akat kapnak, amik tipikusan csak n´eh´any term´eket tartalmaznak; ezek a term´ekek r´aad´asul nagy val´osz´ın˝ us´eggel megfelelnek a felhaszn´ al´ o ´erdekl˝ od´es´enek. A term´ekek megfelel˝os´eg´et (az egyes felhaszn´al´oknak) az aj´ anl´ oalgoritmusok jelzik el˝ore; a felhaszn´al´onak a legmagasabb el˝ore jelzett megfelel˝ os´egi ´ert´ekkel rendelkez˝o term´ekeket mutatja a rendszer. Az aj´ anl´ orendszerek k¨ ozponti r´esze az aj´anl´oalgoritmus, ami a megfelel˝os´eg¨ uk alapj´ an rangsorolja a term´ekeket. Az aj´anl´oalgoritmusokat ¨ot nagyobb csoportba szok´ as sorolni [13], amelyek k¨ oz¨ ul a k´et legjelent˝osebb strat´egia a kollaborat´ıv sz˝ ur´est (collaborative filtering – CF) ´es a tartalom alap´ u sz˝ ur´est (content-based filtering – CBF) alkalmaz´ o m´ odszerek csoportja. A CF algoritmusok csak a felhaszn´al´o–term´ek interakci´ okat (esem´enyeket, tranzakci´okat) haszn´alj´ak fel a m˝ uk¨od´es¨ uk sor´an. Ezen m´odszerek felteszik, hogy k´et felhaszn´al´o hasonl´o, ha hasonl´o term´ekeket fogyasztottak; ´es k´et term´ek hasonl´ o, ha hasonl´o felhaszn´al´ok fogyasztott´ak ˝oket [15]. A CBF algoritmusok a term´ekek metaadatait (pl. szerz˝o, m˝ ufaj, stb) haszn´alj´ak. Els˝o l´ep´esk´ent a term´ekek metaadatait a sz¨ ovegb´any´aszatb´ol ´es az inform´aci´o kinyer´es (information retrieval) ter¨ ulet´er˝ ol ismert m´ odszerekkel elemzik [2]. Ezut´an felhaszn´al´oi profilokat k´epeznek, felhaszn´ alva, hogy a felhaszn´al´ok mely term´ekeket kedvelt´ek. A preferenci´ ak el˝orejelz´ese a term´ekek metaadatainak ´es a felhaszn´al´oi profilok ¨osszevet´es´evel t¨ort´enik ´ [9]. Altal´ anoss´ agban a CF m´ odszerek a legpontosabbak a vegytiszta m´odszerek k¨oz¨ ul, pl. pontosabbak a CBF m´ odszerekn´el, amennyiben el´eg esem´eny ´all rendelkez´esre [10]. A CF algoritmusokat k´et oszt´alyba szok´as sorolni, a mem´oria alap´ u ´es modell alap´ u megold´ asok k¨ oz´e. Az el˝ obbibe tartoznak a szomsz´ed m´odszerek, amik a term´ekek vagy a felhaszn´ al´ ok ´ert´ekel´es vektorait vetik ¨ossze, ´es ez´altal defini´alnak hasonl´os´agokat k¨ozt¨ uk. Az aj´ anl´ asok a hasonl´ o term´ekek vagy felhaszn´al´ok s´ ulyozott ´atlagak´ent ´allnak el˝ o (pl. [5, 12, 7]). Az elm´ ult ´evtizedben a modell alap´ u m´odszerek v´altak n´epszer˝ uv´e, mivel sokkal jobban teljes´ıtettek a Netflix Prize versenyen [4], egy 2006-ban indult nyilv´anos versenyen, ami hossz´ u ideig a legnagyobb ´es legjelent˝osebb m´eret˝ u bechmarknak sz´am´ıtott. A modell alap´ u m´ odszerek ´altal´anos´ıtanak az adatokb´ol ´es olyan modelleket ´ep´ıtenek, amik j´ ol k´epesek el˝ ore jelezni a felhaszn´al´ok preferenci´ait. Ezek k¨oz¨ ul is a faktoriz´ aci´ os algoritmusok bizonyultak a legsikeresebb megold´asnak. Ezek minden term´eket ´es felhaszn´ al´ ot egy K dimenzi´ os l´atens jellemz˝ot´erben reprezent´alnak, mint egy K hossz´ u jellemz˝ ovektor. Matrix faktoriz´ aci´ o: A legismertebb l´atens jellemz˝oket haszn´al´o algoritmusok a m´atrix faktoriz´ aci´ os m´ odszerek (pl. [3, 16, 11, 17, 6, 14]). Ezek a megfigyelt ´ert´ekel´eseket egy preferencia m´ atrixba (R) rendezik, aminek a k´et dimenzi´oja a felhaszn´al´oknak ´es a term´ekeknek felel meg. Ha a u felhaszn´al´o r-rel ´ert´ekeli az i term´eket, akkor Ru,i = r. R egy nagy m´eret˝ u, de igen ritka m´atrix. A m´atrix faktoriz´aci´o alapja, hogy ezt az R ˆ = (M (U ) )T M (I) ), amikre m´atrixot ´es alacsony rang´ u m´ atrix szorzat´ara bontjuk fel (R jellemz˝ om´ atrixk´ent hivatkozunk. Az egyik jellemz˝om´atrix a felhaszn´al´okhoz (M (U ) ) a m´asik a term´ekekhez tartozik (M (I) ). A felhaszn´al´ok jellemz˝om´atrix´anak u. sora az u felhaszn´ al´ o (K hossz´ u) l´ atens jellemz˝ovektora. A term´ekek jellemz˝ovektorait hasonl´ o m´odon ´ertelmezz¨ uk. Az u felhaszn´al´o el˝ore jelzett ´ert´ekel´ese/preferenci´aja az i term´ekre 2
ˆ u,i = (Mu(U ) )T M (I) . a jellemz˝ ovektoraik skal´ arszorzata, azaz R i Interakci´ ok t´ıpusai: A felhaszn´al´o–term´ek interakci´ok t´ıpus´at´ol f¨ ugg˝oen az aj´anl´ asi probl´em´ ak lehetnek explicit vagy implicit visszajelz´es (feedback) alap´ uak. Explicit visszajelz´est a felhaszn´al´ok akt´ıv hozz´aj´arul´ask´ent biztos´ıtanak, leggyakrabban ´ert´ekel´esek form´ aj´ aban. Ez expliciten k´odolja a preferenci´aikat a term´ek(ek)kel kapcsolatban. A klasszikus explicit feedback alap´ u feladat az ´ert´ekel´es el˝orejelz´es, azaz a c´el a hi´ anyz´ o ´ert´ekel´esek min´el pontosabb el˝orejelz´ese. Ezzel szemben egy aj´anl´ o feladata n´eh´ any ´erdekesnek/hasznosnak ´ıt´elt term´ek kiv´alaszt´asa az egyes felhaszn´ al´ ok sz´ am´ ara. Ehhez a term´ekeket el˝osz¨or rangsorolni kell (a felhaszn´al´ok sz´am´ara val´o megfelel˝ os´eg¨ uk alapj´ an), majd a rangsor els˝o n´eh´any term´ek´et visszaadhatjuk aj´anl´ ask´ent. Ez a topN aj´ anl´ asi feladat. Az ´ert´ekel´es el˝orejelz´esi feladat eredm´enye ´atalak´ıthat´ o topN aj´ anl´ ass´ au ´gy, hogy a legnagyobb el˝ore jelzett ´ert´ekel´essel rendelkez˝ o term´ekeket aj´ anljuk. Ugyanakkor a j´o ´ert´ekel´es el˝orejelz´es nem mindig eredm´enyez j´ o topN aj´ anl´ ast. Implicit feedbacket a felhaszn´al´ok viselked´es´enek passz´ıv megfigyel´es´evel nyerhet¨ unk, mik¨ozben a szolg´ altat´ ast (pl. egy webshopot) haszn´alj´ak. Mivel nincs sz¨ uks´eg a felhaszn´ al´ o akt´ıv hozz´ aj´ arul´ as´ ara, ez´ert nagy mennyis´egben gy˝ ujthet˝o. Ez kifejezetten fontos szempont a gyakorlatban. Viszont a preferenci´akat ki kell k¨ovetkeztetni az ´ıgy gy˝ ujt¨ ott interakci´ okb´ ol. Ha a felhaszn´al´o interakci´oba l´epett egy term´ekkel az egy zajos visszajelz´es pozit´ıv preferenci´ ar´ol. A negat´ıv visszajelz´esek gy˝ ujt´ese m´eg probl´em´asabb, mivel az interakci´ o hi´ any´ anak t¨obb oka lehet, amik k¨oz¨ ul a leggyakoribb az, hogy a felhaszn´ al´ o nem is tud a term´ek l´etez´es´er˝ol. Az implicit feedbackkel dolgoz´o algoritmusoknak ez´ert figyelembe kell venni¨ uk a “hi´anyz´o” esem´enyeket is. Kontextus-vez´ erelts´ eg: A kontextus-vez´erelt1 aj´anl´orendszerek (context-aware recommender systems – CARS) [1] a tranzakci´okon fel¨ ul egy´eb inform´aci´ot is figyelembe vesznek, amire ¨ osszefoglal´ o n´even kontextusnak nevez¨ unk. A kontextus-vez´erelt aj´anl´ as jelent˝ osen megn¨ ovelheti az aj´ anl´as pontoss´ag´at: (1) Az algoritmus k´epes kezelni a kontextus f¨ ugg˝ o hat´ asokat a tanul´ asi f´azisban. P´eld´aul, bizonyos v´altoz´asok a felhaszn´al´ ok viselked´es´eben, mint a szezon´ alis hat´asok csak a kontextus ismeret´eben ´erthet˝oek. A kontextust nem haszn´ al´ o algoritmusoknak a hasonl´o hat´asok v´eletlenszer˝ unek t˝ unnek ´es a helytelen kezel´es folyom´ anyak´ent hasonl´o helyzet ´all el˝o, mint zajos adatokon val´ o tanul´ asn´ al. (2) Az aj´ anl´ asi list´ ak a kontextus f¨ uggv´eny´eben v´altoznak, ´ıgy jobban alkalmazkodnak a felhaszn´ al´ ok aktu´alis ig´enyeihez. Aj´ anl´ oalgoritmusok ki´ ert´ ekel´ ese: A topN aj´anl´ok ki´ert´ekel´ese aj´anl´asi pontoss´ag szempontj´ ab´ ol a k¨ ovetkez˝ok szerint t¨ort´enik. A term´ekeket egy adott felhaszn´al´ o sz´am´ ara az adott kontextuson bel¨ ul rangsoroljuk az el˝ore jelzett megfelel˝os´eg¨ uk alapj´an (ˆ r). A ki´ert´ekel´est k¨ ul¨ onb¨ oz˝ o m´ert´ekek seg´ıts´eg´evel v´egezz¨ uk egy, a tan´ıt´ohalmazzal diszjunkt, teszt adatb´ azison. Egy adott felhaszn´al´o–kontextus (azaz lek´erdez´es) sz´am´ara a teszthalmaz ezen felhaszn´ al´ oj´anak ebben a kontextusban el˝ofordul´o esem´enyeinek term´ekei sz´ am´ıtanak relev´ ansnak. Az aj´anlott term´ekek a lek´erdez´es sz´am´ara gener´alt rangsor els˝ o N darab eleme. A disszert´aci´oban ´altal´aban N = 20-at haszn´alok; az eredm´enyek N = 10 ´es N = 5 mellett er˝osen korrel´alnak ezzel. Fontos megeml´ıteni, hogy a ki´ert´ekel´es sor´ an az ¨ osszes term´eket rangsorolom. Az aj´ anl´ asi pontoss´ agot t¨ obb m´ert´ekkel lehet m´erni. A disszert´aci´oban f˝ok´ent a re1 A ter¨ ulet nev´enek a ford´ıt´ asa nem teljesen pontos. A ter¨ ulet algoritmusai figyelembe veszik a kontextust ´es az aj´ anl´ asok is ennek megfelel˝ oen v´ altozhatnak, ugyanakkor nem k¨ ozvetlen¨ ul a kontextus vez´erli az aj´ anl´ asokat.
3
call@N m´ert´ekre t´ amaszkodok, ami az aj´anlott relev´ans term´ekek ´es a relev´ans term´ekek ar´anya. M´ as szavakkal, ez azon tesztesem´enyek ar´anya, amiknek a term´eke a megfelel˝ o aj´anl´ asi list´ ak els˝ o N eleme k¨ oz¨ott van. A recall j´ol k¨ozel´ıt bizonyos gyakorlati aj´anl´asi k¨ornyezeteket ´es j´ ol korrel´ al az ´atkattint´asi ar´annyal (click-through rate – CTR), egy gyakran haszn´ alt online m´ert´ekkel.
2
T´ emav´ azlat
A kutat´ as k¨ ozponti eleme a kontextus-vez´erelt, implicit feedback alap´ u aj´anl´asi probl´ema megold´ asa faktoriz´ aci´ oval; ´es jelent˝osen befoly´asolj´ak gyakorlatb´ol vett szempontok. A kutat´ as c´elja, hogy integr´ alja a kontextust (valamint egy´eb inform´aci´okat, pl. metaadatokat) faktoriz´ aci´ os algoritmusokba, ´ıgy n¨ovelve azok pontoss´ag´at implicit feedbackre ´ep´ıt˝o topN aj´ anl´ asi probl´em´ ak eset´en. A kontextust, mint esem´eny kontextust (azaz a tranzakci´ okhoz ´es nem az egyes entit´asokhoz kapcsol´od´o inform´aci´ot) defini´alom. Az aj´anl´ asi pontoss´ ag f˝ o m´er˝ osz´ amak´ent a recall@20 m´ert´eket haszn´alom. K´etf´ele kontextust haszn´ alok, a szezonalit´ ast ´es a szekvenci´ alis kontextust. Ezen kontextusok gyakorlati hasznoss´aga abban rejlik, hogy k¨onnyen l´etrehozhat´oak szinte minden implicit adatsor eset´en, mivel a sz´armaztat´asukhoz csak arra van sz¨ uks´eg, hogy az esem´enyek id˝ ob´elyege is rendelkez´esre ´alljon. Szezonalit´ as: A legt¨ obb olyan ter¨ ulet, ahol aj´anl´orendszereket alkalmazunk, mutat valamilyen szezon´ alis viselked´esi mint´azatot, mivel az emberi viselked´es sok esetben periodikus. Emiatt a szezon´ alis inform´aci´o kontextusk´ent val´o haszn´alata nyilv´anval´o [8]. A sz´ armaztat´ as´ ahoz els˝ o l´ep´esk´ent a szezon hossz´at kell defini´alni. A szezonon bel¨ ul nem sz´ am´ıtunk szab´ alyszer˝ u ism´etl˝od´esekre a felhaszn´al´ok aggreg´alt viselked´es´eben. K´et k¨ ul¨ onb¨ oz˝ o szezonban ugyanazon, a kezd´est˝ol sz´am´ıtott relat´ıv id˝opontj´an´al az aggreg´ alt viselked´es hasonl´ os´ ag´ ara sz´am´ıtunk. A szezon optim´alis hossza az adatokt´ol f¨ ugg. M´asodik l´ep´esk´ent id˝ os´ avokat hat´arozunk meg a szezonon bel¨ ul, ezek lesznek a kontextus lehets´eges ´ allapotai. Az id˝ os´avok hat´arozz´ak meg a szezonalit´as felbont´as´at ´es optim´alis kialak´ıt´ asuk szint´en az adatokt´ol f¨ ugg. Az esem´enyek kontextus´at az id˝ob´elyeg¨ uk alapj´ an hat´ arozzuk meg, att´ ol f¨ ugg˝oen, hogy melyik id˝os´avba esnek. Szekvenci´ alis kontextus: Bizonyos alkalmaz´asi ter¨ uleteken, mint p´eld´aul filmekn´el vagy zen´en´el, a felhaszn´al´ok hasonl´o term´ekeket fogyasztanak. M´as esetekben, mint p´eld´ aul elektronikus eszk¨oz¨ok v´as´arl´as´an´al vagy az e-kereskedelemben viszont pont hogy ker¨ ulik a hasonl´ o term´ekeket ´es ink´abb kieg´esz´ıt˝oket keresnek. Mindk´et t´ıpus´ u ter¨ uleten megfigyelhet˝ oek viszont szekvenci´alis mint´azatok. A szekvenci´alis kontextust a [T2] cikkben javasoltam. Egy tranzakci´o szekvenci´alis kontextusa az esem´enyben r´esztvev˝ o felhaszn´ al´o el˝oz˝o esem´eny´enek term´eke. Ez az inform´aci´o seg´ıt az ism´etl˝ od´esekhez kapcsol´ od´ o haszn´alati mint´azatok ´es a sorrendf¨ ugg˝o fogyaszt´asi szok´ asok modellez´es´eben. A m´ odszerek ´es algoritmusok ki´ert´ekel´es´ehez ¨ot implicit feeback alap´ u adatb´azist haszn´ alok, amik k¨ oz¨ ul h´ arom nyilv´anosan el´erhet˝o.
2.1
Tov´ abbi inform´ aci´ o felhaszn´ al´ asa m´ atrix faktoriz´ aci´ oban, inicializ´ al´ as seg´ıts´ eg´ evel
A kutat´ as els˝ o f´ azisa annak a megvizsg´al´asa, hogy a tiszt´an CF faktoriz´aci´os elj´ar´asokba bevihet˝ o-e valamilyen m´ as inform´aci´o, an´elk¨ ul, hogy az algoritmusokon v´altoztatni kell4
jen, ´es ez´ altal megn¨ ovelhet˝ o-e ezen m´odszerek hat´ekonys´aga. A m´atrix faktoriz´aci´ os algoritmusok els˝ o l´ep´ese, hogy v´eletlenszer˝ uen inicializ´alj´ak a jellemz˝om´atrixokat, ´es a tan´ıt´ asi elj´ ar´ as ezen ´er´etkeket fogja megv´altoztatni. Az elk´epzel´es az, hogy ehelyett ind´ıtsuk a faktoriz´ aci´ ot egy olyan pontb´ol, ami jobban jellemzi az adatainkat, azaz a jellemz˝ ovektorok inicializ´ al´ as´ ahoz haszn´aljunk valamilyen k¨ uls˝o inform´aci´ot. Ez´altal ezt a k¨ uls˝ o inform´ aci´ ot k´epesek vagyunk bevinni a modellbe. B´ar ez a megold´as m´eg nem kontextus-vez´erelt, az aj´ anl´ asi pontoss´agot megn¨ovelheti. H´ arom f˝ o inicializ´ al´ asi megold´ast vizsg´alok meg. Az inicializ´al´as arra a megfigyel´esre ´ep´ıt, hogy a hasonl´ o term´ekek (tan´ıtott) jellemz˝ovektorai is hasonl´oak. A term´ekek hasonl´ os´ ag´ at t¨ obbf´ele m´odon is defini´alhatjuk, ´es ehhez a k¨ uls˝o inform´aci´okat is felhaszn´ alhatjuk. Az els˝ o l´ep´es mindh´arom m´odszer eset´eben egy term´ek (vagy felhaszn´ al´ o) le´ır´ om´ atrix defini´ al´asa a k¨ uls˝o inform´aci´ok (pl. metaadat, kontextus) seg´ıts´eg´evel. Ezut´ an ezt a le´ır´ om´atrixot faktoriz´aljuk, ´ıgy megkapjuk az egyes term´ekek ´es a le´ır´ o dimenzi´ o entit´ asainak (metaadat kifejez´esek vagy kontextus ´allapotok) l´atens jellemz˝ ovektorait. Innen t¨ obbf´ele m´odon is tov´abbl´ephet¨ unk: • Mivel a hasonl´ o term´ekek jellemz˝ovektorai hasonl´oak a faktoriz´al´as ut´an, haszn´ alhatjuk a term´ek jellemz˝ovektorokat az inicializ´al´ashoz. • A le´ır´ ovektorok k¨ oz¨ otti hasonl´os´agot is defini´alhatjuk, de a teljes hasonl´os´agi m´ atrix kisz´ am´ıt´ asa a gyakorlatban megval´os´ıthatatlan. Viszont a hasonl´os´agok k¨ ozel´ıthet˝ oek a l´ atens jellemz˝ovektorok seg´ıts´eg´evel. Mivel a hasonl´os´agm´atrix a le´ır´ om´ atrixnak ´es a transzpon´altj´anak a szorzata, olyan jellemz˝ovektorok is kisz´ am´ıthat´ oak – a faktoriz´aci´o ut´an keletkez˝o term´ek ´es entit´as jellemz˝ovektorok seg´ıts´eg´evel – amik hasonl´os´agai jobban k¨ozel´ıtik az eredeti hasonl´os´agokat. Ezek a vektorok haszn´ alhat´ oak az inicializ´al´ashoz. • A hasonl´ os´ agot u ´gy is defini´alhatjuk, mint a t¨obbi term´ekhez val´o hasonl´os´ ag vektorok k¨ oz¨ otti hasonl´ os´agot. B´ar a pontos hasonl´os´agok kisz´am´ıt´asa ebben az esetben sem val´ os´ıthat´ o meg a gyakorlatban, az el˝oz˝o pontban le´ırt m´odszerhez hasonl´ o megold´ assal ezek is k¨ozel´ıthet˝oek. Ezeket a m´ odszereket kipr´ ob´altam az iALS, egy gyakran haszn´alt, implicit feedback alap´ u m´ atrix faktoriz´ aci´ o jav´ıt´as´ara. Az aj´anl´asi pontoss´ag jelent˝osen megn˝ott a ¨ v´eletlenszer˝ u inicializ´ al´ ashoz k´epest. Osszehasonl´ ıtottam a metaadat ´es kontextus alap´ u inicializ´ al´ asokat is, ´es azt tal´ altam, hogy a kontextussal jobb eredm´enyt lehet el´erni. A k´et inform´ aci´ ot´ıpus kombin´ al´ asa pedig tov´abb n¨oveli a pontoss´agot.
2.2
Kontextus-vez´ erelt faktoriz´ aci´ os algoritmusok
A kutat´ as k¨ ovetkez˝ o f´ azis´ aban kifejlesztettem k´et kontextus vez´erelt faktoriz´aci´os algoritmust, amik hat´ekonyan k´epesek tanulni az implicit adatokon. Mindk´et algoritmus egy ND dimenzi´ os tenzorban reprezent´alhat´o tenzoron (R) dolgozik. A tenzor egyegy dimenzi´ oja megfelel a felhaszn´al´oknak (felhaszn´al´o azonos´ıt´ok) ´es a term´ekeknek (term´ekazonos´ıt´ ok), a marad´ek ND − 2 pedig a kontextus dimenzi´oknak. R null´akat ´es egyeseket tartalmaz: ru,i,c1 ,··· ,cND −2 = 1, ha az u felhaszn´al´onak volt legal´abb egy esem´enye az i term´eken, mik¨ ozben a j. kontextus ´allapota cj volt. R minden eleme ismert (azaz nincsenek hi´ anyz´ o “´ert´ekel´esek”), de az egyesek sz´ama jelent˝osen alacsonyabb a null´ ak´en´ al. Ez a fajta kialak´ıt´as azt felt´etelezi, hogy egy esem´eny megl´ete pozit´ıv, hi´ anya pedig negat´ıv preferenci´at k´odol. Mivel a hi´anyz´o esem´eny ´es a negat´ıv preferencia k¨ oz¨ ott sokkal gyeng´ebb a kapcsolat, mint az esem´eny ´es a pozit´ıv preferencia 5
k¨oz¨ott, egy s´ ulyf¨ uggv´eny l´etrehoz´as´ara is sz¨ uks´eg van. A W(i1 , . . . , iND ) s´ ulyf¨ uggv´eny minden egyes lehets´eges entit´ as kombin´aci´ohoz egy val´os ´ert´eket rendel. A gyakorlati szempontb´ ol j´ o W(·) az adatokt´ol f¨ ugg ´es befoly´asolhatja a tan´ıt´as hat´ekonys´ag´ at is. Az egyszer˝ us´eg kedv´e´ert tegy¨ uk fel, hogy W(·) ´er´etke 1 a hi´anyz´o esem´enyekn´el ´es 100 · #(i1 , . . . , iND ) a t¨ obbi helyen. Az algoritmusok a s´ ulyozott n´egyzetes hiba¨osszegre optimaliz´ alnak (ami ekvivalens az RMSE-re val´o optimaliz´al´assal), ahol a c´elv´altoz´ok az R beli ´ert´ekek ´es a s´ ulyokat W(·) szolg´altatja. Az optimaliz´al´ashoz az altern´al´o legkisebb n´egyzetes hib´ ak m´ odszer´et (alternating least squuares - ALS) haszn´alom. Ez azt jelenti, hogy egy adott id˝ opillanatban egy kiv´etel´evel az ¨osszes jellemz˝om´atrix fix, ´es csak ´es kiz´ar´ olag a nem fix´ alt m´ atrix jellemz˝oinek ´ert´ek´et sz´am´ıtjuk ki, mint legkisebb n´egyzetes megold´ ast. Ez az elj´ ar´ as iterat´ıv m´odon cs¨okkenti a hib´at. Egy teljesen kit¨olt¨ott tenzoron (mint amilyen az R is) a naiv ALS rosszul sk´al´az´odik. De a sz´am´ıt´asok okos sz´etv´ alaszt´ asa ´es bizonyos statisztik´ak el˝ozetes kisz´am´ıt´asa lehet˝ov´e teszi a hat´ekony tan´ıt´ ast. A k´et algoritmus k¨ oz¨ otti k¨ ul¨onbs´eg az elt´er˝o preferencia modellek haszn´alata, azaz a becs¨ ult preferencia kisz´ am´ıt´ as´ahoz haszn´alt k´eplet elt´er˝o. iTALS: Az iTALS algoritmus az u felhaszn´al´o preferenci´aj´at az i term´eken adott kontextus ´ allapotok mellett, mint a megfelel˝o jellemz˝ovektorok elemenk´enti (Hadamard) szorzatak´ent el˝ o´ all´o vektor koordin´at´ainak ¨osszegek´ent (azaz ND vektor “skal´ arszorzatak´ent”) becs¨ uli. Ez az N-utas (N-way) interakci´o modell. Az al´abbi kifejez´es form´ alisan le´ırja a modellt2 : rˆi1 ,...iND = 1T Mi11 ◦ Mi22 ◦ · · · ◦ MiNND (1) D
Ez a modell azt felt´etelezi, hogy a preferenci´ak az ¨osszes dimenzi´o egy¨ uttes interakci´ojak´ent alakulnak ki. Az aj´anl´asok szempontj´ab´ol a modell a felhaszn´al´o–term´ek interakci´ ou ´jras´ ulyoz´ asa egy kontextus f¨ ugg˝o jellemz˝ovektor ´altal (ami ND > 3 eset´en t¨obb jellemz˝ ovektor elemenk´enti szorzatak´ent ´all el˝o). iTALSx: Ez a m´ odszer alapvet˝oen h´aromdimenzi´os probl´em´akhoz (felhaszn´al´ o, term´ek ´es egy kontextus) lett kifejlesztve. Az u felhaszn´al´o preferenci´aja az i term´eken adott kontextus mellett, mint a megfelel˝o jellemz˝ovektorok p´aronk´enti skal´arszorzatainak ¨ osszegek´ent ´all el˝o. Azaz a felhaszn´al´o ´es term´ek, a felhaszn´al´o ´es a kontextus, valamint a term´ek ´es a kontextus jellemz˝o vektorok skal´arszorzatainak ¨osszeg´evel becs¨ ulj¨ uk a preferenci´at. Ez a modell a p´aronk´enti interakci´o modell. A modellt a k¨ ovetkez˝ o m´ odon fejezhetj¨ uk ki form´alisan: (I) (I) rˆu,i,c = 1T Mu(U ) ◦ Mi + Mu(U ) ◦ Mc(C) + Mi ◦ Mc(C) (2) Ebben a modellben a preferencia a felhaszn´al´o–term´ek interakci´o, egy kontextus f¨ ugg˝ o term´ek ´es egy kontextus f¨ ugg˝ o felhaszn´al´o bias ¨osszegek´ent ´all el˝o. A kontextus f¨ ugg˝o felhaszn´ al´ o bias nem vesz r´eszt ugyan a term´ekek rangsorol´asban – hiszen mindig egy adott felhaszn´ al´ onak aj´ anlunk egy adott kontextus mellett, ´ıgy az ´ert´eke minden term´ekre megegyezik – de k´epes cs¨ okkenteni a kontextus-f¨ ugg˝o mint´azatok hat´as´at a tan´ıt´as sor´an, amit egy klasszikus m´ atrix faktoriz´aci´o sz´am´ara zajk´ent jelenne meg. Algoritmikus komplexit´ as: Mindk´et algoritmus eset´eben egy epoch (azaz PNDminden + 2 jellemz˝ om´ atrix egyszeri u ´jrasz´ amol´as´anak) komplexit´asa O(ND N K + i=1 Si K 3 ), 2
Az eltol´ as (bias) ´ert´ekek nem ker¨ ulnek felt˝ untet´esre a k¨ onnyebb ´erthet˝ os´eg v´egett.
6
ahol ND , N +, K a dimenzi´ ok, esem´enyek ´es (vektoronk´enti) l´atens jellemz˝ok sz´ama, Si pedig a tenzor i. dimenzi´ oj´anak m´erete (azaz a felhaszn´al´ok/term´ekek/kontextus ´allapotok sz´ ama). Az algoritmus line´arisan sk´al´az´odik az esem´enyek sz´am´aval. Ez a gyakorlatban kifejezetten fontos a rendelkez´esre ´all´o sok esem´eny ´es az esem´enyhalmaz gyors n¨ oveked´ese miatt. Az algoritmusPelm´eletben k¨ob¨osen sk´al´az´odik a l´atens jellemz˝ ok ND + sz´am´ aval. Viszont mivel ND N i=1 Si ´es K ´er´etke alacsony a gyakorlatban, az els˝o tag a domin´ ans. ´Igy az algoritmus n´egyzetesen sk´al´az´odik a gyakorlatban haszn´alt K ´er´etkekre. M´ odszerek ¨ osszehasonl´ıt´ asa: Az iTALS-t ´es iTALSx-et (a) m´atrix faktoriz´ aci´ oval, (b) m´ atrix faktoriz´aci´ok ¨osszess´eg´ere ´ep´ıt˝o alapvet˝o kontextus-vez´erelt elj´ar´ assal ´es (c) egym´ assal is ¨ osszehasonl´ıtottam. A k´ıs´erletek sor´an mind szezonalit´ast, mind szekvenci´ alis kontextust is haszn´altam. A f˝obb eredm´enyek az al´abbiak: • Mind az iTALS ´es az iTALSx jelent˝osen jobban teljes´ıt az aj´anl´asi pontoss´agot tekintve, mint a m´ atrix faktoriz´aci´o ´es a kontextus-vez´erelt alap megold´as. • A javasolt szekvenci´ alis kontextussal jelent˝osen jobb pontoss´ag ´erhet˝o el, mint kontextus haszn´ alata n´elk¨ ul vagy a szezonalit´assal. • Az ITALS tanul´ asi kapacit´asa magasabb, de az N-utas modell ´erz´ekenyebb a zajokra ´es az alacsony faktorsz´am ¨osszemos´o hat´as´ara. Ez´ert az iTALS akkor teljes´ıt jobban, mint az iTALSx, ha a jellemz˝ok sz´ama kell˝oen nagy vagy az adatb´azis kell˝ oen s˝ ur˝ u. Az eredm´enyek azt mutatj´ak, hogy ritka adatok eset´en ´es alacsony jellemz˝ osz´ am eset´en az iTALSx-et ´erdemes haszn´alni.
2.3
ALS alap´ u faktoriz´ aci´ o gyors´ıt´ asa
Gyakorlati alkalmazhat´ os´ ag szempontj´ab´ol az algoritmusok tan´ıt´asi ideje k¨ ul¨onlegesen fontos jelent˝ os´eggel b´ır. A gyorsabb tan´ıt´as lehet˝ov´e teszi, hogy (1) a modellezett rendszernek egy u ´jabb ´ allapot´ at modellezz¨ uk (k¨ ul¨on¨osen fontos akkor, ha a term´ekek ´eletciklusa r¨ ovid vagy ha gyorsan jelennek meg u ´j term´ekek); (2) gyakrabban tan´ıtsuk u ´jra a modelleket; (3) jobb kompromisszumokat tal´aljunk a tan´ıt´as sebess´ege ´es a pontoss´ag k¨ oz¨ ott az´ altal, hogy magasabb faktorsz´amot vagy t¨obb epochot haszn´alunk. K´et k¨ozel´ıt˝ o megold´ ast javasolok az ALS tanul´as felgyors´ıt´as´ara, amik k¨ ul¨on¨osen magasabb faktorsz´ am eset´en hat´ekonyak (azaz a gyorsul´as ann´al nagyobb, min´el t¨obb jellemz˝ ot haszn´ alunk). Az ALS eset´en a sz´ am´ıt´ asi komplexit´as amiatt magas, mert mag´aba foglalja egy K × K m´eret˝ u line´ aris egyenletrendszer megold´as´at. A javasolt m´odszerek ennek a direkt megold´ as´ at ker¨ ulik el. ALS-CD: Az els˝ o megold´ as jellemz˝onk´enti optimaliz´al´asra (coordinate descent CG) ´ep´ıt. Ebben a m´ odszerben egy adott pillanatban egy kiv´etel´evel minden modellparam´eter fix, ´es egyszerre mindig egy jellemz˝o ker¨ ul kisz´am´ıt´asra. ´Igy a m´atrix invert´ al´ asa helyett el´eg egy egyszer˝ u oszt´ast haszn´alni. Implicit feedback eset´en nem egy´ertelm˝ u ennek a strat´egi´ anak a haszn´alata, mivel a negat´ıv (hi´anyz´o) esem´enyeket is figyelembe kell venni. A probl´ema megold´asa, hogy a hi´anyz´o esem´enyeket K + 1 p´eld´ aba t¨ om¨ or´ıtj¨ uk. Az ALS-CD nem k¨ ozel´ıti k¨ ozvetlen¨ ul az ALS megold´as´at, de hasonl´o eredm´enyeket ad. A m´ o dszer haszn´ a lat´ a val az iTALS/iTALSx komplexit´asa O(ND K 3 +ND N + NI K + PND 2 o iter´aci´ok sz´ama – ami a gyakorlatban haszn´alt K i=1 Si K ) lesz – ahol NI a bels˝ ´ert´ekek tartom´ any´ an line´ aris sk´al´az´od´ast jelent, mivel ott ND N + NI elnyomja az ND ´es 7
PND
i=1 Si
szorz´ okat. ALS-CG: A m´ asodik megold´as konjug´alt gradienst haszn´al az egyenletrendszer megold´ as´ anak k¨ ozel´ıt´es´ere. A m´odszer hat´ekonys´aga att´ol, f¨ ugg, hogy milyen hat´ekonyan tudjuk kisz´ amolni az egy¨ utthat´om´atrix ´es egy tetsz˝oleges vektor szorzat´at. Itt az egy¨ utthat´ om´ atrix egy el˝ ore kisz´amolt m´atrix ´es egy di´ad¨osszeg ¨osszegek´ent ´all el˝ o. ´Igy a szorz´ as is hat´ekonyan elv´egezhet˝o. Ha a bels˝ o iter´ aci´ ok sz´ ama megegyezik K-val, akkor az ALS-CG pontosan az ALS megold´ as´ at adja. Viszont m´ar j´oval alacsonyabb bels˝o iter´aci´o sz´am mellett is j´o k¨ ozel´ıt´esek adhat´ oak.P A m´odszer haszn´alat´aval az iTALS/iTALSx komplexit´asa D O(ND N + NI K + NI K 2 N alt K ´ert´ekek tartom´any´an i=1 Si ), ami a gyakorlatban haszn´ line´aris sk´ al´ az´ od´ ast jelent. ¨ Osszehasonl´ ıt´ as: Az ALS-hez k´epest jelent˝os a gyorsul´as: a CG ∼ 10.6-szer a CD ∼ 2.9-szer gyorsabb, mint az ALS K = 200 eset´en (´es a k¨ ul¨onbs´eg tov´abb n˝o, ahogy K-t n¨ ovelj¨ uk). A gyakorlatban gyakrabban haszn´alt K = 80 eset´en a gyorsul´as ∼ 3.5szeres CG ´es ∼ 1.3-szeres CD eset´en. A h´arom m´odszer pontoss´aga nagyon hasonl´o ´es az elt´er´esek ´ altal´ aban jelent´ektelenek, Ez azt jelenti, hogy a javasolt gyors´ıt´asok an´elk¨ ul haszn´ alhat´ oak, hogy fel´ aldozn´ ank a m´odszer pontoss´ag´at. Egym´ assal ¨ osszehasonl´ıtva kijelenthet˝o, hogy a CG-nek t¨obb el˝ony¨osebb tulajdons´ aga van: gyorsabb, stabilabb, egy kicsit pontosabb ´es az ALS direkt k¨ozel´ıt´ese is el˝ony¨ os.
2.4
GFF ´ es preferencia modellez´ es kontextussal
Ahogy az iTALS ´es ITALSx ¨ osszehasonl´ıt´as´an´al is l´attuk, k¨ ul¨onf´ele preferencia modellek j´ ok k¨ ul¨ onf´ele szitu´ aci´ okban. A faktoriz´aci´o ´es az adatsor bizonyos tulajdons´agai (pl. faktorsz´ am, ritkas´ ag) az egyik vagy a m´asik modell sz´am´ara el˝ony¨osek. A faktoriz´ aci´ os m´ odszerek t¨ obbs´ege az N-utas vagy a p´aronk´enti modell k¨oz¨ ul haszn´alja az egyiket, mik¨ ozben a lehets´eges modellek sz´ama a dimenzi´ok sz´am´anak n¨oveked´es´evel exponenci´ alisan n˝ o. Szint´en ´erdemes megjegyezni, hogy ezek a modellek szimmetrikusak, azaz minden dimenzi´ o ugyanazt a szerepet t¨olti be; az aj´anl´asi probl´em´an´al viszont mindig van k´et kit˝ untetett dimenzi´o: a felhaszn´al´ok´e ´es a term´ekek´e. A preferencia modell hat´ assal van a tanul´ as folyamat´ara is. Ez k¨ ul¨on¨osen akkor jelent˝os, ha a tanul´ as mag´aba foglal k¨ ul¨ onb¨ oz˝ o transzform´aci´okat ´es a sz´am´ıt´asok okos sz´etv´alaszt´as´at, hogy a m´odszer komplexit´ asa alacsony legyen. Az implicit feedback alap´ u probl´em´an´al pontosan ez a helyzet. P´eld´ aul hi´ aba nagyon hasonl´o az iTALS ´es az iTALSx, n´eh´any kulcsfontoss´ ag´ u l´ep´es elt´er˝ o ´es m´ as el˝ore kisz´am´ıtott statisztik´akra van sz¨ uks´eg¨ uk a hat´ekony tan´ıt´ ashoz. A preferencia modellez´es rendes felt´erk´epez´es´enek hi´anya azon rugalmas eszk¨oz¨ ok hi´any´ ara vezethet˝ o vissza, amikkel a k¨ ul¨onf´ele modellek k¨onnyen kipr´ob´alhat´oak, an´elk¨ ul, hogy minden egyes u ´j modellhez u ´j algoritmust kelljen implement´alni. Ez motiv´alt az ´ altal´ anos faktoriz´ aci´ os keretrendszer (General Factorization Framework - GFF) megalkot´ as´ ara, ami egy olyan rugalmas algoritmus, aminek az egyik bemenete a preferencia modell, ´es k´epes kisz´ am´ıtani a modellnek (´es az adatoknak) megfelel˝o l´atens jellemz˝ om´ atrixokat. A GFF lehet˝ov´e teszi, hogy egyszer˝ uen k´ıs´erletezz¨ unk k¨ ul¨onb¨oz˝ o line´aris modellekkel a kontextus-vez´erelt aj´anl´asi feladatra, legyen sz´o implicit vagy explicit feedbackr˝ ol. A GFF u ´j kutat´asi ir´anyokat nyit a kontextussal val´o modellez´es ter¨ ulet´en. 8
Az al´ abbi tulajdons´ agok voltok fontosak a GFF megalkot´asakor. • Szabad kontextus haszn´alat: A GFF b´armilyen kontextus vez´erelt aj´anl´asi probl´em´ an m˝ uk¨ odik, f¨ uggetlen¨ ul a dimenzi´ok jelent´es´et˝ol ´es sz´am´at´ol. • Nagy preferencia modell oszt´aly: Az egyetlen megszor´ıt´as a preferencia modellel kapcsolatban, hogy a probl´ema dimenzi´oiban line´aris legyen.3 Ez az intuit´ıv korl´ atoz´ as a gyakorlati probl´em´ak szempontj´ab´ol nem jelent˝os. • Adatf¨ uggetlens´eg: a gyakorlatiasabb implicit eset mellett a GFF k´epes kezelni az explicit feedbacket is, amihez mind¨ossze a s´ ulyf¨ uggv´enyt kell ´at´all´ıtani. • Rugalmass´ ag: a GFF s´ ulyf¨ uggv´enye kell˝oen ´altal´anos ahhoz, hogy azon kereszt¨ ul extra inform´ aci´ okat vigy¨ unk a modellbe, p´eld´aul cs¨okkenthetj¨ uk a r´egebbi esem´enyek s´ uly´ at (event decay) vagy az esem´enyek nem v´eletlenszer˝ u hi´any´ara (not missing at random) vonatkoz´o hipot´eziseinket is integr´alhatjuk. • Sk´ al´ azhat´ os´ ag: a GFF mind a tranzakci´ok sz´am´aval, mind a faktorsz´ammal (a gyakorlatban haszn´ alt tartom´anyon) line´arisan sk´al´az´odik. ´Igy ´eles aj´anl´ o szolg´ altat´ asokban is j´ ol haszn´alhat´o. A GFF seg´ıts´eg´evel k¨ onnyen k´ıs´erletezhet¨ unk u ´j preferencia modellekkel. A k¨ovetkez˝ o komponenseket defini´altam egy 4 dimenzi´os (felhaszn´al´o, term´ek, szezonalit´as, szekvenci´ alis kontextus) kontextus-vez´erelt probl´em´an, amikb˝ol a modell ¨ossze´all´ıthat´ o. • U I: Interakci´ o a felhaszn´al´o ´es a term´ek k¨oz¨ott, a klasszikus CF modell. • U SI, U QI, U SQI: A felhaszn´al´o–term´ek interakci´o kontextus f¨ ugg˝ o u ´jras´ ulyoz´ asa, azaz a kontextus befoly´asolja az interakci´ot. T¨obb kontextus dimenzi´ o is haszn´ alhat´ o a s´ ulyoz´ashoz. De t¨obb dimenzi´o haszn´alata eset´en a komponens ´erz´ekenyebb a zajokra, ´es csak magasabb faktorsz´am mellett ad j´o eredm´enyt. [T4]. • U S, U Q: Kontextus f¨ ugg˝o felhaszn´al´o bias, ami a felhaszn´al´o–kontextus interakci´ ob´ ol sz´ armazik. Nem vesz r´eszt a term´ekek rangsorol´asban, de tan´ıt´as k¨ozben sz˝ uri a kontextus f¨ ugg˝ o v´ altoz´asokat az adatban. Ebben a komponensben csak egy kontextus dimenzi´ ot engedek meg, mert t¨obb dimenzi´o haszn´alata azt modellezn´e, hogy a kontextus dimenzi´ok is interakci´oba l´epnek egym´assal. • IS, IQ: Kontextus f¨ ugg˝o term´ek bias, ami a term´ek–kontextus interakci´ob´ ol sz´ armazik. Mind a term´ekek rangsorol´as´aban, mind a tanul´as seg´ıt´es´eben r´eszt vesz. Ebben a komponensben is csak egy kontextus dimenzi´o enged´elyezett. • SQ: Kontextus dimenzi´ok interakci´oja. A tradicion´alis p´aronk´enti modellhez sz¨ uks´eges. A fenti komponensekb˝ ol modelleket ´all´ıtottam ¨ossze, amik az aj´anl´asi probl´ema bizonyos speci´ alis aspektusait is figyelembe veszik. Az ´altalam vizsg´alt modellek a k¨ovetkez˝ ok: • Interakci´ o modell (U I + U SI + U QI): Ez a modell az alap felhaszn´al´ oi viselked´es (U I) ´es a kontextus ´altal befoly´asolt viselked´esek (U SI ´es U QI) osszess´ege. A modell feltev´ese, hogy a felhaszn´al´ok preferenci´aja egy kontex¨ tus f¨ uggetlen ´es egy kontextus f¨ ugg˝o r´eszb˝ol tev˝odik ¨ossze. Az ut´obbiban a felhaszn´ al´ o–term´ek interakci´okat egy kontextus f¨ ugg˝o jellemz˝o vektorral ´ats´ ulyozzuk. Az U SQI a t¨ obb dimenzi´ oval val´o ´ats´ ulyoz´as zajoss´aga miatt nem szerepel a modellben. • Kontextus interakci´ o modell (U SI + U QI): Ebben a modellben a prefer3
Ez azt jelenti, hogy egy dimenzi´ o nem l´ephet interakci´ oba o ¨nmag´ aval a modellben.
9
encia kiz´ ar´ olag kontextus f¨ ugg˝o r´eszekb˝ol ´all. A modell azt felt´etelezi, hogy az preferenci´ at er˝ osen befoly´asolja a kontextus, ´es ez a befoly´as a felhaszn´al´o–term´ek interakci´ ora van hat´ assal, nem pedig az egyes entit´asokra (felhaszn´al´o, term´ek) k¨ ul¨ on-k¨ ul¨ on. • Reduk´ alt p´ aronk´ enti modell (U I + U S + IS + U Q + IQ): Ez a modell a tradicion´ alis p´ aronk´enti modell egy vari´aci´oja, amib˝ol kihagyjuk a kontextus dimenzi´ ok interakci´ oj´ at (SQ). A kontextus ´es a felhaszn´al´ok, illetve term´ekek interakci´ oja az egyes entit´asokkal k¨ ul¨on-k¨ ul¨on t¨ort´enik, azaz itt a kontextus nem a felhaszn´ al´ o–term´ek interakci´ot befoly´asolja. • Felhaszn´ al´ o bias modell (U I+U S+U Q): A modell feltev´ese, hogy kiz´ar´olag a felhaszn´ al´ o l´ep interakci´ oba a t¨obbi dimenzi´oval. Az eredm´eny egy olyan modell, amiben a felhaszn´ al´ o–term´ek interakci´ot kieg´esz´ıtik kontextus f¨ ugg˝o felhaszn´al´ o biasok. B´ ar a term´ekek sorrendj´et ezek a biasok nem befoly´asolj´ak, a tan´ıt´ast zajsz˝ ur˝ o hat´ asukkal seg´ıtik. • Term´ ek bias modell (U I + IS + IQ): Ebben a modellben a kontextus hat´as´ at kontextus f¨ ugg˝ o term´ek biasokkal ´ırjuk le (pl. bizonyos term´ekek m´as ´es m´ as k¨ or¨ ulm´enyek k¨ oz¨ ott n´epszer˝ uek). A term´ek biasok mind a rangsorol´asban, mind a tan´ıt´ as seg´ıt´es´eben r´eszt vesznek. • Egy komplex model (U I +U S +IS +U Q+IQ+U SI +U QI): Ez a modell a reduk´ alt p´ aronk´enti ´es az interakci´o modell ¨osszess´ege. Szint´en tekinthet˝o egy reduk´ alt 3-utas interakci´ os modellnek, amib˝ol a kontextus-kontextus interakci´okat elhagytuk. A k´ıs´erleti eredm´enyek alapj´an ezek az u ´j modellek jobban illenek az aj´anl´asi probl´em´ ahoz, mint a tradicion´alisan haszn´alt modellek ´es pontosabbak is. Az interakci´o modell teljes´ıt a legjobban ´es k¨ozelr˝ol k¨oveti a kontextus interakci´o modell. Ez a k´et modell intuit´ıve is illik a feladathoz. A faktorsz´am befoly´asolja a modellek pontoss´ag´ anak rangsor´ at. Kevesebb jellemz˝o eset´en az alacsonyabb szint˝ u interakci´okat tartalmaz´ o modellek jobban teljes´ıtenek, mik¨ozben a t¨obb dimenzi´o interakci´oj´at tartalmaz´ o modellek t¨ obb jellemz˝ o eset´en jobbak. Az interakci´o modell v´egig j´ol teljes´ıt a gyakorlatban haszn´ alt faktorsz´ amok tartom´any´an.
3
A disszert´ aci´ o fel´ ep´ıt´ ese
A disszert´ aci´ o els˝ o fejezete magas szinten ´attekinti az aj´anl´orendszerek ter¨ ulet´et, r´eszletezi az implicit feedback alap´ u kontextus-vez´erelt faktoriz´aci´o t´emak¨or´ehez tartoz´o fogalmakat, specifik´ alja a kutat´asi probl´em´at ´es ismerteti a ki´ert´ekel´es ´altal´anos menet´et. A m´ asodik fejezet ´ attekinti a kapcsol´od´o irodalmat. A k¨ ovetkez˝ o n´egy fejezet (a harmadik fejezett˝ol a hatodikig) fedi le a saj´at kutat´asom f˝ovonal´ at ´es ismerteti a t´eziseimet: • A 3. fejezet megvizsg´ alja, hogy a m´atrix faktoriz´aci´o inicializ´al´asa mik´ent haszn´ alhat´ o tov´ abbi inform´aci´o (pl. term´ek metaadatok, kontextus) felhaszn´ al´ as´ ara a faktoriz´ aci´os algoritmusokban az alap m´odszerek megv´altoztat´asa n´elk¨ ul. A m´ odszerek ´es a k´ıs´erleti eredm´enyek alkotj´ak az els˝o t´eziscsoportot. • A 4. fejezet ismerteti az ´altalam az implicit feedback alap´ u aj´anl´asi probl´em´ara kidolgozott kontextus-vez´erelt faktoriz´aci´os algoritmusokat. Mind az iTALS (m´ asodik t´eziscsoport), mind az iTALSx (harmadik t´eziscsoport) algoritmus j´ ol
10
sk´ al´ az´ od´ o m´ odon oldja meg a feladatot. A k´et m´odszer ¨osszehasonl´ıt´asa ´es k¨ ul¨ onf´ele probl´em´ akra val´o megfelel˝os´eg¨ uk vizsg´alata a negyedik t´eziscsoportban van ¨ osszefoglalva. Szint´en ez a fejezet mutatja be a szekvenci´alis kontextust, ami jelent˝ osen k´epes jav´ıtani az aj´anl´asi pontoss´agon ´es szinte minden implicit feedback alap´ u adatsorhoz k¨ onnyen l´etrehozhat´o. • Az ¨ ot¨ odik fejezet a faktoriz´aci´os megold´asokban – mint az el˝obb eml´ıtett k´et algoritmus – haszn´ alt ALS tan´ıt´as gyors´ıt´as´ara ´es a l´atens jellemz˝ok sz´am´aban val´ o sk´ al´ az´ od´ as´ anak jav´ıt´ as´ ara koncentr´al, mik¨ozben nem ront jelent˝osen az aj´anl´asi pontoss´ agon. K´et gyors´ıt´ asi m´odszert javaslok ´es vizsg´alok meg. Az egyik az elemenk´enti optimaliz´ al´ asra (coordinate descent), a m´asik a konjug´alt gradiensre ´ep´ıt. A k´et m´ odszert egym´ assal ´es az alap ALS-sel is ¨osszehasonl´ıtom. A m´odszerek ´es a k´ıs´erleti megfigyel´esek alkotj´ak az ¨ot¨odik t´eziscsoportot. • A hatodik fejezetben javaslom az ´altal´anos faktoriz´aci´os keretrendszert (General Factorization Framework – GFF), egy algoritmust, ami hat´ekony k´ıs´erletez´est tesz lehet˝ ov´e k¨ ul¨ onf´ele preferencia modellekkel az implicit feedback alap´ u kontextusvez´erelt aj´ anl´ asi k¨ ornyezetben. A GFF seg´ıts´eg´evel javaslok ´es megvizsg´alok t¨obb u ´jszer˝ u modellt, amik figyelembe veszik az aj´anl´asi feladat specialit´asait. Ezeket a m´ odszereket ¨ osszehasonl´ıtom a ter¨ ulet tradicion´alis modelljeivel, az N-utas ´es a p´ aronk´enti interakci´ o modellel. GFF, az u ´j modellek ´es a k´ıs´erleti eredm´enyek alkotj´ ak a hatodik t´eziscsoportot. A disszert´ aci´ o utols´ o h´ arom fejezete ¨osszegzi az eredm´enyeket, ´attekinti az eredm´enyek alkalmaz´ as´ at ´es felv´azol t¨obb lehets´eges j¨ov˝obeli kutat´asi ir´anyt.
11
4
´ eredm´ Uj enyek ¨ osszefoglal´ asa
1. t´ eziscsoport: Javasoltam, hogy a m´atrix faktoriz´aci´os m´odszerek inicializ´al´as´ahoz haszn´ aljunk fel egy´eb, a term´ekekr˝ol (vagy a felhaszn´al´okr´ol) rendelkez´esre ´all´o inform´ aci´ ot, hogy megn¨ ovelj¨ uk az aj´anl´asok pontoss´ag´at. (A m´odszerek ´es az eredm´enyek a k¨ovetkez˝ o cikkekben ker¨ ultek publik´al´asa: [T1, T3].) 1.1. t´ ezis Javasoltam, hogy a m´ atrix faktoriz´ aci´ ot a szok´ asos v´eletlenszer˝ u kiindul´ asi m´ atrixok helyett az entit´ asok hasonl´ os´ ag´ at kihaszn´ al´ o m´ atrixokb´ ol ind´ıtsuk. Az ´ıgy kapott inicializ´ al´ o s´ema ´ altal´ anos ´es b´ armilyen m´ atrix faktoriz´ aci´ o eset´en felhaszn´ alhat´ o. A s´ema k´et l´ep´ese a k¨ ovetkez˝ o: (1) rendelj¨ unk le´ır´ ovektorokat az entit´ asokhoz; (2) t¨ om¨ or´ıts¨ uk a le´ır´ ovektorokat, hogy a t¨ om¨ or´ıtett inform´ aci´ o m´erete megegyezzen a jellemz˝ ovektorok´eval. Az implicit ALS m´ odszeren ´es ¨ ot adatsoron alkalmazva megmutattam, hogy az inicializ´ al´ o s´ema jelent˝ osen megn¨ oveli az aj´ anl´ asi pontoss´ agot (recall ´es MAP m´er˝ osz´ amok tekintet´eben). 1.2. t´ ezis Javasoltam a SimFactor algoritmust, ami olyan jellemz˝ ovektorok el˝ o´ all´ıt´ as´ ara k´epes, amelyek jobban meg˝ orzik az entit´ asok k¨ oz¨ otti hasonl´ os´ agokat. A SimFactor nem ig´enyli a gyakorlatban nehezen kisz´ am´ıthat´ o teljes ha¨ adatsoron megmutattam, hogy a m´ sonl´ os´ agm´ atrix kisz´ am´ıt´ as´ at. Ot odszer ´ altal l´etrehozott jellemz˝ ovektorok jobban k¨ ozel´ıti a hasonl´ os´ agokat, mint a le´ır´ ovektorok egyszer˝ u t¨ om¨ or´ıt´es´evel kapottak. Megmutattam, hogy az ´ıgy kapott vektorok ´ altal´ aban az inicializ´ al´ as sor´ an is jobban teljes´ıtenek. 1.3. t´ ezis Javasoltam a Sim2 Factor algoritmust, ami olyan jellemz˝ o vektorok el˝ o´ all´ıt´ as´ ara k´epes, amik az entit´ asok egym´ ashoz val´ o hasonl´ os´ aga alapj´ an defini´ alt 2 hasonl´ os´ ag ´ert´ekeket k´epesek k¨ ozel´ıteni. A Sim Factor nem ig´enyli a gyakorlatban nehezen kisz´ am´ıthat´ o teljes hasonl´ os´ agm´ atrix kisz´ am´ıt´ as´ at. Megmutattam, hogy az ´ıgy kapott jellemz˝ ovektorok hasznosak az inicializ´ al´ askor. 1.4. t´ ezis Javasoltam, hogy az entit´ asok le´ır´ as´ ahoz haszn´ aljuk a kontextust. Megmutattam, hogy a kontextus alap´ u le´ır´ ok jobbak az inicializ´ al´ ashoz, mint a metaadat alap´ uak. Megmutattam, hogy a kontextus ´es metaadat alap´ u inicializ´ al´ asok kombin´ al´ asa tov´ abb jav´ıtja az aj´ anl´ asi pontoss´ agot.
12
2. t´ eziscsoport: Javasoltam az iTALS algoritmust az implicit feedback alap´ u kontextus-vez´erelt aj´ anl´ asi probl´em´ara. (A m´odszerek ´es az eredm´enyek a k¨ovetkez˝ o cikkben ker¨ ultek publik´ al´ asa: [T2].) 2.1. t´ ezis Kifejlesztettem az iTALS algoritmust, egy tenzor faktoriz´ aci´ os algoritmust, ami pontszer˝ u preferenciabecsl´est v´egez az´ altal, hogy a n´egyzetes hiba s´ ulyozott n´egyzet¨ osszeg´ere optimaliz´ al. A preferenci´ akat az N-utas modellel, azaz dimenzi´ onk´ent egy-egy jellemz˝ o vektor elemenk´enti szorzat´ aban l´ev˝ o elemek ¨ osszeg´evel k¨ ozel´ıti. Megmutattam, hogy az iTALS j´ ol haszn´ alhat´ o az implicit feedback alap´ u kontextus-vez´erelt probl´em´ ara u ´gy, hogy egyeseket haszn´ alunk a pozit´ıv ´es null´ akat a hi´ anyz´ o esem´enyek eset´en, mint preferencia ´ert´eket, mik¨ ozben az el˝ obbieket jelent˝ osen fel¨ uls´ ulyozzuk. 2.2. t´ ezis Megmutattam, hogy az iTALS jelent˝ osen jobban teljes´ıt a recallal kifejezett aj´ anl´ asi pontoss´ ag szempontj´ ab´ ol, mint a kontextust figyelembe nem vev˝ o implicit m´ atrix faktoriz´ aci´ o, valamint egy el˝ osz˝ ur´esre ´ep´ıt˝ o kontextus-vez´erelt m´ odszer. 2.3. t´ ezis Megmutattam, hogy az iTALS hat´ekonyan tan´ıthat´ o ALS-sel az implicit feedback alap´ u kontextus-vez´erelt aj´ anl´ asi probl´em´ an. Megmutattam, hogy az iTALS a gyakorlatban is hat´ekonyan tan´ıthat´ o, mivel line´ arisan sk´ al´ az´ odik az esem´enyek sz´ am´ aval, ´es n´egyzetesen a gyakorlatban haszn´ alt tartom´ anyon a l´ atens jellemz˝ ok sz´ am´ aval. 3. t´ eziscsoport: Javasoltam az iTALSx algoritmust, mint egy alternat´ıv megold´ast az implicit feedback alap´ u kontextus-vez´erelt aj´anl´asi probl´em´ara. (A m´odszerek ´es az eredm´enyek a k¨ ovetkez˝ o cikkben ker¨ ultek publik´al´asa: [T4].) 3.1. t´ ezis Kifejlesztettem az iTALSx algoritmust, egy tenzor faktoriz´ aci´ os algoritmust, ami pontszer˝ u preferencia becsl´est v´egez az´ altal, hogy a n´egyzetes hiba s´ ulyozott n´egyzet¨ osszeg´ere optimaliz´ al. A preferenci´ akat a p´ aronk´enti interakci´ o modellel, azaz dimenzi´ op´ aronk´ent a megfelel˝ o jellemz˝ ovektorok skal´ arszorzatainak ¨ osszeg´evel k¨ ozel´ıti. Megmutattam, hogy az iTALSx j´ ol haszn´ alhat´ o az implicit feedback alap´ u kontextus-vez´erelt probl´em´ ara u ´gy, hogy egyeseket haszn´ alunk a pozit´ıv ´es null´ akat a hi´ anyz´ o esem´enyek eset´en, mint preferencia ´ert´eket, mik¨ ozben az el˝ obbieket jelent˝ osen fel¨ uls´ ulyozzuk. 3.2. t´ ezis Megmutattam, hogy az iTALSx jelent˝ osen jobban teljes´ıt a recallal kifejezett aj´ anl´ asi pontoss´ ag szempontj´ ab´ ol, mint a kontextust figyelembe nem vev˝ o implicit m´ atrix faktoriz´ aci´ o, valamint egy el˝ osz˝ ur´esre ´ep´ıt˝ o kontextus-vez´erelt m´ odszer. 3.3. t´ ezis Megmutattam, hogy az iTALSx hat´ekonyan tan´ıthat´ o ALS-sel az implicit feedback alap´ u kontextus-vez´erelt aj´ anl´ asi probl´em´ an. Megmutattam, hogy az iTALSx a gyakorlatban is hat´ekonyan tan´ıthat´ o, mivel line´ arisan sk´ al´ az´ odik az esem´enyek sz´ am´ aval, ´es n´egyzetesen a gyakorlatban haszn´ alt tartom´ anyon a l´ atens jellemz˝ ok sz´ am´ aval.
13
4. t´ eziscsoport: K´ıs´erleteket folytattam iTALS ´es iTALSx algoritmusokkal, o¨sszehasonl´ıtottam ˝ oket, valamint meghat´aroztam egy k¨onnyen haszn´alhat´o kontextus dimenzi´ ot. (A m´ odszerek ´es az eredm´enyek a k¨ovetkez˝o cikkekben ker¨ ultek publik´al´asa: [T2, T4].) 4.1. t´ ezis Javasoltam egy u ´jszer˝ u kontextus dimenzi´ o, szekvenci´ alis kontextus, haszn´ alat´ at aj´ anl´ asi probl´em´ akn´ al. Egy esem´eny szekvenci´ alis kontextusa az ugyanezen felhaszn´ al´ o el˝ oz˝ o esem´eny´enek term´eke. Megindokoltam, hogy a kontextus sz´eles k¨ orben el´erhet˝ o a gyakorlatban, hiszen csak az esem´enyek sorrendezhet˝ os´eg´ere ´ep´ıt, ami a legt¨ obb esetben adott. Megmutattam, hogy a szekvenci´ alis kontextus haszn´ alat´ aval az aj´ anl´ as pontoss´ aga sz´eles k¨ orben (k¨ ul¨ onb¨ oz˝ o adatsorok, algoritmusok, modellek, jellemz˝ o sz´ amok eset´en) jelent˝ osen megn¨ ovelhet˝ o a kontextust nem, valamint a szezonalit´ ast haszn´ al´ o esetekhez k´epest. ¨ 4.2. t´ ezis Osszehasonl´ ıtottam az iTALS (N-utas modell) ´es az iTALSx (p´ aronk´enti modell) algoritmusokat. Az N-utas modell haszn´ alata megfelel˝ obb akkor, ha a jellemz˝ ok sz´ ama magas ´es/vagy az adatsor s˝ ur˝ ubb; egy´ebk´ent pedig a p´ aronk´enti modell haszn´ alat´ at javaslom. 5. t´ eziscsoport: Javasoltam k´et k¨ozel´ıt˝o m´odszert az ALS tan´ıt´as felgyors´ıt´as´ara. (A m´odszerek ´es az eredm´enyek a k¨ovetkez˝o cikkben ker¨ ultek publik´al´asa: [T6, T7].) 5.1. t´ ezis Javasoltam egy konjug´ alt gradiens alap´ u ALS k¨ ozel´ıt´est, ami ´ altal´ anosan haszn´ alhat´ o ALS alap´ u faktoriz´ aci´ os algoritmusokban. Megmutattam, hogy a m´ odszer a gyakorlatban haszn´ alt ´ert´ekek eset´en line´ arisan sk´ al´ az´ odik a l´ atens jellemz˝ ok sz´ am´ aval. Megmutattam, hogy a megold´ as lehet˝ ov´e teszi magas sz´ am´ u l´ atens jellemz˝ o haszn´ alat´ at ´es jobb kompromisszumok felfedez´es´et a fut´ asi id˝ o ´es a pontoss´ ag k¨ oz¨ ott. Megmutattam, hogy a m´ odszer csak minim´ alisan m´ odos´ıtja az aj´ anl´ asok pontoss´ ag´ at az ALS-hez hasonl´ıtva. 5.2. t´ ezis Javasoltam egy jellemz˝ onk´enti optimaliz´ al´ asra ´ep´ıt˝ o ALS vari´ anst, ami ´ altal´ anosan haszn´ alhat´ o ALS alap´ u faktoriz´ aci´ os algoritmusokban. Megmutattam, hogy a m´ odszer a gyakorlatban haszn´ alt ´ert´ekek eset´en line´ arisan sk´ al´ az´ odik a l´ atens jellemz˝ ok sz´ am´ aval. Megmutattam, hogy a megold´ as lehet˝ ov´e teszi magas sz´ am´ u l´ atens jellemz˝ o haszn´ alat´ at ´es jobb kompromisszumok felfedez´es´et a fut´ asi id˝ o ´es a pontoss´ ag k¨ oz¨ ott. Megmutattam, hogy a m´ odszer csak minim´ alisan m´ odos´ıtja az aj´ anl´ asok pontoss´ ag´ at az ALS-hez hasonl´ıtva. 5.3. t´ ezis T¨ obb szempont szerint is ¨ osszehasonl´ıtottam a konjug´ alt gradiensre ´es a jellemz˝ onk´enti optimaliz´ al´ asra ´ep´ıt˝ o k¨ ozel´ıt˝ o megold´ asokat. Megmutattam, hogy a konjug´ alt gradiens alap´ u m´ odszer jobb, mivel (a) a pontoss´ aga jobban k¨ ozel´ıti az ALS-´et; (b) gyorsabb; (c) jobban sk´ al´ az´ odik; ´es (d) stabilabb. 5.4. t´ ezis Meghat´ aroztam egy j´ o kompromisszumot a fut´ asi id˝ o ´es az aj´ anl´ as pontoss´ aga k¨ oz¨ ott a k¨ ozel´ıt˝ o m´ odszerekhez. Ennek el´er´es´ehez azt javasoltam, hogy a bels˝ o iter´ aci´ ok sz´ am´ at a ´ll´ıtsuk 2-re.
14
6. t´ eziscsoport: Javasoltam egy rugalmas algoritmust (GFF), ami lehet˝ov´e teszi, hogy k´ıs´erletezz¨ unk u ´jszer˝ u preferencia modellekkel. (A m´odszerek ´es az eredm´enyek a k¨ovetkez˝ o cikkben ker¨ ultek publik´al´asa: [T5, T7].) 6.1. t´ ezis Kifejlesztettem az ´ altal´ anos faktoriz´ aci´ os keretrendszert (General Factorization Framework – GFF), egy rugalmas faktoriz´ aci´ os algoritmust az implicit feedback alap´ u kontextus-vez´erelt aj´ anl´ asi probl´em´ ara. A GFF rugalmass´ aga abban rejlik, hogy a preferencia modell megadhat´ o, mint az algoritmus bemenete. A modell tetsz˝ oleges sz´ am´ u dimenzi´ ot k´epes kezelni, valamint a k¨ ozt¨ uk l´ev˝ o lehets´eges interakci´ ok halmaz´ anak b´ armely r´eszhalmaz´ at. Bemutattam, hogy ez a rugalmass´ ag lehet˝ ov´e teszi, hogy k´ıs´erletezz¨ unk u ´jszer˝ u preferencia modellekkel. A GFF az egy attrib´ utumos MDM adatmodellre ´ep´ıt, ami megfelel˝ o a gyakorlatban el˝ ofordul´ o kontextus-vez´erelt probl´em´ akhoz. 6.2. t´ ezis K¨ ul¨ onf´ele, u ´jszer˝ u preferencia modelleket javasoltam a kontextusvez´erelt aj´ anl´ asi probl´em´ ara. Egy n´egydimenzi´ os kontextus-vez´erelt aj´ anl´ asi probl´em´ an ki´ert´ekeltem az u ´j modelleket aj´ anl´ asi pontoss´ ag szempontj´ ab´ ol. A felhaszn´ alt kontextus dimenzi´ ok olyanok, hogy minden a gyakorlatban el˝ ofordul´ o adatsorn´ al l´etrehozhat´ oak, amennyiben az esem´enyek rendelkeznek id˝ ob´elyeggel, ´es emiatt k¨ ul¨ on¨ osen fontosak. Megmutattam, hogy t¨ obb u ´jszer˝ u modell is jobban teljes´ıt, mint az irodalomban megtal´ alhat´ o tradicion´ alis modellek. 6.3. t´ ezis Megmutattam, hogy a javasolt modellek egyike, az interakci´ o modell, ´ altal´ aban is j´ ol teljes´ıt. Ez a modell a felhaszn´ al´ o–term´ek (U I) ´es a kontextust´ ol ¨ adatsorb´ f¨ ugg˝ oen s´ ulyozott felhaszn´ al´ o–term´ek (U CI) rel´ aci´ ok ¨ osszess´ege. Ot ol n´egy eset´en ezt volt a legjobb modell, a marad´ek egy esetben pedig m´ asodik helyen v´egzett. Az ut´ obbi adatsoron a legjobb modell a kontextus interakci´ o modell volt, ami k¨ ozeli rokons´ agban ´ all az interakci´ o modellel. ¨ 6.4. t´ ezis Osszehasonl´ ıtottam a GFF-fel legjobban teljes´ıt˝ o u ´jszer˝ u modelleket a legkorszer˝ ubb faktoriz´ aci´ os m´ odszerekkel. A GFF az u ´jszer˝ u modellekkel jelent˝ osen jobbnak bizonyult, mint a vizsg´ alt m´ odszerek ¨ ot adatsorb´ ol h´ aromn´ al ´es hasonl´ oan teljes´ıtett egyen. 6.5. t´ ezis Kiterjesztettem a GFF algoritmust, hogy teljesen kompatibilis legyen a t¨ obbdimenzi´ os adatt´er modellel (Multidimensional Dataspace Model – MDM) ´es ´ıgy k´epes legyen tov´ abbi inform´ aci´ ot, mint p´eld´ aul az aktu´ alis session esem´enyeit vagy term´ek metaadatokat, is hat´ekonyan figyelembe venni. El˝ ozetes k´ıs´erleteimmel megmutattam, hogy a session esem´enyek figyelembe v´etele jelent˝ osen megn¨ oveli az aj´ anl´ asi pontoss´ agot.
15
5
Eredm´ enyek alkalmaz´ asa
A kutat´ asom eg´esz´et er˝ osen befoly´asolt´ak gyakorlati k¨ovetelm´enyek. • Az els˝ o t´eziscsoport egy relat´ıve olcs´o megold´ast javasol extra inform´aci´o figyelembev´etel´ere m´ atrix faktoriz´aci´os megold´asokban ´es ´ıgy jelent˝osen megn¨oveli a pontoss´ agukat. • A m´ asodik, harmadik ´es negyedik t´eziscsoportok olyan kontextus-vez´erelt faktoriz´ aci´ os algoritmusokat javasolnak, amik a gyakorlati, implicit feedback alap´ u k¨ ornyezetben j´ ol haszn´ alhat´oak. Mind iTALS, mint iTALSx line´arisan sk´al´az´odik az esem´enyek sz´ am´ aval. Az itt haszn´alt kontextus dimenzi´ok szint´en jelent˝osek gyakorlati szempontb´ ol, mivel minden olyan adatsorn´al rendelkez´esre ´allnak, ahol az esem´enyekhez id˝ ob´elyeget is elt´arolunk. Az ´altalam javasolt szekvenci´alis kontextus kifejezetten j´ ol teljes´ıt ´es jelent˝osen megn¨oveli az aj´anl´asi pontoss´agot. • Az ¨ ot¨ odik t´eziscsoport a faktoriz´aci´on´al haszn´alt ALS tan´ıt´as sebess´eg´enek ´es a l´ atens jellemz˝ ok sz´ am´ aban val´o sk´al´az´od´as´anak jav´ıt´as´ara koncentr´al, mik¨ozben nem ´ aldoz jelent˝ osen az aj´anl´asi pontoss´agb´ol. Ez kifejezetten fontos gyakorlati szempontb´ ol, mivel a r¨ ovidebb tan´ıt´asi id˝ok lehet˝ov´e teszik a gyakoribb tan´ıt´ast, valamint jobb kompromisszumokat tesznek lehet˝ov´e a fut´asi id˝o ´es a pontoss´ ag k¨ oz¨ ott (pl. az´ altal, hogy t¨obb l´atens jellemz˝ot vagy t¨obb epochot haszn´alunk) ´es hat´ekonyabb´ a teszik a rendelkez´esre ´all´o er˝oforr´asok kihaszn´al´as´at. • A hatodik t´eziscsoport egy olyan algoritmust javasol, ami rugalmas k´ıs´erletez´est tesz lehet˝ ov´e k¨ ul¨ onf´ele kontextus-vez´erelt preferencia modellekkel. Az algoritmus kifejleszt´ese m¨ og¨ otti motiv´aci´o szint´en a gyakorlatb´ol sz´armazik, mivel a tradicion´ alis kontextus-vez´erelt modellek nem veszik figyelembe az aj´anl´asi feladat specialit´ asait (pl. kit˝ untetett dimenzi´ok, realisztikus interakci´ok a dimenzi´ok k¨oz¨ott, stb). Az algoritmusokat ´es a kutat´asb´ol sz´armaz´o know-howt sikeresen alkalmaztam a gyakorlatban is. Az algoritmusok egy r´esz´et implement´altam a Gravity Research & Development Zrt. – k¨ ul¨ onf´ele alkalmaz´asi ter¨ uleten aj´anl´o szolg´altat´ast biztos´ıt´o c´eg, nemzetk¨ ozi u ¨gyf´elk¨ orrel – aj´ anl´omotorj´aban. Az algoritmusokat sikerrel haszn´altam az ´eles aj´ anl´ orendszerben, valamint k¨ ul¨onb¨oz˝o egy´eb aj´anl´asi projektekben, tenderekben ´es POC-kben. A megold´ asok alkalmaz´asi k¨ore kiterjed, a teljess´eg ig´enye n´elk¨ ul, az online bev´as´ arl´ asra, VoD ´es TV m˝ usorok aj´anl´as´ara IPTV k¨ornyezetben [P3], e-kereskedelemre ´es apr´ ohirdet´eses oldalakra. Emellett az eredm´enyek nagyban hozz´aj´arultak az Eur´opai Uni´o Seventh Framework Programme (FP7/2007-2013) ´ altal t´amogatott CrowdRec projekthez4 . A CrowdRec projekt c´elja az aj´ anl´ orendszerek u ´j gener´aci´oj´anak kifejleszt´ese, ´ıgy t¨obbek k¨oz¨ott a kontextus haszn´ alata, a felhaszn´al´okkal val´o interakci´o, stream jelleg˝ u aj´anl´asok ´es heterog´en inform´ aci´ oforr´ asok felhaszn´al´asa. A kutat´asom a CrowdRec projekt kontextussal foglalkoz´ o r´esz´ehez kapcsol´ odik.
4
Azonos´ıt´ osz´ am: n◦ 610594
16
T´ ezisekhez kapcsol´ od´ o publik´ aci´ ok [T1] Bal´ azs Hidasi and Domonkos Tikk. Enhancing matrix factorization through initialization for implicit feedback databases. In Proceedings of the 2Nd Workshop on Context-awareness in Retrieval and Recommendation, CaRR ’12, pages 2–9, New York, NY, USA, 2012. ACM. ISBN 978-1-4503-1192-2. doi: 10.1145/2162102.2162104. URL http://doi.acm.org/10.1145/2162102. 2162104. [T2] Bal´ azs Hidasi and Domonkos Tikk. Fast als-based tensor factorization for contextaware recommendation from implicit feedback. In Peter A. Flach, Tijl De Bie, and Nello Cristianini, editors, Machine Learning and Knowledge Discovery in Databases, volume 7524 of Lecture Notes in Computer Science, pages 67–82. Springer Berlin Heidelberg, 2012. ISBN 978-3-642-33485-6. doi: 10.1007/9783-642-33486-3 5. URL http://dx.doi.org/10.1007/978-3-642-33486-3_5. [T3] Bal´ azs Hidasi and Domonkos Tikk. Initializing matrix factorization methods on implicit feedback databases. Journal of Universal Computer Science, 19(12): 1834–1853, jun 2013. ISSN 0948-695x. URL http://www.jucs.org/jucs_19_ 12/initializing_matrix_factorization_methods. [T4] Bal´ azs Hidasi. Factorization models for context-aware recommendations. Infocommunications Journal, VI(4):27–34, 2014. ISSN 2061-2079. [T5] Bal´ azs Hidasi and Domonkos Tikk. General factorization framework for contextaware recommendations. Data Mining and Knowledge Discovery, pages 1–30, 2015. ISSN 1384-5810. doi: 10.1007/s10618-015-0417-y. URL http://dx.doi. org/10.1007/s10618-015-0417-y. [T6] Bal´ azs Hidasi and Domonkos Tikk. Speeding up ALS learning via approximate methods for context-aware recommendations. Knowledge and Information Systems, pages 1–25, 2015. ISSN 0219-1377. doi: 10.1007/s10115-015-0863-2. URL http://dx.doi.org/10.1007/s10115-015-0863-2. [T7] Bal´ azs Hidasi. Context-aware preference modeling with factorization. In Proceedings of the 9th ACM Conference on Recommender Systems, RecSys ’15, pages 371–374, New York, NY, USA, 2015. ACM. ISBN 978-1-4503-3692-5. doi: 10.1145/2792838.2796543. URL http://doi.acm.org/10.1145/2792838. 2796543.
17
A szerz˝ o tov´ abbi publik´ aci´ oi [P1] Bal´ azs Hidasi, Alexandros Karatzoglou, Linas Baltrunas, and Domonkos Tikk. Session-based recommendations with recurrent neural networks. Accepted for International Conference on Learning Representations, 2016. [P2] Benjamin Kille, Fabian Abel, Bal´azs Hidasi and Sahin Albayrak. Using interaction signals for job recommendations. In Mobile Computing, Applications and Services: 7th International Conference, MobiCASE2015., Berlin, Germany, November 1213, 2015. Revised selected papers. [P3] D´ avid Zibriczky, Bal´ azs Hidasi, Zolt´an Petres, and Domonkos Tikk. Personalized recommendation of linear content on interactive tv platforms: beating the cold start and noisy implicit user feedback. In UMAP Workshops. Proceedings of the International Workshop on TV and Multimedia Personalization, 2012. [P4] Bal´ azs Hidasi and Domonkos Tikk. Context-aware item-to-item recommendation within the factorization framework. In Proceedings of the 3rd Workshop on Context-awareness in Retrieval and Recommendation, CaRR ’13, pages 19–25, New York, NY, USA, 2013. ACM. ISBN 978-1-4503-1847-1. doi: 10.1145/2442670.2442675. URL http://doi.acm.org/10.1145/2442670. 2442675. [P5] Bal´ azs Hidasi and Domonkos Tikk. Approximate modeling of continuous context in factorization algorithms. In Proceedings of the 4th Workshop on ContextAwareness in Retrieval and Recommendation, CARR ’14, pages 3–9, New York, NY, USA, 2014. ACM. ISBN 978-1-4503-2723-7. doi: 10.1145/2601301.2601303. URL http://doi.acm.org/10.1145/2601301.2601303. [P6] Bal´ azs Hidasi and Csaba G´asp´ar-Papanek. Shifttree: An interpretable modelbased approach for time series classification. In Dimitrios Gunopulos, Thomas Hofmann, Donato Malerba, and Michalis Vazirgiannis, editors, Machine Learning and Knowledge Discovery in Databases, volume 6912 of Lecture Notes in Computer Science, pages 48–64. Springer Berlin Heidelberg, 2011. ISBN 978-3-64223782-9. doi: 10.1007/978-3-642-23783-6 4. URL http://dx.doi.org/10.1007/ 978-3-642-23783-6_4. ´ [P7] Bal´ azs Hidasi. Ujfajta, automatikus, d¨ont´esi fa alap´ u adatb´any´aszati m´odszer id˝ osorok oszt´ alyoz´ as´ ara. Heszberger Zal´an (szerk.), Proceedings of the 2009. ´evi V´egz˝ os Konferencia. ISBN 978-963-421-588-2. [P8] Bal´ azs Hidasi. Modell alap´ u id˝osor-oszt´alyoz´o fejleszt´ese ´es kiterjeszt´ese. M.Sc. Thesis, Budapest University of Technology and Economics, Department of Telecommunications and Mediainformatics. ´ [P9] Bal´ azs Hidasi. Ujfajta, automatikus, d¨ont´esi fa alap´ u adatb´any´aszati m´odszer id˝ osorok oszt´ alyoz´ as´ ara. B.Sc. Thesis, Budapest University of Technology and Economics, Department of Telecommunications and Mediainformatics.
18
[P10] Bal´ azs Hidasi. Az id˝ osor-oszt´alyoz´as probl´em´aj´anak megold´asa u ´j, d¨ont´esi fa alap´ u adatb´ any´ aszati algoritmussal. XXIX. National Students’ Scientific Conference (OTDK), Debrecen, 2009.
19
Hivatkoz´ asok [1] G. Adomavicius and A. Tuzhilin. Context-aware recommender systems. In Recsys’08: ACM Conf. on Recommender Systems, pages 335–336, 2008. [2] Ricardo Baeza-Yates, Berthier Ribeiro-Neto, et al. Modern information retrieval, volume 463. ACM press New York, 1999. [3] R. Bell and Y. Koren. Scalable collaborative filtering with jointly derived neighborhood interpolation weights. In ICDM’07: IEEE Int. Conf. on Data Mining, pages 43–52, 2007. [4] J. Bennett and S. Lanning. The Netflix Prize. SIGKDD’07, pages 3–6, 2007.
In KDD Cup Workshop at
[5] Mukund Deshpande and George Karypis. Item-based top-n recommendation algorithms. ACM Transactions on Information Systems (TOIS), 22(1):143–177, 2004. [6] Y. Koren. Factorization meets the neighborhood: a multifaceted collaborative filtering model. In SIGKDD’08: ACM Int. Conf. on Knowledge Discovery and Data Mining, pages 426–434, 2008. [7] G. Linden, B. Smith, and J. York. Amazon. com recommendations: Item-to-item collaborative filtering. Internet Computing, IEEE, 7(1):76–80, 2003. [8] N. N. Liu, B. Caoand M. Zhao, and Q. Yang. Adapting neighborhood and matrix factorization models for context aware recommendation. In CAMRa’10: Workshop on Context-Aware Movie Recommendation, pages 7–13, 2010. ISBN 978-1-45030258-6. [9] P. Lops, M. Gemmis, and G. Semeraro. Content-based recommender systems: State of the art and trends. In Recommender Systems Handbook, pages 73–105. Springer, 2011. [10] I. Pil´ aszy and D. Tikk. Recommending new movies: Even a few ratings are more valuable than metadata. In Recsys’09: ACM Conf. on Recommender Systems, pages 93–100, 2009. ISBN 978-1-60558-435-5. [11] I. Pil´ aszy, D. Zibriczky, and D. Tikk. Fast ALS-based matrix factorization for explicit and implicit feedback datasets. In Recsys’10: ACM Conf. on Recommender Systems, pages 71–78, 2010. ISBN 978-1-60558-906-0. [12] Paul Resnick, Neophytos Iacovou, Mitesh Suchak, Peter Bergstrom, and John Riedl. Grouplens: an open architecture for collaborative filtering of netnews. In Proceedings of the 1994 ACM conference on Computer supported cooperative work, pages 175–186. ACM, 1994. [13] Francesco Ricci, Lior Rokach, Bracha Shapira, and Paul B. Kantor. Recommender Systems Handbook. Springer-Verlag New York, Inc., New York, NY, USA, 1st edition, 2010. ISBN 0387858199, 9780387858197.
20
[14] R. Salakhutdinov and A. Mnih. Probabilistic matrix factorization. In Advances in Neural Information Processing Systems 20. MIT Press, 2008. [15] J Ben Schafer, Joseph A Konstan, and John Riedl. E-commerce recommendation applications. In Applications of Data Mining to Electronic Commerce, pages 115– 153. Springer, 2001. [16] G. Tak´ acs, I. Pil´ aszy, B. N´emeth, and D. Tikk. Major components of the Gravity recommendation system. SIGKDD Explor. Newsl., 9:80–83, December 2007. ISSN 1931-0145. [17] G. Tak´ acs, I. Pil´ aszy, and D. Tikk. Applications of the conjugate gradient method for implicit feedback collaborative filtering. In RecSys’11: ACM Conf. on Recommender Systems, pages 297–300, 2011.
21
