Eye Tracking:
Teknologi dan Implementasi Dr. Sunu Wibirama 2016.06.04 1
Sunu Wibirama Positions ❑ 2008 – now : Lecturer in Department of Electrical Engineering
and Information Technology, UGM, Yogyakarta ❑ 2015 : Visiting researcher in Tampere Unit for
Computer-Human Interaction (TAUCHI),
Tampere University, Finland
Education ❑ 2014 Dr.Eng. ❑ 2010 M.Eng ❑ 2007 B.Eng.
Science and Technology Electronics Engineering Electrical Engineering
Tokai University, Tokyo, Japan KMITL, Bangkok, Thailand UGM, Yogyakarta, Indonesia
Interests ❖ ❖ ❖ ❖
User Experience and Behavioral Research Eye tracking applications Virtual and augmented reality technology Technology commercialization
2
1/18/16
Academic and Industrial Partners
University of
Tampere
Finland
Tokai University
Japan
TUV Rheinland
Indonesia
G-Force CRC LLC
San Diego, US
Shibaura Institute of
Technology
Japan
Division of Digital Business
PT. Telkom Indonesia, Tbk.
EMC-Neuromarketing
Indonesia
Apa itu Eye dan Gaze Tracking? Eye
tracking
Gaze
tracking
▪ Perangkat elektronik yang berfungsi untuk mendeteksi :
(1) gerakan bola mata (eye tracking)
(2) atensi / arah pandangan kita
(gaze tracking)
▪ Keluaran dari eye tracking :
2D (horizontal, vertical)
3D (horizontal, vertical, torsional)
▪ Keluaran dari gaze tracking :
2D (horizontal, vertical)
3D (horizontal, vertical, depth)
Apa teknologi di balik eye-gaze tracking
berbasis video processing ?
Dasar-dasar deteksi
pupil dengan teknik
pengolahan citra digital
Courtesy: S.Wibirama & K.Hamamoto
Teknologi dasar deteksi posisi pupil
Pupil-Corneal Reflection
Courtesy: Aga Bojko
Vektor P-CR
Courtesy: Jason Babcock
Dari eye tracking ke gaze tracking Mapping posisi pupil atau vektor P-CR ke target kalibrasi pada monitor komputer
Proses kalibrasi 2D
Heat map + gaze sequences
Real-time fixation traces
Hirarki aplikasi eye-gaze tracking (A.T. Duchowski, 2010) Eye-gaze tracking
Interaktif dan Asistif (sebagai alat masukan)
- Aplikasi game
- Kontrol komputer untuk difabel
(assistive technology)
- Virtual reality (teleconference
dengan joint attention)
Diagnosis dan deteksi (sebagai teknik analisa)
- Deteksi vertigo dan kelainan lain
- Deteksi atensi pengguna
(user experience)
- Driving security (deteksi kantuk
pada pengendara mobil)
Studi kasus teknologi interaktif dan asistif:
gaze tracking untuk difabel
Pietro (52 tahun):
(Courtesy: SRLABS ) - web designer
- penyandang ALS (Amyotrophic lateral sclerosis) - Komunikasi dengan iAble system
Referensi:
Majaranta, Päivi, Hirotaka Aoki, Mick Donegan, Dan Witzner Hansen, John Paulin Hansen,
Aulikki Hyrskykari and Kari-Jouko Räihä. "Gaze Interaction and Applications of
Eye Tracking: Advances in Assistive Technologies.” 1-382 (2012), accessed February 15, 2014.
doi:10.4018/978-1-61350-098-9
Studi kasus teknologi interaktif dan asistif:
gaze tracking untuk game
The Eye Tribe ($99 eye tracker) - Mini remote eye tracker
- Untuk perangkat portabel ber-
basis android dan windows
- Port USB 3.0
Referensi:
Courtesy: Gaurav (damngeeky.com)
http://www.damngeeky.com/2013/09/09/13887/theeye-tribe-tracker-initiates-hand-free-input-for-androiddevices-and-pcs.html
Studi kasus teknologi diagnosis dan deteksi:
Studi kegunaan (usability study)
Courtesy: Romano dan Chen (2011)
Studi kasus teknologi diagnosis dan deteksi:
video-oculography untuk diagnosa vertigo
Nystagmus saat vertigo
Referensi:
Deteksi posisi pupil dan gerakan torsi iris
S. Wibirama, S. Tungjitkusolmun, and C. Pintavirooj , “Dual-Camera Acquisition for Accurate Measurement of Three-Dimensional Eye Movements,” IEEJ Transactions on Electrical and Electronic Engineering, Vol.8(3), 2013, pp. 238-246.
G-Force CRC LLC
San Diego, US
Studi kasus teknologi diagnosis dan deteksi:3D gaze tracking untuk mendeteksi motion sickness saat melihat video 3D
Tokai University
Japan
screen
user
Referensi:
S. Wibirama and K. Hamamoto, “3D Gaze Tracking on Stereoscopic Display using Optimized Geometric Method”,
IEEJ Transactions on Electronics, Information, and Systems,
Vol. 134 (3), 2014, pp. 345-352.
Distance of screen 70 cm 3D gaze point
3D gaze tracking untuk mendeteksi motion sickness saat melihat video 3D (1/3)
19
Headache
Dynamic 3D contents
Vertigo Burping Increased salivation Sweating Stomach awareness
Referensi:
S. Wibirama and K. Hamamoto, "Investigation of Visually Induced Motion Sickness in Dynamic 3D Content based on Subjective Judgment, Heart Rate Variability, and Depth Gaze Behavior,"in Proceeding of The 36th An- nual International Conference of the IEEE EMBS, Chicago, United States of America, 26-30 August 2014, pp. 4803-4806.
Eye strain Difficult
to focus
3D gaze tracking untuk mendeteksi motion sickness saat melihat video 3D (2/3)
Dynamic 3D content
70 cm
3D gaze tracker
39 cm
ECG recorder
20
3D gaze tracking untuk mendeteksi motion sickness saat melihat video 3D (3/3) ECG DATA
(Participant # 3 – CG movie no fixation)
DEPTH GAZE DATA (Compared with Participant # 7) sickness
Study kasus: analisis kelekatan pengguna mobile game University of
Tampere
Finland
“Fruit Ninja” Game (Half Brick Studios) Participants: 10 participants (8M, 2F). Avg. 25,6 years old Methods: Mobile eye tracking and Immersive Experience Questionnaire (IEQ)
Tools: iPhone 5 (4 inch) and Google Nexus 7 (7 inch)
Dasar-dasar ilmu untuk riset eye tracking
▪ Pengolahan citra digital (teknik) ▪ Computer vision (teknik) ▪ Matematika aljabar (teknik) ▪ Interaksi manusia dan komputer (teknik) ▪ Dasar anatomi mata (kedokteran) ▪ Disain eksperimen (psikologi) ▪ Statistika untuk riset perilaku (psikologi)
Riset-riset dasar Riset-riset implementasi
Take home messages ☺ ▪ Eye tracking adalah perangkat elektronik untuk mendeteksi dan menganalisa gerakan mata (sebagai alat deteksi / diagnosis).
▪ Eye tracking juga bisa dikembangkan untuk alat kendali komputer berbasis gerakan mata (sebagai alat masukan).
▪ Eye tracking memiliki peran yang penting sebagai alat bantu untuk difabel (penyandang cacat), alat diagnosa medis untuk penyandang kelainan sistem penglihatan, maupun alat diagnosis untuk riset perilaku (behavioral research)
▪ Riset eye-gaze tracking sangat potensial untuk dikembangkan di Indonesia dengan segmentasi pengguna yang luas
Q and A
@SunuWibirama
[email protected] http://sunu.staff.ugm.ac.id http://bit.ly/gazetracking
Kontak Diskusi
Bagi yang ingin sharing dan diskusi lebih lanjut, silakan hubungi: • Twitter: @SocaResearch • Email:
[email protected] Bagi yang ingin bergabung dengan mailing list kami (
[email protected]), silakan hubungi admin kami di:
[email protected] Dengan Subject Email ”[Permohonan Subscribe Milis]“ 26
© 2015
Seeing is believing. Listening is understanding. Sharing is inspiring.
27
