THE EFFECTIVENESS OF THE E-LEARNING APPLICATION: IMPACT ASSESSMENT OF THE QUALITY

THE EFFECTIVENESS OF THE E-LEARNING APPLICATION: IMPACT ASSESSMENT OF THE QUALITY P E T E R L E N G Y E L - I S T V Á N F Ü Z E S I - J Á N O S PA N C S I R A - G E R G E LY R ÁT H O N Y I

UNIVERSITY OF DEBRECEN F A C U LT Y O F E C O N O M I C S A N D B U S I N E S S D E PA R T M E N T O F B U S I N E S S I N F O R M A T I C S

INTRODUCTION

Welcome to Moodle! Moodle is an open source web application used to create interactive online learning sites.

„Who” is Moodle? Moodle that is the acronym for

Modular ObjectOriented Dynamic Learning

Environment It's an online Learning Management System (LMS). 2016.05.07

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT

2

INTRODUCTION

2016.05.07

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT

3

INTRODUCTION

Why Moodle?  It's available in 78 languages!  It is used all over the world by teachers and educators and it's probably the best E-Learning tool in the net!  It runs on almost all platform, supporting a lot of useful function and customization, thanks to his modular structure.

2016.05.07

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT

4

INTRODUCTION

What teachers can do with Moodle...

2016.05.07

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT

5

INTRODUCTION

What students can do with Moodle...

2016.05.07

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT

6

RESEARCH

Research objective: establish the quality development and support of e-Learning at our faculty. Benchmark: e-Learning application of Corvinus University Budapest (CUB)  e-Learning at the CUB is applied under organized institutional circumstances. The e-Learning application of CUB is support by an organization. Hypothesis: The quality development of e-Learning should be ensured under organized circumstances. Questionnaire survey - Limesurvey  Faculty of Business and Economics – Corvinus University  students – teachers

2016.05.07

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT

7

Questionnaires We examined the answers about the e-Learning’s quality in this research on the basis of two context (student-lecturer, CUB - FEB). The basis of the answers’ comparability was that both institutions applied the Moodle system. We tried to find the answer what level they use the possibilities offered by the system in the two institutions.  273 students and 50 lecturers at the CUB,  288 students and 46 lecturers at the FEB The groups of questions are the following:  Quality of the system (1-7)  Quality of the information (8-12)  Quality of the service (13-17)  Benefit of the e-Learning system (18-24)  Conclusions (25-27)

The 27 questions could be answered in a scale of 10 2016.05.07

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT

8

points

Results

question number

2016.05.07

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT

9

Levene's Test for Equality of

Significant differences based on t-test (lecturers’ answers)

t-test for Equality of Means

Variances

F

A rendszer folyamatosan elérhető (rendelkezésre áll)

E.v.a.

Sig.

0,522

t

0,472

E.v. not a. Könnyen használható.

E.v.a.

2,704

0,103

E.v. not a.

2. Felhasználóbarát.

Easy to use.

E.v.a.

kapcsolatát.

E.v.a.

E.v.a.

E.v.a. problems.

mely

26. The e-Learning system is successful.

90,657

0,001

0,7461

0,2207

0,0739

0,2556

0,0739

0,2533

0,076

-0,7591

0,4224

-1,775

82,237

0,080

-0,7591

0,4277

-0,418

94

0,677

-0,2113

0,5050

-0,408

65,778

0,684

-0,2113

0,5176

-0,571

94

0,569

-0,3157

0,5525

-0,557

64,087

0,580

-0,3157

0,5670

-5,024

94

0,000

-2,0417

0,4064

-4,895

64,022

0,000

-2,0417

0,4171

0,600

94

0,550

0,1409

0,2348

0,606

91,786

0,546

0,1409

0,2325

-2,215

94

0,029

-0,7078

0,3195

-2,141

53,624

0,037

-0,7078

0,3306

-0,416

94

0,678

-0,0513

0,1232

-0,410

77,674

0,683

-0,0513

0,1252

-1,311

94

0,193

-0,3748

0,2859

-1,290

77,898

0,201

-0,3748

0,2905

94

0,092

-0,3765

0,2211

57,927

0,104

-0,3765

0,2280

94

0,010

-0,9400

0,3581

0,000

0,000

0,000

0,084

0,773

0,000

E.v. not a.

E.v.a.

0,2233

3,380

0,771

4,344

0,040

8,410

0,005

E.v. not a. A kurzus elegendő információt biztosít a hallgatóknak a tárgy elsa

0,7461

94

34,140

A közzé tett információk szorosan kapcsolódnak a kurzus témájához. E.v.a.

0,001

92,320

17. The operator(s) provide appropriate assistance (they) use the system. E.v.a.

94

0,292

E.v. not a.

A szükséges információk mindig a megfelelő időben közzé teszem.

0,1633

3,341

-1,797

21,558

relation.

-0,0087

0,082

E.v. not a.

The operators of the future development of cooperative A kurzusaimban16. pontosan azokat az információkat teszem közzé, E.v.a.

0,958

3,084

E.v. not a. A rendszer működése gyors (információ 15. The operator (s)hozzáférési availablesebesség). (s) to solve

85,827

0,773

20,328

14. The system is in constant contact developer(s) to users.

0,1618

-0,053

94

66,751

E.v.a.

Std. Error Difference

-0,0087

0,289

13. The e-Learning system an appropriate level ofa.on-line help for. E.v. not Sokszínű funkcióival vonza a felhasználókat.

Mean Difference

0,957

0,681

E.v.right not a. time published. 9. The necessary information is always at the

Személyre szabott információkat biztosít.

Sig. (2-tailed) 94

0,170

E.v. not a.

7. The system is fast (speed of information access).

Kommunikációs funkcióval kitünően támogatja a felhasználók

df

-0,054

E.v. not a.

0,002 than -1,703  The e-Learning application ofE.v.a. the CUB is more9,713 successful the FEB

A kurzus tartalmát folyamatosan aktualizálom, frissítem.

E.v. not a.

-1,652

 Quality of the system’s operation of the CUB is higher than the-2,539 FEB. használati útmutatót biztosít. E.v. not a. Az e-Learning rendszer megfelelő szintű on-line segítséget,

E.v.a.

10,075

0,002

-2,625

54,687

0,014

-0,9400

0,3702

A rendszer fejlesztői folyamatos kapcsolatban van(nak) a

E.v.a.

8,619

0,004

-4,479

94

0,000

-1,1870

0,2650

-4,342

57,460

0,000

-1,1870

0,2733

-3,510

94

0,001

-0,8243

0,2349

-3,413

61,405

0,001

-0,8243

0,2415

-4,011

94

0,000

-0,9452

0,2357

-3,908

64,075

0,000

-0,9452

0,2419

-3,957

94

0,000

-1,2791

0,3232

-3,817

51,447

0,000

-1,2791

0,3351

-1,021

94

0,310

-0,5991

0,5866

-1,003

74,161

0,319

-0,5991

0,5976

-1,197

94

0,234

-0,6383

-1,164

60,894

0,249

-0,6383

 This result supports our hypothesis E.v. not a.

felhasználókkal a rendszer tov

Az üzemeltető(k) rendelkezésre áll(nak) a felmerülő problémák

E.v.a.

megoldásában.

E.v. not a.

Az üzemeltetők együttműködőek a jövőbeni fejlesztésekkel

E.v.a.

kapcsolatban.

E.v. not a.

Az üzemeltető(k) megfelelő segítséget nyújt(anak) a rendszer

E.v.a.

használatában.

E.v. not a.

Az e-Learning rendszer használata javítja a tanulmányi

E.v.a.

eredményeket.

E.v. not a.

Növeli az Intézmény versenyképességét a felsőoktatásban.

E.v.a.

2016.05.07

47,302

18,063

56,573

18,243

43,213

0,000

0,000

0,000

0,000

0,000

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT

E.v. not a.

10

0,5332 0,5485

Factor Analysis We examined whether background variables influencing the variables are possible to be formed. We used factor analysis to demonstrate this which contracts the coherent factors into one common factor. We examined the variables on the basis of the Kaiser-Meyer-Olkin (KMO) criteria to determine whether they are suitable for factor analysis.

 The value of the KMO is 0.886, which means that the variables are suitable for factor analysis. Kaiser-Meyer-Olkin Measure of Sampling Adequacy. Bartlett's Test of Sphericity

Approx. Chi-Square df Sig.

0.886 17 114.773 351 0.000

 The table also indicates the null hypothesis of the Bartlett test was rejected, which means that there is no correlation between the basic variables, because the level of significance (Sig.) is smaller than 0.05. Consequently, the basic condition of the factor analysis, according to which the variables must correlate, is fulfilled.

2016.05.07

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT

11

Factor 1

2

3

4

Az üzemeltető(k) együttműködő(ek) a javasolt jövőbeni fejlesztésekkel kapcsolatban.

0,871

0,151

0,179

0,124

Az üzemeltető(k) megfelelő segítséget nyújt(anak) a rendszer használatában.

0,864

0,143

0,211

0,117

Factor selection - the variance ratio method

Az üzemeltető(k) rendelkezésre áll(nak) a felmerülő%’ problémák megoldásában.  The fourth row of the ‘Cumulative column shows the cumulated variance the four factors 0,834 0,159 of 0,137 (64.219%) based on Kaiser-criteria. It is above necessary 60%. A rendszer fejlesztő(i)/üzemeltető(i) folyamatos kapcsolatban van(nak) a the felhasználókkal 0,783

a rendszer tov

Extraction Sums of Squared Loadings

Sokszínű funkcióivalInitial vonza Eigenvalues a felhasználókat.

% of támogatja Cumulatia felhasználók kapcsolatát. % of Cumulative Kommunikációs funkcióval kitünően Factor Total Variance ve % Total Variance %

1 11.526 42.690 42.690 Személyre szabott információkat biztosít.

11.192 41.452 2 3.621 13.410 56.100 3.317 12.285 A rendszer funkcióival és szolgáltatásaival elégedett vagyok. 3 1.566 5.800 Használata növeli1.944 az oktatás 7.201 és tanulás63.301 hatékonyságát. 4 1.500 5.554 68.855 1.264 4.681 Használata csökkenti az oktatási-tanulási folyamat időtartamát. 5 1.090 4.037 72.892 Növeli az Intézmény versenyképességét a felsőoktatásban. 6 0.953 3.530 76.423

41.452 53.737 59.538 64.219

0,114

0,231

0,765Sums0,245 0,190 Rotation of Squared Loadings 0,721

Total

0,201

% of Variance

6.140 0,587 5.893 0,477 3.105 0,123 2.201 0,182

Az e-Learning rendszer használata javítja a tanulmányi eredményeket.

0,336

Cumulative %

22.740 0,348

0,109 22.740 0,208 21.825 44.565 0,402 0,331 0,324 11.501 56.066 0,871 8.153 64.219 0,826

0,108

0,822

0,218

0,107

0,816

 We have chosen a 4-factor solution which means that we replaced 27 variables (which explain Az rendszer bevezetése hozzájárul az Intézmény elektronikus szolgáltatásainak 0,341 0,735 0,182 100%) javításához. with 4 factors (which explain in 64.22%). Lehetővé teszi, hogy az Intézmény az oktatásban gyorsabban reagáljon bármilyen

0,374 0,717 0,127  We used the Varimax rotational method during which the orthogonal rotation results változásra Az e-Learning rendszer hasznos. 0,181 0,671 0,316 0,223 correlating factors. Használata csökkenti az oktatásra (a teljes oktatási folyamatra) fordított költségeket

0,160

0,615

0,120

0,106

0,291

0,784

0,201

0,260

0,690

 Finally,Azwe reached a 4-factor solution as a result of the analysis, where the KMO e-Learning rendszer sikeres. 0,464 0,528 0,243 0,274 = 0.886 and A rendszer működése gyors (információ hozzáférési sebesség). 0,187 0,230 the explained variance is 64.22%. The names of the factors 0,126 are the0,366 following: A közzé tett információk szorosan kapcsolódnak a kurzus témájához.

 FACTOR1: Quality of the service

A kurzusban pontosan azokat az információk találhatók, melyek szorosan kapcsolódnak

a tárgyhoz  FACTOR2: Efficiency of the system

0,109

A kurzus tartalma folyamatosan aktualizált, frissített.

0,517

0,612

0,446

0,573

 FACTOR3: Quality the online material A szükséges információk mindigof a megfelelő időben rendelkezésre állnak. A kurzus elegendő információt biztosít tárgy system elsajátításához  FACTOR4: Usability of athe Az e-Learning rendszer megfelelő szintű on-line segítséget, használati útmutatót biztosít.

0,422

0,105

0,561

0,401

0,260

0,434

0,343

0,301

0,388

0,229

0,195

0,125

0,850

A rendszer folyamatosan elérhető (rendelkezésre áll)

2016.05.07 Felhasználóbarát.

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT 0,407

12

Binominal logistic regression  We used logistic regression based on the results of the factor analysis. Our aim was to determine the importance of a given factor for the users of the CUB compared to the FEB.  If the given variable is significant, it supports the model. It is obvious that FACTOR1, FACTOR2 and FACTOR3 contributes to the model, while FACTOR4 does not.  The Exp(B) indicates how each variables correct the estimation.

 FACTOR1 corrects the estimation the most (Exp(B)=2.135) with 113.5%, while FACTOR2 corrects it with 68.3%. FACTOR3 worsens the estimation with 44.9%, which means that according to the CUB users the first factor is twice, while the second factor is 1.683 times more important than according to the FEB.

Wald-statistic B

S.E.

Wald

df

Sig.

Exp(B)

95,0% C.I.for EXP(B)

Lower Step 1(a)

2016.05.07

Upper

FAKTOR1

.759

.105

52.118

1

.000

2.135

1.738

2.624

FAKTOR2

.521

.102

26.021

1

.000

1.683

1.378

2.056

FAKTOR3

-.596

.104

32.805

1

.000

.551

.449

.676

FAKTOR4

-.115

.087

1.748

1

.186

.891

.751

1.057

Constant

-.108

.087

1.549

1

.213

.898

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT

13

Conclusions

 We found significant differences between the CUB’s and the FEB’s application as well as between the students’ and the lecturers’ evaluation by performing a t-test.

 We determined that relying on the result, it is more effective and better in quality to operate the e-Learning system under organized circumstances.  We have created 4 factors from the 27 variables by factor analysis and we performed logistic regression on them. Our result was that according to the CUB users the quality of the service is more than twice as good, while the efficiency of the system is 1.683 times as more important than according to the FEB users.

2016.05.07

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT

14

Peter Lengyel István Füzesi János Pancsira Gergely Ráthonyi

University of Debrecen

2016.05.07

EBEEC 2016 - 8TH INTERNATIONAL CONFERENCE -SPLIT

15