

> EncuestaTotal <- read.table("I:/Investigacion_Congre/Evaluacin de la precisin del mtodo de medida/EncuestaClasificacin/data/DatosEncuestaR.csv", header=TRUE, sep=";", na.strings="NAN", dec=",", strip.white=TRUE)

> ## Anlisis Kappa de la encuesta global de cada rplica de datos

> print("**** Anlisis Kappa de la encuesta global de cada rplica de datos ***")
[1] "**** Anlisis Kappa de la encuesta global de cada rplica de datos ***"

> print("*Anlisis Kappa de la encuesta DMSII todos los encuestados***")
[1] "*Anlisis Kappa de la encuesta DMSII todos los encuestados***"

> DMSII_S234 <- subset(EncuestaTotal, select=c(evd1,evd10,evd11,evd2,evd3,evd4,evd5,evd6,evd7,evd8,evd9))

> kappam.fleiss(DMSII_S234,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 6 
   Raters = 11 
    Kappa = 0.676 

        z = 27.4 
  p-value = 0 

   Kappa      z p.value
1  1.000 18.166   0.000
2  0.572 10.395   0.000
3  0.193  3.501   0.000
4  0.782 14.202   0.000
5  1.000 18.166   0.000
6  0.505  9.174   0.000

> print("*Anlisis Kappa de la encuesta DMSII slo los que reconocen tener conocimientos avanzados***")
[1] "*Anlisis Kappa de la encuesta DMSII slo los que reconocen tener conocimientos avanzados***"

> DMSII_EXP_S234 <- subset(EncuestaTotal, select=c(evd1,evd10,evd2,evd3,evd4,evd5,evd7,evd8,evd9))

> kappam.fleiss(DMSII_EXP_S234,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 6 
   Raters = 9 
    Kappa = 0.722 

        z = 23.7 
  p-value = 0 

   Kappa      z p.value
1  1.000 14.697   0.000
2  0.662  9.737   0.000
3  0.233  3.429   0.001
4  1.000 14.697   0.000
5  1.000 14.697   0.000
6  0.413  6.070   0.000

> print("*Anlisis Kappa de la encuesta GIRO todos los encuestados ***")
[1] "*Anlisis Kappa de la encuesta GIRO todos los encuestados ***"

> GIRO_S234 <- subset(EncuestaTotal, select=c(evg1,evg2,evg3,evg4,evg5,evg6,evg7,evg8,evg9))

> kappam.fleiss(GIRO_S234,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 6 
   Raters = 9 
    Kappa = 0.75 

        z = 24.6 
  p-value = 0 

   Kappa      z p.value
1  1.000 14.697   0.000
2  0.596  8.766   0.000
3  0.662  9.737   0.000
4  0.500  7.348   0.000
5  1.000 14.697   0.000
6  0.733 10.778   0.000

> print("*Anlisis Kappa de la encuesta GIRO slo los que reconocen conocimientos avanzados ***")
[1] "*Anlisis Kappa de la encuesta GIRO slo los que reconocen conocimientos avanzados ***"

> GIRO_EXP_S234 <- subset(EncuestaTotal, select=c(evg2,evg7,evg9))

> kappam.fleiss(GIRO_EXP_S234,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 14 
   Raters = 3 
    Kappa = 0.855 

        z = 12.1 
  p-value = 0 

   Kappa      z p.value
1  1.000  6.481   0.000
2  1.000  6.481   0.000
3  0.869  5.630   0.000
4  0.611  3.960   0.000
5  1.000  6.481   0.000
6  1.000  6.481   0.000
7 -0.050 -0.324   0.746

> print("**** Anlisis Kappa Opinin expertos vs algoritmo ***")
[1] "**** Anlisis Kappa Opinin expertos vs algoritmo ***"

> AUTOMATICOVSHUMANO <- subset(EncuestaTotal, select=c(evaut,evmoda))

> kappam.fleiss(AUTOMATICOVSHUMANO,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 24 
   Raters = 2 
    Kappa = 1 

        z = 10.1 
  p-value = 0 

  Kappa     z p.value
1 1.000 4.899   0.000
2 1.000 4.899   0.000
3 1.000 4.899   0.000
4 1.000 4.899   0.000
5 1.000 4.899   0.000
6 1.000 4.899   0.000

> ## Analisis Kappa detallado por secciones de la rplca DMSII

> print("**** Anlisis Kappa de la seccin 2 de DMSII todos los encuestados***")
[1] "**** Anlisis Kappa de la seccin 2 de DMSII todos los encuestados***"

> DMSII_S2 <- subset(EncuestaTotal, subset=Seccion==2, select=c(evd1,evd10,evd11,evd2,evd3,evd4,evd5,evd6,evd7,evd8,evd9))

> kappam.fleiss(DMSII_S2,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 6 
   Raters = 11 
    Kappa = 0.676 

        z = 27.4 
  p-value = 0 

   Kappa      z p.value
1  1.000 18.166   0.000
2  0.572 10.395   0.000
3  0.193  3.501   0.000
4  0.782 14.202   0.000
5  1.000 18.166   0.000
6  0.505  9.174   0.000

> print("**** Anlisis Kappa de la seccin 2 de DMSII slo los que reconocen tener conocimientos avanzados**")
[1] "**** Anlisis Kappa de la seccin 2 de DMSII slo los que reconocen tener conocimientos avanzados**"

> DMSII_EXP_S2 <- subset(EncuestaTotal, subset=Seccion==2, select=c(evd1,evd10,evd2,evd3,evd4,evd5,evd7,evd8,evd9))

> kappam.fleiss(DMSII_EXP_S2,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 6 
   Raters = 9 
    Kappa = 0.722 

        z = 23.7 
  p-value = 0 

   Kappa      z p.value
1  1.000 14.697   0.000
2  0.662  9.737   0.000
3  0.233  3.429   0.001
4  1.000 14.697   0.000
5  1.000 14.697   0.000
6  0.413  6.070   0.000

> print("**** Anlisis Kappa de la seccin 31 de DMSII todos los encuestados***")
[1] "**** Anlisis Kappa de la seccin 31 de DMSII todos los encuestados***"

> DMSII_S31 <- subset(EncuestaTotal, subset=Seccion==31, select=c(evd1,evd10,evd11,evd2,evd3,evd4,evd5,evd6,evd7,evd8))

> kappam.fleiss(DMSII_S31,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 4 
   Raters = 10 
    Kappa = 0.332 

        z = 7.85 
  p-value = 4.22e-15 

   Kappa      z p.value
2  0.603  8.092   0.000
3  0.429  5.753   0.000
4  0.141  1.888   0.059
6  0.085  1.140   0.254
7 -0.026 -0.344   0.731

> print("**** Anlisis Kappa de la seccin 31 de DMSII slo los que reconocen tener conocimientos avanzados*****")
[1] "**** Anlisis Kappa de la seccin 31 de DMSII slo los que reconocen tener conocimientos avanzados*****"

> DMSII_EXP_S31 <- subset(EncuestaTotal, subset=Seccion==31, select=c(evd1,evd10,evd2,evd3,evd4,evd5,evd7,evd8))

> kappam.fleiss(DMSII_EXP_S31,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 4 
   Raters = 8 
    Kappa = 0.412 

        z = 7.64 
  p-value = 2.22e-14 

   Kappa      z p.value
2  0.543  5.745   0.000
3  0.667  7.055   0.000
4  0.139  1.468   0.142
6  0.347  3.672   0.000
7 -0.032 -0.341   0.733

> print("**** Anlisis Kappa de la seccin 32 de DMSII todos los encuestados***")
[1] "**** Anlisis Kappa de la seccin 32 de DMSII todos los encuestados***"

> DMSII_S32 <- subset(EncuestaTotal, subset=Seccion==32, select=c(evd1,evd10,evd11,evd2,evd3,evd4,evd5,evd6,evd7,evd8))

> kappam.fleiss(DMSII_S32,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 4 
   Raters = 10 
    Kappa = 0.252 

        z = 6.32 
  p-value = 2.68e-10 

   Kappa      z p.value
1  0.064  0.863   0.388
2  0.485  6.500   0.000
3  0.339  4.543   0.000
4  0.124  1.662   0.097
6  0.010  0.128   0.898
7 -0.026 -0.344   0.731

> print("**** Anlisis Kappa de la seccin 32 de DMSII slo los que reconocen tener conocimientos avanzados*****")
[1] "**** Anlisis Kappa de la seccin 32 de DMSII slo los que reconocen tener conocimientos avanzados*****"

> DMSII_EXP_S32 <- subset(EncuestaTotal, subset=Seccion==32, select=c(evd1,evd10,evd2,evd3,evd4,evd5,evd7,evd8))

> kappam.fleiss(DMSII_EXP_S32,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 4 
   Raters = 8 
    Kappa = 0.3 

        z = 5.96 
  p-value = 2.58e-09 

   Kappa      z p.value
1  0.086  0.907   0.364
2  0.404  4.273   0.000
3  0.536  5.675   0.000
4  0.095  1.008   0.313
6  0.212  2.242   0.025
7 -0.032 -0.341   0.733

> print("**** Anlisis Kappa de la seccin 4 de DMSII todos los encuestados***")
[1] "**** Anlisis Kappa de la seccin 4 de DMSII todos los encuestados***"

> DMSII_S4 <- subset(EncuestaTotal, subset=Seccion==4, select=c(evd1,evd10,evd2,evd4,evd5,evd6,evd7,evd8))

> kappam.fleiss(DMSII_S4,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 10 
   Raters = 8 
    Kappa = 0.329 

        z = 11.4 
  p-value = 0 

   Kappa      z p.value
1 -0.013 -0.212   0.832
2  0.405  6.773   0.000
3  0.208  3.487   0.000
4  0.085  1.418   0.156
5  0.844 14.119   0.000
6  0.023  0.377   0.706
7 -0.006 -0.108   0.914

> print("**** Anlisis Kappa de la seccin 4 de DMSII slo los que reconocen tener conocimientos avanzados****")
[1] "**** Anlisis Kappa de la seccin 4 de DMSII slo los que reconocen tener conocimientos avanzados****"

> DMSII_EXP_S4 <- subset(EncuestaTotal, subset=Seccion==4, select=c(evd1,evd10,evd2,evd4,evd5,evd7,evd8))

> kappam.fleiss(DMSII_EXP_S4,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 10 
   Raters = 7 
    Kappa = 0.364 

        z = 10.4 
  p-value = 0 

   Kappa      z p.value
1 -0.014 -0.210   0.834
2  0.482  6.984   0.000
3  0.256  3.709   0.000
4  0.028  0.403   0.687
5  0.821 11.904   0.000
6  0.071  1.033   0.301
7 -0.045 -0.649   0.516

> ## Analisis Kappa detallado por secciones de la rplca GIRO

> print("**** Anlisis Kappa de la seccin 2 de GIRO todos los encuestados ***")
[1] "**** Anlisis Kappa de la seccin 2 de GIRO todos los encuestados ***"

> GIRO_S2 <- subset(EncuestaTotal, subset=Seccion==2, select=c(evg1,evg2,evg3,evg4,evg5,evg6,evg7,evg8,evg9))

> kappam.fleiss(GIRO_S2,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 6 
   Raters = 9 
    Kappa = 0.75 

        z = 24.6 
  p-value = 0 

   Kappa      z p.value
1  1.000 14.697   0.000
2  0.596  8.766   0.000
3  0.662  9.737   0.000
4  0.500  7.348   0.000
5  1.000 14.697   0.000
6  0.733 10.778   0.000

> print("**** Anlisis Kappa de la seccin 2 de GIRO slo los que tienen conocimientos avanzados***")
[1] "**** Anlisis Kappa de la seccin 2 de GIRO slo los que tienen conocimientos avanzados***"

> GIRO_EXP_S2 <- subset(EncuestaTotal, subset=Seccion==2, select=c(evg2,evg7,evg8,evg9))

> kappam.fleiss(GIRO_EXP_S2,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 6 
   Raters = 4 
    Kappa = 1 

        z = 13.4 
  p-value = 0 

  Kappa z p.value
1     1 6       0
2     1 6       0
3     1 6       0
4     1 6       0
5     1 6       0
6     1 6       0

> print("**** Anlisis Kappa de la seccin 31 de GIRO todos los encuestados***")
[1] "**** Anlisis Kappa de la seccin 31 de GIRO todos los encuestados***"

> GIRO_S31 <- subset(EncuestaTotal, subset=Seccion==31, select=c(evg1,evg2,evg4,evg5,evg6,evg7,evg8,evg9))

> kappam.fleiss(GIRO_S31,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 4 
   Raters = 8 
    Kappa = 0.288 

        z = 5.9 
  p-value = 3.65e-09 

   Kappa      z p.value
1 -0.032 -0.341   0.733
2  0.295  3.119   0.002
3  0.504  5.330   0.000
4 -0.050 -0.526   0.599
6  0.460  4.865   0.000
7 -0.067 -0.706   0.480

> print("**** Anlisis Kappa de la seccin 31 de GIRO slo los que tienen conocimientos avanzados***")
[1] "**** Anlisis Kappa de la seccin 31 de GIRO slo los que tienen conocimientos avanzados***"

> GIRO_EXP_S31 <- subset(EncuestaTotal, subset=Seccion==31, select=c(evg2,evg7,evg8,evg9))

> kappam.fleiss(GIRO_EXP_S31,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 4 
   Raters = 4 
    Kappa = 0.573 

        z = 5.55 
  p-value = 2.84e-08 

   Kappa      z p.value
1 -0.067 -0.327   0.744
2  1.000  4.899   0.000
3  0.709  3.474   0.001
4  0.238  1.166   0.243
6  0.590  2.889   0.004
7 -0.067 -0.327   0.744

> print("**** Anlisis Kappa de la seccin 32 de GIRO todos los encuestados***")
[1] "**** Anlisis Kappa de la seccin 32 de GIRO todos los encuestados***"

> GIRO_S32 <- subset(EncuestaTotal, subset=Seccion==32, select=c(evg1,evg2,evg4,evg5,evg6,evg7,evg8,evg9))

> kappam.fleiss(GIRO_S32,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 4 
   Raters = 8 
    Kappa = 0.41 

        z = 8.51 
  p-value = 0 

   Kappa      z p.value
1  0.086  0.907   0.364
2  0.355  3.760   0.000
3  1.000 10.583   0.000
4  0.190  2.016   0.044
6  0.242  2.566   0.010
7 -0.032 -0.341   0.733

> print("**** Anlisis Kappa de la seccin 32 de GIRO slo los que tienen conocimientos avanzados***")
[1] "**** Anlisis Kappa de la seccin 32 de GIRO slo los que tienen conocimientos avanzados***"

> GIRO_EXP_S32 <- subset(EncuestaTotal, subset=Seccion==32, select=c(evg2,evg7,evg8,evg9))

> kappam.fleiss(GIRO_EXP_S32,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 4 
   Raters = 4 
    Kappa = 0.686 

        z = 6.82 
  p-value = 9.42e-12 

   Kappa      z p.value
1 -0.067 -0.327   0.744
2  1.000  4.899   0.000
3  1.000  4.899   0.000
4  0.590  2.889   0.004
6  0.590  2.889   0.004
7 -0.067 -0.327   0.744

> print("**** Anlisis Kappa de la seccin 4 de GIRO todos los encuestados ***")
[1] "**** Anlisis Kappa de la seccin 4 de GIRO todos los encuestados ***"

> GIRO_S4 <- subset(EncuestaTotal, subset=Seccion==4, select=c(evg2,evg5,evg6,evg7,evg8))

> kappam.fleiss(GIRO_S4,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 10 
   Raters = 5 
    Kappa = 0.269 

        z = 5.62 
  p-value = 1.94e-08 

   Kappa      z p.value
2  0.592  5.921   0.000
3  0.049  0.489   0.625
4  0.287  2.873   0.004
5  0.702  7.024   0.000
6  0.049  0.489   0.625
7 -0.224 -2.238   0.025

> print("**** Anlisis Kappa de la seccin 4 de GIRO slo los que tienen conocimientos avanzados***")
[1] "**** Anlisis Kappa de la seccin 4 de GIRO slo los que tienen conocimientos avanzados***"

> GIRO_EXP_S4 <- subset(EncuestaTotal, subset=Seccion==4, select=c(evg2,evg7,evg8))

> kappam.fleiss(GIRO_EXP_S4,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 10 
   Raters = 3 
    Kappa = 0.693 

        z = 7.02 
  p-value = 2.17e-12 

   Kappa      z p.value
2  1.000  5.477   0.000
3  0.135  0.737   0.461
4  0.683  3.738   0.000
5  1.000  5.477   0.000
6 -0.034 -0.189   0.850
7 -0.034 -0.189   0.850

> ## Analisis Kappa detallado por secciones de la union de las dos rplicas DMSII y GIRO

> print("**** Anlisis Kappa de la seccin 2 de la union de las dos rplicas DMSII y GIRO todos los encuestados***")
[1] "**** Anlisis Kappa de la seccin 2 de la union de las dos rplicas DMSII y GIRO todos los encuestados***"

> DMSIIGIRO_S2 <- subset(EncuestaTotal, subset=Seccion==2, select=c(evd1,evd10,evd11,evd2,evd3,evd4,evd5,evd6,evd7,evd8,evd9,evg1,evg2,evg3,evg4,evg5,evg6,evg7,evg8,evg9))

> kappam.fleiss(DMSIIGIRO_S2,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 6 
   Raters = 20 
    Kappa = 0.706 

        z = 53.3 
  p-value = 0 

   Kappa      z p.value
1  1.000 33.764   0.000
2  0.596 20.116   0.000
3  0.377 12.737   0.000
4  0.665 22.462   0.000
5  1.000 33.764   0.000
6  0.608 20.540   0.000

> print("**** Anlisis Kappa de la seccin 2 de la union de las dos rplicas DMSII y GIRO slo con conocimientos avanzados***")
[1] "**** Anlisis Kappa de la seccin 2 de la union de las dos rplicas DMSII y GIRO slo con conocimientos avanzados***"

> DMSIIGIRO_EXP_S2 <- subset(EncuestaTotal, subset=Seccion==2, select=c(evd1,evd10,evd2,evd3,evd4,evd5,evd7,evd8,evd9,evg2,evg7,evg8,evg9))

> kappam.fleiss(DMSIIGIRO_EXP_S2,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 6 
   Raters = 13 
    Kappa = 0.79 

        z = 38.2 
  p-value = 0 

   Kappa      z p.value
1  1.000 21.633   0.000
2  0.753 16.297   0.000
3  0.400  8.653   0.000
4  1.000 21.633   0.000
5  1.000 21.633   0.000
6  0.573 12.401   0.000

> print("**** Anlisis Kappa de la seccin 3 de la union de las dos rplicas DMSII y GIRO todos los encuestados***")
[1] "**** Anlisis Kappa de la seccin 3 de la union de las dos rplicas DMSII y GIRO todos los encuestados***"

> DMSIIGIRO_S3 <- subset(EncuestaTotal, subset=Seccion==3, select=c(evd1,evd10,evd11,evd2,evd3,evd4,evd5,evd6,evd7,evd8,evg1,evg2,evg4,evg5,evg6,evg7,evg8,evg9))

> kappam.fleiss(DMSIIGIRO_S3,detail=TRUE)

> print("**** Anlisis Kappa de la seccin 3 de la union de las dos rplicas DMSII y GIRO slo con conocimientos avanzados***")
[1] "**** Anlisis Kappa de la seccin 3 de la union de las dos rplicas DMSII y GIRO slo con conocimientos avanzados***"

> DMSIIGIRO_EXP_S3 <- subset(EncuestaTotal, subset=Seccion==3, select=c(evd1,evd10,evd2,evd3,evd4,evd5,evd7,evd8,evg1,evg2,evg7,evg8,evg9))

> kappam.fleiss(DMSIIGIRO_EXP_S3,detail=TRUE)

> print("**** Anlisis Kappa de la seccin 4 de la union de las dos rplicas DMSII y GIRO todos los encuestados***")
[1] "**** Anlisis Kappa de la seccin 4 de la union de las dos rplicas DMSII y GIRO todos los encuestados***"

> DMSIIGIRO_S4 <- subset(EncuestaTotal, subset=Seccion==4, select=c(evd1,evd10,evd2,evd4,evd5,evd6,evd7,evd8,evg2,evg5,evg6,evg7,evg8))

> kappam.fleiss(DMSIIGIRO_S4,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 10 
   Raters = 13 
    Kappa = 0.327 

        z = 19.4 
  p-value = 0 

   Kappa      z p.value
1 -0.008 -0.216   0.829
2  0.479 13.369   0.000
3  0.183  5.117   0.000
4  0.167  4.655   0.000
5  0.804 22.458   0.000
6  0.090  2.509   0.012
7 -0.032 -0.887   0.375

> print("**** Anlisis Kappa de la seccin 4 de la union de las dos rplicas DMSII y GIRO slo con experiencia***")
[1] "**** Anlisis Kappa de la seccin 4 de la union de las dos rplicas DMSII y GIRO slo con experiencia***"

> DMSIIGIRO_EXP_S4 <- subset(EncuestaTotal, subset=Seccion==4, select=c(evd1,evd10,evd2,evd4,evd5,evd7,evd8,evg2,evg7,evg8))

> kappam.fleiss(DMSIIGIRO_EXP_S4,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 10 
   Raters = 10 
    Kappa = 0.449 

        z = 18.5 
  p-value = 0 

   Kappa      z p.value
1 -0.010 -0.214   0.830
2  0.602 12.764   0.000
3  0.262  5.564   0.000
4  0.203  4.306   0.000
5  0.875 18.562   0.000
6  0.132  2.799   0.005
7  0.016  0.344   0.731

> ## Anlisis Kappa de las entidades libres propuestas por los evaluadores

> print("**** Anlisis Kappa de las entidades libres propuestas por los evaluadores ***")
[1] "**** Anlisis Kappa de las entidades libres propuestas por los evaluadores ***"

> EntidadesEvaluadores <- read.table("I:/Investigacion_Congre/Evaluacin de la precisin del mtodo de medida/EncuestaClasificacin/data/EntidadesPropuestasR.csv", header=TRUE, sep=";", na.strings="NAN", dec=",", strip.white=TRUE)

> ELIBRES <- subset(EntidadesEvaluadores, select=c(EvAutomatica,EvHumana))

> kappam.fleiss(ELIBRES,detail=TRUE)
 Fleiss' Kappa for m Raters

 Subjects = 15 
   Raters = 2 
    Kappa = 0.656 

        z = 4.79 
  p-value = 1.69e-06 

   Kappa      z p.value
2  0.814  3.151   0.002
3  0.659  2.553   0.011
4  0.441  1.708   0.088
5  1.000  3.873   0.000
6 -0.071 -0.277   0.782


