Promedio de precision por clase y desviacion estandar
FKI Method Wavelets Method Simplified Wavelets Method
Clase (Media) (Des. Est) (Media) (Des. Est) (Media) (Des. Est)
\(0\dots 9\) (0.77) (0.1369) (0.89) (0.099) (0.938) (0.0677)
\(A\dots Z\) (0.78) (0.1563) (0.93) (0.094) (0.886) (0.1819)
\(a\dots z\) (0.67) (0.1930) (0.88) (0.113) (0.861) (0.1346)

In order to determine significant differences between results obtained with the methods discussed, the rank of each method are calculated as follows \cite{demvsar2006statistical}: For each data set, the method with the best accuracy receives rank 1, and the worst receives rank 3. If there is a tie, the ranks are shared. For each method, there are 10 rank values, one for each set. Thus the overall rank of a method is the averaged rank of this method across the data set used. These ranks are shown in last row of the Table \ref{performance}

\label{performance}Performance on data set measured using averange Accuracy
Data set FKI Wavelets Simplified Wavelets
\(CD_{1}\) 0.519(3) 0.750(1) 0.740(2)
\(CD_{2}\) 0.516(3) 0.751(2) 0.752(1)
\(CD_{3}\) 0.527(3) 0.750(1) 0.714(2)
\(CD_{4}\) 0.499(3) 0.740(2) 0.741(1)
\(CD_{5}\) 0.515(3) 0.773(1) 0.755(2)
\(CD_{6}\) 0.526(3) 0.748(1) 0.740(2)
\(CD_{7}\) 0.501(3) 0.757(1) 0.740(2)
\(CD_{8}\) 0.490(3) 0.764(1) 0.745(2)
\(CD_{9}\) 0.532(3) 0.740(2) 0.765(1)
\(CD_{10}\) 0.484(3) 0.740(2) 0.742(1)
Average accuracy 0.463 0.751 0.74

From the results given in Table \ref{performance}, es claro que al utilizar el metodo Wavelets tiene una mejor precision. Por otro lado el metodo propuesto tiene una mejor precision que las features FKI, y con una precision semejante al de Wavelts, con la observacion que el numero de atributos disminuye considerablemente con los metodos analizados.

To complete the analysis of statistical significance between the results, the Namenyi test was used \(q_{\alpha}*\sqrt{{K(K+1)}/{6*N}}\).The test obtains a critical difference (CD) to reject the assumptions on which the corresponding \(p\) value is less than the adjusted \(\alpha\), the equation used is as follows an \cite{garcia2008extension}:

where, \(q\) is the DC value, \(K\) is the number of methods to compare and \(N\) is the number of training set used. For this calculation, \(q_{a}\) is based on the statistical range of Studentized divided by \(\sqrt{2}\), this can be seen in Table \ref{Tabla-IV}.

\label{Tabla-IV}Critical values for Nemenyitest
Method 2 3 4 5 6 7
\(q_{0.05}\) 1.960 2.343 2.569 2.728 2.850 2.949
\(q_{0.10}\) 1.645 2.052 2.291 2.459 2.589 2.693

Por lo expuesto previamente y debido a que In this paper we compare three feature selection methods and analize their behavior on three different classes; the corresponding value for \(q_{0.05}\) is 2.343 and for \(q_{0.10}\) is 2.052.

Figure \ref{rank} show the overall rank obtained by each method.

\label{rank}Rank obtained by each method
Data set FKI Wavelets Simplified Wavelets
\(DS_{1}\) 0.519(3) 0.750(1) 0.740(2)
\(DS_{2}\) 0.516(3) 0.751(2) 0.752(1)
\(DS_{3}\) 0.527(3) 0.750(1) 0.714(2)
\(DS_{4}\) 0.499(3) 0.740(2) 0.741(1)
\(DS_{5}\) 0.515(3) 0.773(1) 0.755(2)
\(DS_{6}\) 0.526(3) 0.748(1) 0.740(2)
\(DS_{7}\) 0.501(3) 0.757(1) 0.740(2)
\(DS_{8}\) 0.490(3) 0.764(1) 0.745(2)
\(DS_{9}\) 0.532(3) 0.740(2) 0.765(1)
\(DS_{10}\) 0.484(3) 0.740(2) 0.742(1)
Average Rank 3 1.4 1.6

To interpret the results shown in Figure \ref{rank}, it is stated that a particular method \(A\) is significantly different than \(B\), if the general rank \((A)+CD<rankGeneral(B)\).

\label{critical}Data Critical
\(q_{0.5}\) \(q_{0.10}\)
critical difference 1.913 1.675

Donde el rank mas alto es el del metodo Wavelets y el rank mas bajo es el del metodo FKI. Entonces \(1.4\)(rank wavelets) \(+1.913(CD_{0.5})<3\)(rank FKI), por lo que 3.313 no es menor a 3, entonces el metodo wavelets no tiene una significancia estadistica con respcto al metodo FKI, y como el metodo FKI con el rank mas bajo, el metodo propuesto se encuentra en medio de los dos, por lo que el metodo wavelets no tiene una significancia estadistica con respecto al metodo propuesto, por lo que no se puede considerar, el metodo wavelets como el mejor.

Los resultados expuestos para el agoritmo propuesto reflejaron una mayor precision con respecto al metodo FKI y competitiva con el metodo de wavelets.

Processing time

En la tabla \ref{Tabla-3} se realiza una comparacion de cada uno de los metodos analizados, con respecto al numero de atributos que tiene cada metodo, el numero de clases, numero de patrones y tiempo de ejecucion al ser clasificados por el vecino mas cercano.

\label{Tabla-3}Comparacion de los metodos de extraccion de caracteristicas
Method Número de atributos Número de clases Número de patrones tiempo de ejecución(seg.)
FKI 1082 62 3250 1573.63
Wavelet method 3653 62 3250 5183.59
Simplified Wavelet method 915 62 3250 1313.74

Como se muestra en la tabla \ref{Tabla-3} el metodo propuesto al tener menos atributos en el vector de caracteristicas consume menos tiempo de ejecucion en comparacion a los otros dos métodos al ser clasificado con el vecino mas cercano