Cálculo de la entropía por método de frecuencias

Sea la siguiente tabla de reglas:

Atención al cliente	Productividad	Clasificación
A	B	Segunda
A	A	Primera
B	A	Segunda
B	B	Segunda

Calculando la entropía inicial:

Ei = -(3/4)log2((3/4) - (1/4)log2(1/4)

Calculando entropía de cada atributo por separado:

Tabla de frecuencias para el atributo Atención al cliente:

	A	B
Primera	1	0
Segunda	1	2
Suma	2	2	4

E1 = (-1log2(1) - 1log2(1) - 2log2(2) + 2log2(2) + 2log2(2)) / 4

Tabla de frecuencias para el atributo Productividad:

	A	B
Primera	1	0
Segunda	1	2
Suma	2	2	4

E2 = (-1log2(1) - 1log2(1) - 2log2(2) + 2log2(2) + 2log2(2)) / 4

Ganancia de información para Atención al cliente: G1 = Ei - E1

Ganancia de información para Productividad: G2 = Ei - E2

El atributo con la mayor ganancia es considerado como el raíz. En caso de empate, cualquiera de ellos puede ser considerado raíz.

Método de Coeficiente de Gini:

Calculamos primero el Gini inicial (de la tabla completa):
Gi = 1 - ((3/4)^2 + (1/4)^2)

Luego, utilizando las tablas de frecuencia respectivas, calculamos Gini para cada atributo por separado:

Gini de atención al cliente:
Nota = A --> (1^2 + 1^2) / 2 = 1
Nota = B --> (0^2 + 2^2) / 2 = 2
G1 = 1 - ((1 + 2) / 4) = 1 - 3/4 = 1/4

Gini de productividad:
Nota = A --> (1^2 + 1^2) / 2 = 1
Nota = B --> (0^2 + 2^2) / 2 = 2
G2 = 1 - ((1 + 2) / 4) = 1 - 3/4 = 1/4

Calculamos ahora, las reducciones del coeficiente de Gini:

Reducción en atención al cliente:
R1 = Gi - G1

Reducción en productividad:
R2 = Gi - G2

El atributo que presente la mayor reducción sera el escogido como raíz. En caso de que ambos presenten igual reducción, ambos pueden ser igualmente escogidos.