Los \u00e1rboles CART fueron introducidos en 1984 y el algoritmo se caracteriza por el despliegue de una serie de preguntas y respuestas para determinar cual ser\u00e1 la siguiente pregunta. Los principales componentes de estos \u00e1rboles son:\u00a0<\/p>\n\n\n\n
- Las reglas para determinar la divisi\u00f3n de los datos para cada nodo<\/li>
- Las reglas para determinar donde termina una rama<\/li>
- Predicci\u00f3n del valor objetivo en cada nodo terminal<\/li><\/ol>\n\n\n\n
Las principales ventajas de los \u00e1rboles CART son:<\/p>\n\n\n\n
- Es un modelo no param\u00e9trico por lo que no depende del tipo de distribuci\u00f3n a la que pertenecen los datos.<\/li>
- No son directamente impactados por valores fuera de rango o valores at\u00edpicos.<\/li>
- Incorpora tanto datos de entrenamiento como de prueba y una validaci\u00f3n cruzada para evaluar la bondad del ajuste<\/li><\/ul>\n\n\n\n
Con todo esto, un \u00e1rbol de decisi\u00f3n es una representaci\u00f3n gr\u00e1fica de todas las posibles soluciones para ayudar a tomar una decisi\u00f3n. La intuici\u00f3n b\u00e1sica detr\u00e1s de este tipo de \u00e1rboles es dividir un gran conjunto de datos en subconjuntos m\u00e1s peque\u00f1os bajo ciertas reglas hasta obtener un conjunto de datos lo bastante peque\u00f1o para establecer una simple etiqueta.<\/p>\n\n\n\n
Cada caracter\u00edstica que permite hacer la divisi\u00f3n se denota por un nodo del \u00e1rbol mientras que las ramas representan las posibles decisiones. El resultado de la decisi\u00f3n, est\u00e1 indicado en un nodo hoja sin ramas.<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.jacobsoft.com.mx\/wp-content\/uploads\/2018\/10\/decision_tree_example.png\")
<\/figure><\/div>\n\n\n\nEn la imagen anterior vemos un modelo de \u00e1rbol de decisi\u00f3n en donde negociamos con un problema de clasificaci\u00f3n binaria, aunque en muchos casos podemos tener \u00e1rboles de decisi\u00f3n para m\u00faltiples clases. En el ejemplo anterior tenemos s\u00f3lo dos opciones de decisi\u00f3n, aceptar o declinar la oferta de trabajo. La rama a seleccionar es aquella que nos proporciona la mayor cantidad de informaci\u00f3n para disminuir el grado de aleatoriedad en nuestra decisi\u00f3n.\u00a0<\/p>\n\n\n\n
Finalmente, la divisi\u00f3n de los datos se hace con la intenci\u00f3n de minimizar la entrop\u00eda y maximizar los grupos de datos.<\/p>\n\n\n\n
\u00c1rboles de Decisi\u00f3n con Python<\/h2>\n\n\n\n
Para el ejemplo, utilizamos un archivo de datos con informaci\u00f3n sobre los clientes que han comprado o no en l\u00ednea. Si compro el valor de la variable dependiente es 1 y si no compro, el valor es 0. Los datos en la variable independientes son el g\u00e9nero, la edad y el salario estimado.<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.jacobsoft.com.mx\/wp-content\/uploads\/2018\/10\/Compras_en_linea.png\")
<\/figure>\n\n\n\nUtilizaremos la edad y el salario estimado para crear un \u00e1rbol de clasificaci\u00f3n con las etiquetas de compr\u00f3 (1) o no compr\u00f3 (0) y con ello poder clasificar registros nuevos. Para ello creamos el \u00e1rbol con un conjunto de datos que llamamos, el conjunto de entrenamiento.<\/p>\n\n\n\n\n
# Clasifiaci\u00f3n con \u00c1rboles de Decisi\u00f3n<\/span>\n\n# Importacion de librerias<\/span>\nimport<\/span> numpy as<\/span> np\nimport<\/span> matplotlib.pyplot as<\/span> plt\nimport<\/span> pandas as<\/span> pd\n\n# Importacion del dataset<\/span>\ndataset = pd.read_csv('Compras_en_Linea.csv<\/span>')\nX = dataset.iloc[:, [2<\/span>, 3<\/span>]].values\ny = dataset.iloc[:, 4<\/span>].values\n\n# Division del conjunto de datos en datos de entrenamiento\n# y datos de prueba<\/span>\nfrom<\/span> sklearn.cross_validation import<\/span> train_test_split\nX_train, X_test, y_train, y_test = train_test_split(X, \n y, \n test_size = 0.25<\/span>, \n random_state = 0<\/span>)\n\n# Ajuste de escalas<\/span>\nfrom<\/span> sklearn.preprocessing import<\/span> StandardScaler\nsc = StandardScaler()\nX_train = sc.fit_transform(X_train)\nX_test = sc.transform(X_test)\n\n\n\n# Creamos el \u00c1rbol de Decisi\u00f3n para Classificaci\u00f3n y lo entrenamos<\/span>\nfrom<\/span> sklearn.tree import<\/span> DecisionTreeClassifier\nclassifier = DecisionTreeClassifier(criterion = 'entropy<\/span>', random_state = 0<\/span>)\nclassifier.fit(X_train, y_train)\n<\/pre>\n\n\n\nAl ejecutar este fragmento de c\u00f3digo estamos cargando el conjunto de datos con 400 registros de clientes de los cuales, el 25% se utilizar\u00e1 para probar el modelo y el 75% (300 registros) para el entrenamiento o crear el \u00e1rbol bajo los criterios de la edad y el salario estimado (columnas 2 y 3).<\/p>\n\n\n\n\n
\nimport<\/span> pydotplus\nfrom<\/span> sklearn.tree \nimport<\/span> export_graphviz\ndot_data = export_graphviz(classifier, out_file=None, filled=True, feature_names=['Edad', 'Salario'])\ngraph = pydotplus.graph_from_dot_data(dot_data)\ngraph.write_pdf('tree.pdf')\n<\/pre>\n\n\n\n![\"\"](\"https:\/\/www.jacobsoft.com.mx\/wp-content\/uploads\/2018\/10\/arbol_sin_escalas.png\")
<\/figure><\/div>\n\n\n\nDado el tama\u00f1o del conjunto de datos de entrenamiento, el \u00e1rbol es demasiado grande, pero al ver la imagen con detalle, observamos que cada hoja o nodo final tiene un valor de entrop\u00eda igual a cero. En el mismo nodo nos muestra la cantidad de registros que cumplen el criterio.<\/p>\n\n\n\n
Si ahora ajustamos el \u00e1rbol para los 100 registros del conjunto de pruebas, el gr\u00e1fico resultante es m\u00e1s peque\u00f1o y se puede apreciar mejor.<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.jacobsoft.com.mx\/wp-content\/uploads\/2018\/10\/arbol_test.png\")
<\/figure><\/div>\n\n\n\nEn el nodo final ubicado del lado derecho en el tercer nivel, dice entrop\u00eda = 0, muestras = 13 y value = [0, 13] es un nodo de color azul que indica que los clientes de edad mayor a 42.5 y salario mayor a 84.5 si compran.<\/p>\n\n\n\n
Ahora si hacemos la predicci\u00f3n para el conjunto de pruebas y checmos la matriz de confusi\u00f3n, tenemos:<\/p>\n\n\n\n\n
# Predicting the Test set results<\/span>\ny_pred = classifier.predict(X_test)\n\n# Making the Confusion Matrix<\/span>\nfrom<\/span> sklearn.metrics import<\/span> confusion_matrix\ncm = confusion_matrix(y_test, y_pred)\n<\/pre>\n\n\n\n![\"\"](\"https:\/\/www.jacobsoft.com.mx\/wp-content\/uploads\/2018\/10\/arbol_decision_matriz_confusion.png\")
<\/figure><\/div>\n\n\n\nObservamos que de 100 registros del conjunto de pruebas, hay 9 errores, es decir, 3 elementos que debieron clasificarse con 1 se clasificaron con 0, estos representan los falsos positivos. 6 registros se clasificaron con 1 y debieron clasificarse con 0, estos \u00faltimos representan los falsos negativos.\u00a0<\/p>\n\n\n\n
Esto implica que la precisi\u00f3n del modelo es del 0.91, es decir 91% mucho mejor a la que result\u00f3 con el mismo conjunto de pruebas, la regresi\u00f3n log\u00edstica<\/a> del art\u00edculo anterior.<\/p>\n\n\n\n
![\"\"](\"https:\/\/www.jacobsoft.com.mx\/wp-content\/uploads\/2018\/10\/decision_tree_graph.png\")
<\/figure><\/div>\n\n\n\nLa gr\u00e1fica anterior se crea para el conjunto de pruebas y en ella vemos las fronteras de decisi\u00f3n para los datos, la zona verde es para los clientes que si compran y la zona roja para aquellos que no.<\/p>\n