CONSULTORIA ESTADÍSTICA STATISTICAL CONSULTING

Simultáneamente cuando se esta identificando los datos anómalos, nos podemos dar cuenta que se necesita estructurar la base de datos, para que su lectura sea mucho mas eficiente, por ejemplo necesitaríamos segmentar aquellas registros atípicos ya identificados, clasificar las variables que cuentan unas características especiales, crear nuevos campos o registros, o cambiar el tipo de la variable y hacer transformaciones para que la información sea coherente. En este documento vamos a identificar los diferentes procedimientos que se pueden hacer para mejorar nuestra base de datos: Cambio de nombre en los campos:  Esta funcionalidad consiste en renombrar una variable o varios campos. El origen de hacer estas modificaciones es muy amplia, algunas de las causas son: que algunos programas de captura, solo soportan  8 caracteres, o que no existe espacio entre palabras del titulo, o que estén escritos de los encabezados estén en otro idioma.  También puede pasar que se este repitiendo

Buenas tardes les comparto un vídeo en donde se identifica de manera rápida aquellos puntos atípicos de una base de datos

En el próximo ejercicio de minería de datos, vamos a identificar información que quizás nos parezca un tanto diferente, por ejemplo que existan ingresos extremos, ventas muy diferente a la media o mediana, utilizaciones del servicio muy cercanas a cero, estos datos son considerados como anómalos pero no necesariamente están malos, sin embargo l os datos atípicos pueden  ser un problema a hora de modelar mis datos .   Pero ante todo debemos debo claro que es dato anómalo o atípico,  ante lo cual existe mucha documentación estadística para definir estos puntos, pero en resumen y de una forma sencilla son un conjunto de información que se aleja de la mayoría de la población , o sea son valores cuyas características lo hacen muy diferente al resto del universo.  Puede pasar que un valor atípico sea totalmente valedero y ser producto de una circunstancias atípicas por ejemplo si se estuviera midiendo el caudal de un río, pero de un momento a otro se desate una creciente en una épo

La primera opción que se considera cuando se presentan valores anómalos es eliminarlos, pero esta practica es poco recomendable sin antes contextualizar la realidad del estudio, por ejemplo estos datos nos pueden estar mostrando interesantes comportamientos  que en ultimas pueden ser documentados. Si, no se encuentra alguna relación entre estos datos y el estudio, se recomienda lo siguiente: Omitir los registros que presente valores perdidos. Omitir las variables que tiene tiene exceso de valores perdidos. Forzar a convertir estos valores dentro del rango de no atipicidad este puede ser dentro de las +- 3 desviaciones estándar con respecto a la media o (Q1,Q2 ) +- 1.5* IQR.  Pronosticar los valores anómalos analizando la estructura y la secuencia de los registros y variables. Reemplazar los valores anómalos por registros valederos, siempre y cuando la cantidad a cambiar sea pequeña. Acá les comparto un vídeo en donde se convierten  los datos  a rango valido (Opción 3).

Ya identificados los valores anómalos, existen diferentes métodos que permiten dar un tratamiento a la base de datos, en el siguiente vídeo se muestra la primera opción que es eliminar fácilmente  los registros que presenten datos atípicos o nulos.

Para cumplir los objetivos de un proyecto es muy importante tener definido los objetivos del estudio, los cuales deben estar alineados con la consecución de la información, cobrando relevancia la calidad  y el acceso de la data. En muchas ocasiones las mismas características que rodea a las bases de datos hacen que se pierdan y se cometan errores en los registros, desembocando en tener que identificar estas fallas, para ser  corregidas oportunamente, al tener una buena calidad de información vamos a tener una mayor precisión en el calculo de mis estadísticos, que a su vez va a dar como resultado un modelo mas útil al cumplimiento de los objetivos trazados inicialmente en el estudio.    No debemos sorprendernos al encontrar valores nulos, por ejemplo si medimos la variable salario en algunos campos probablemente vamos a identificar campos sin datos, lo importante es identificarlos, conocerlos y ver si existe alguna secuencia reiterativa de perdida de información, con esto ya identif

Les comparto otro vídeo sobre el manejo de SPSS MODELER, en donde se puede apreciar la forma en la cual se importa diferentes archivos tipo .XLS, TXT, y SAV.

Les dejo otro archivo introductorio donde se puede ver como se realiza la manipulación de los iconos en el lienzo de SPSS MODELER.

Les comparto un vídeo en donde se muestra la interfaz de usuario del programa de minería de datos Modeler. en donde se muestra y se explica los menús las diferentes pestañas que la componen.

Con el paso de cada segundo, la cantidad de información crece de forma exponencial, por ejemplo, durante el tiempo que usted ha leído este articulo, varias personas  han llamado a una central telefónica a registrar, actualizar y dejar nueva información sobre sus transacciones, todo esto se suma a la gran montaña de información que se esta acumulando desde hace años  la cual va cambiando segundo a segundo. Este crecimiento  de la data es tan solo comparable con la expansión acelerada del universo. Ante este panorama un poco desalentador para las empresas, se enfrentan al reto de poder almacenar de forma eficiente los datos, para luego poderlos administrar y tomar decisiones acertadas sobre el negocio.  La parte de Hardware y Software empiezan a ser muy relevantes para tener un control efectivo de la data, tener uno o varios servidores lo suficientemente robusto con la capacidad de almacenaje, procesamiento y eficiencia se convierte en un pilar fundamental a la hora de manejar dato