Ir al contenido principal

Sobre de datos atípicos y anómalos en la información.

En el próximo ejercicio de minería de datos, vamos a identificar información que quizás nos parezca un tanto diferente, por ejemplo que existan ingresos extremos, ventas muy diferente a la media o mediana, utilizaciones del servicio muy cercanas a cero, estos datos son considerados como anómalos pero no necesariamente están malos, sin embargo los datos atípicos pueden  ser un problema a hora de modelar mis datos.  

Pero ante todo debemos debo claro que es dato anómalo o atípico,  ante lo cual existe mucha documentación estadística para definir estos puntos, pero en resumen y de una forma sencilla son un conjunto de información que se aleja de la mayoría de la población, o sea son valores cuyas características lo hacen muy diferente al resto del universo. 
Puede pasar que un valor atípico sea totalmente valedero y ser producto de una circunstancias atípicas por ejemplo si se estuviera midiendo el caudal de un río, pero de un momento a otro se desate una creciente en una época de verano, se consideraría como un valor verídico pero que se sale de los históricos.

Otro caso que origina un valor atípico es un error en la recolección o procesamiento de la información esto suele suceder en muchos casos en los cuales se requiere cruzar bases de datos en donde la estructura de los archivos cambia constantemente creando valores anómalos, otra caso se presenta es durante la recolección de la información, por ejemplo un encuestador puede omitir o entender mal la información que esta recolectando, ante estos problemas que se presentan, es importante crear filtros que permitan identificar fácilmente este tipo de errores y puedan ser corregidos de forma oportuna.



En otras ocasiones los valores atípicos cobran gran relevancia para una empresa por que permiten romper paradigmas e identificar nuevas tendencias en los datos, por ejemplo si la empresa de telecomunicaciones identifica un grupo de clientes con alto consumo de Internet puede enfocar una investigación de mercados para identificar las causas de este comportamiento para poder replicarlos en el resto de la población y así lograr que el consumo de Internet aumente.

Igualmente es imperiosamente necesario segmentar los datos para poder identificar grupos y no ir  a confundir con valores atípicos dentro de una misma población. Por ejemplo tememos unas ventas excesivamente altas pero al segmentarlos geográficamente vemos que estas altas ventas pertenecen a segmento de clientes empresariales, ante esto es necesario clasificar anticipadamente mi población y darle un tratamiento especial a cada grupo.


Cuando estamos segmentando es importante evitar tener categorías poco representativas o con una mínima cantidad de registros, esto es muy similar a la alegoría de construir un avión para trasportar una pulga, lo recomendable es ver en donde podemos re clasificar esta categoría  y volver a correr nuestro modelo.


Comentarios

Entradas populares de este blog

Items importantes para la construcción de Dashboard.

  A través de la elaboración de diversos reportes y del análisis de múltiples artículos que ofrecen recomendaciones sobre su construcción, he identificado una serie de pasos esenciales, los cuales se asemejan a los ingredientes de una receta para el éxito en la creación de dashboards. Definición de Roles Dependiendo del tamaño de la organización, algunos usuarios pueden cumplir más de un rol. En una organización más pequeña, una persona podría ser responsable de crear contenido y administrar el sistema. En organizaciones más grandes, puede haber departamentos enteros para cada Rol Para la elaboración de reportes efectivos, es fundamental iniciar con la definición de roles, asignando responsabilidades claras a cada miembro del equipo. Se recomienda la estandarización de colores y formatos, garantizando una apariencia uniforme en todos los gráficos y visualizaciones. Antes de comenzar, es crucial definir qué información se desea conocer y confirmar que se cuenta con los datos correct...

Un Gráfico de pastel para elecciones presidenciales 2010 en Colombia que no suma el 100%.

No se si este sumando mal pero a este grafico de pastel no le da el 100%; al parecer le falta un 8.4%. Y al parecer el 23.3% de Sanin ocupa más espacio en la torta que los demás candidatos. fuente: http://www.laopinion.com.co/noticias/index.php?option=com_content&task=view&id=347881&Itemid=31

LAS 8 ETAPAS PARA REALIZAR UNA INVESTIGACIÓN ESTADÍSTICA

Muchos profesionales de diferentes áreas se preguntan cuales son las etapas necesarias para implementar un apropiado estudio estadístico. El siguiente documento no pretende ser una guía estricta de los pasos necesarios para hacer un estudio, si no por el contrario es una guía sencilla y simple a la hora de hacer una investigación. 1. Definir la Problemática. Acá de define el porque es necesario realizar el análisis, lo cual es acompañado con la contextualización de los objetivos lo cual debe estar acompañado de cuales son las hipótesis que desean comprobar o rechazar paralelamente se podría plantear la estimación de los parámetros que se quiere llegar. Todo esto debe estar acompañado de un plan de presupuestos y el tiempo estimado para el cual se va a finalizar el estudio estadístico. 2. Limitación de la Población. En este paso se pretende dejar claro cual es la población objeto de estudio, sus limites y alcances, cabe anotar que es muy importante analizar la representabilidad d...