En el próximo ejercicio de minería de datos, vamos a identificar información que quizás nos parezca un tanto diferente, por ejemplo que existan ingresos extremos, ventas muy diferente a la media o mediana, utilizaciones del servicio muy cercanas a cero, estos datos son considerados como anómalos pero no necesariamente están malos, sin embargo los datos atípicos pueden ser un problema a hora de modelar mis datos.
Pero ante todo debemos debo claro que es dato anómalo o atípico, ante lo cual existe mucha documentación estadística para definir estos puntos, pero en resumen y de una forma sencilla son un conjunto de información que se aleja de la mayoría de la población, o sea son valores cuyas características lo hacen muy diferente al resto del universo.
Puede pasar que un valor atípico sea totalmente valedero y ser producto de una circunstancias atípicas por ejemplo si se estuviera midiendo el caudal de un río, pero de un momento a otro se desate una creciente en una época de verano, se consideraría como un valor verídico pero que se sale de los históricos.
Otro caso que origina un valor atípico es un error en la recolección o procesamiento de la información esto suele suceder en muchos casos en los cuales se requiere cruzar bases de datos en donde la estructura de los archivos cambia constantemente creando valores anómalos, otra caso se presenta es durante la recolección de la información, por ejemplo un encuestador puede omitir o entender mal la información que esta recolectando, ante estos problemas que se presentan, es importante crear filtros que permitan identificar fácilmente este tipo de errores y puedan ser corregidos de forma oportuna.
En otras ocasiones los valores atípicos cobran gran relevancia para una empresa por que permiten romper paradigmas e identificar nuevas tendencias en los datos, por ejemplo si la empresa de telecomunicaciones identifica un grupo de clientes con alto consumo de Internet puede enfocar una investigación de mercados para identificar las causas de este comportamiento para poder replicarlos en el resto de la población y así lograr que el consumo de Internet aumente.
Igualmente es imperiosamente necesario segmentar los datos para poder identificar grupos y no ir a confundir con valores atípicos dentro de una misma población. Por ejemplo tememos unas ventas excesivamente altas pero al segmentarlos geográficamente vemos que estas altas ventas pertenecen a segmento de clientes empresariales, ante esto es necesario clasificar anticipadamente mi población y darle un tratamiento especial a cada grupo.
Cuando estamos segmentando es importante evitar tener categorías poco representativas o con una mínima cantidad de registros, esto es muy similar a la alegoría de construir un avión para trasportar una pulga, lo recomendable es ver en donde podemos re clasificar esta categoría y volver a correr nuestro modelo.
Comentarios