Analytics

¿Qué es el Dark Data?

La consultora Gartner define el Dark Data como aquellos datos que las organizaciones usan y recolectan por ser necesario para el desarrollo de negocio, pero que no se analizan o monetizan. Estos datos permanecen ocultos (de ahí el nombre de Dark Data), pero es posible sacarlos a la luz y obtener un beneficio de su análisis.

¿Dónde reside el Dark Data en las empresas?

La mayor parte de estos datos ocultos provienen de orígenes que no solemos analizar (web corporativa, redes sociales, ficheros de log, datos de conexión a redes, maquinaria, etc.), pero también existen datos escondidos en nuestro sistemas principales como el CRM, el ERP o nuestro DataWarehouse.

El volumen de Dark Data según su origen
El volumen de Dark Data según su origen

Las empresas necesitan gestionar estos datos para poder realizar su negocio y en la mayoría de los casos los almacenan sólo por razones de compliance (cumplimiento de normativas).

En cuanto a que tipo de datos conforman este “mundo oscuro”, en su mayoría son datos desestructurados (no almacenados en fuentes con una estructura conocida como puede ser una tabla de una base de datos).

¿Qué volumen de Dark Data existe en mi organización y por qué permanece oculto?

En realidad, las empresas aprovechan sólo una pequeña parte de los datos de los que dispone. En el siguiente gráfico, conocido como Data-berg, puede observarse que casi un 90% de los datos permanecen ocultos:

Data-Berg, la imagen que nos muestra gráficamente el volumen del Dark Data
Data-Berg, la imagen que nos muestra gráficamente el volumen del Dark Data

De ese 88% oculto, una 23% es dato que no tiene valor para ser analizado y el resto (65%) se considera Dark Data.

Como veis también en el Data-berg, podríamos clasificar las principales razones por las que no se aprovecha el Dark Data en 3 categorías:

  • Datos que no se están recopilando por falta de interés en ellos o por no disponer de las herramientas necesarias.
  • Datos que se están recopilando, pero que son de difícil acceso en el momento necesario.
  • Datos recopilados y disponibles, pero que aún no se han comenzado a analizar o obtener un rendimiento de ellos.

Ejemplos de Dark Data

Según vais leyendo este post, estoy seguro que a muchos os están viniendo a la mente posibles datos ocultos en vuestras organizaciones. Para ayudaros a sacarlos a la luz y que quede más claro el concepto de Dark Data, os pondré algunos ejemplos:

  • El log del servidor web pueden revelarnos el comportamiento de nuestros clientes en nuestra web.
  • El registro de llamadas a clientes o interacciones en redes sociales puede indicarnos tendencias en el ámbito del sentimiento de nuestros clientes hacia nuestra marca o producto.
  • Los datos de nuestra red wifi puede aprovecharse para determinar el tránsito de clientes en nuestros locales.

Pero veamos ejemplos de como el Dark Data se está utilizando en sectores concretos.

Comportamiento de Clientes en Hoteles

Como decía anteriormente, a través de la red wifi podremos analizar el tráfico de nuestros clientes en nuestras instalaciones. ¿A qué hora suelen ir a la piscina del hotel? ¿Dónde van después de darse un baño?

También podría analizarse el log de las tarjetas/llaves (de manera anónima) para analizar cuánto tiempo pasas nuestros clientes en sus habitaciones.

Evaluando la relación con nuestros clientes

Actualmente, las empresas disponen de mucha información sobre sus clientes a través de sus soluciones CRM y ERP. Pero existen muchos más datos ocultos que podemos añadir a la ecuación para poder evaluar mejor nuestro nivel de relación con cada cliente.

¿Y si analizamos el tiempo de respuesta a nuestros mails? ¿O las llamadas telefónicas a nuestro equipo comercial o de soporte?

Un ejemplo de solución en este ámbito es Microsoft Customer Insights, que recoge los datos de sus soluciones ERP y CRM y añade los datos de correo intercambiados con los clientes a través de Office 365 Outlook o las interacciones del cliente en nuestras redes sociales.

Microsoft Customer Insights
Microsoft Customer Insights

Optimizar rutas de almacén

Es un ejemplo similar al de los hoteles, pero aplicado a una empresa de Manufacturing o Distribución.

En almacenes o plantas productivas en las que se trabaja con dispositivos móviles y redes wifi es posible trazar las rutas que siguen los operarios para preparar los envíos o mover los productos. De este modo, se pueden optimizar estas rutas o mejorar el posicionamiento de productos dentro del almacén.

La empresa española Datumize, de la que ya os hablamos en el post sobre el IoT Congress 2019) ha desarrollado una solución específica para almacenes llamada Datumize Observer.

Datumize Observer es un sistema de captura de Dark Data en Almacén
Datumize Observer es un sistema de captura de Dark Data en Almacén

Inconvenientes del Dark Data

Como suele pasar con las nuevas tecnologías, aparte de múltiples beneficios, siempre implican algunos inconvenientes pendientes de resolver:

  • Protección de Datos: Recolectar este tipo de datos ocultos debe compaginarse con el cumplimiento de leyes como GDPR.
  • Volumen y Tipo de Datos: hasta hace unos años, muchos datos ocultos no se podían analizar porque no existía una tecnología para almacenar esos volúmenes de datos tan grandes, en tiempo casi real y con datos desestructurados. Gracias a las tecnologías de Big Data esto se ha solucionado, pero no todas las empresas tienen acceso a esta tecnología a día de hoy.
  • Capacidad de Análisis: Aparte de recoger los datos ocultos, éstos deben ser analizados. Gracias a tecnologías como los Data Lakes o la Inteligencia Artificial, podemos plantear estos proyectos a día de hoy, pero se deben implementar este tipo de soluciones.
  • Seguridad: Las empresas suelen identificarse como los custodios de los datos, y cualquier fuga de este tipo de datos (que pueden contener información sensible) podría suponer una pérdida de reputación de la marca.
  • Falta de estandarización: No existen todavía estándares de comunicación o conexión con elementos como adaptadores de red, routers wifi, etc. (dependen de cada marca o modelo) lo que complica desarrollar productos globales a un coste asumible para las empresas.

Conclusiones

Tras investigar sobre todo este mundo del Dark Data, el potencial que tiene es increíble para empresas y otro tipo de organizaciones.

El problema que veo es que el mundo empresarial aún está digiriendo la analítica estándar, que normalmente sólo recoge información de sus fuentes principales (ERP, CRM,…) y ahora le planteamos que eso no es suficiente.

Obviamente, todo esto depende del sector y de su nivel de adaptación tecnológica. Como vimos en nuestra visita al Retail & Brand Experience 2019, el sector de Retail ya está usando datos recolectados de redes wifi con un resultado espectacular.

¿Vosotros qué opináis? ¿Se podría aplicar en vuestras empresas? Podéis compartir con nosotros que tipo de datos ocultos habéis detectado en vuestra empresa o sector en los comentarios de este post.

¡SUSCRÍBETE YA!
Doy mi consentimiento para almacenar mis datos para envío de newsletters.
Si te suscribes a la newsletter tendrás acceso a los <b><u>ficheros Power BI originales</u></b> de nuestros tutoriales y post. <br><br>Además tendrás derecho a participar en sorteos periódicos que realizaremos en el blog.
We hate spam. Your email address will not be sold or shared with anyone else.
Mostrar más

Iván Arribas

Llevamos siglos generando, relacionando, modificando y almacenando datos....es hora de que les echemos un vistazo. Espero que este blog sirva de ayuda a los que quieran introducirse en este mundo de la Analítica de Datos, igual que me está sirviendo a mi.

Publicaciones relacionadas

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Información básica sobre protección de datos Ver más

  • Responsable: Iván Arribas Delgado.
  • Finalidad:  Moderar los comentarios.
  • Legitimación:  Por consentimiento del interesado.
  • Destinatarios y encargados de tratamiento:  No se ceden o comunican datos a terceros para prestar este servicio. El Titular ha contratado los servicios de alojamiento web a Bluehost que actúa como encargado de tratamiento.
  • Derechos: Acceder, rectificar y suprimir los datos.
  • Información Adicional: Puede consultar la información detallada en la Política de Privacidad.

Botón volver arriba
Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos. Contiene enlaces a sitios web de terceros con políticas de privacidad ajenas que podrás aceptar o no cuando accedas a ellos. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Ver
Privacidad