¿Qué es el Dark Data?

La consultora Gartner define el Dark Data como aquellos datos que las organizaciones usan y recolectan por ser necesario para el desarrollo de negocio, pero que no se analizan o monetizan. Estos datos permanecen ocultos (de ahí el nombre de Dark Data), pero es posible sacarlos a la luz y obtener un beneficio de su análisis.

¿Dónde reside el Dark Data en las empresas?

La mayor parte de estos datos ocultos provienen de orígenes que no solemos analizar (web corporativa, redes sociales, ficheros de log, datos de conexión a redes, maquinaria, etc.), pero también existen datos escondidos en nuestro sistemas principales como el CRM, el ERP o nuestro DataWarehouse.

Las empresas necesitan gestionar estos datos para poder realizar su negocio y en la mayoría de los casos los almacenan sólo por razones de compliance (cumplimiento de normativas).

En cuanto a que tipo de datos conforman este “mundo oscuro”, en su mayoría son datos desestructurados (no almacenados en fuentes con una estructura conocida como puede ser una tabla de una base de datos).

¿Qué volumen de Dark Data existe en mi organización y por qué permanece oculto?

En realidad, las empresas aprovechan sólo una pequeña parte de los datos de los que dispone. En el siguiente gráfico, conocido como Data-berg, puede observarse que casi un 90% de los datos permanecen ocultos:

De ese 88% oculto, una 23% es dato que no tiene valor para ser analizado y el resto (65%) se considera Dark Data.

Como veis también en el Data-berg, podríamos clasificar las principales razones por las que no se aprovecha el Dark Data en 3 categorías:

• Datos que no se están recopilando por falta de interés en ellos o por no disponer de las herramientas necesarias.
• Datos que se están recopilando, pero que son de difícil acceso en el momento necesario.
• Datos recopilados y disponibles, pero que aún no se han comenzado a analizar o obtener un rendimiento de ellos.

Ejemplos de Dark Data

Según vais leyendo este post, estoy seguro que a muchos os están viniendo a la mente posibles datos ocultos en vuestras organizaciones. Para ayudaros a sacarlos a la luz y que quede más claro el concepto de Dark Data, os pondré algunos ejemplos:

• El log del servidor web pueden revelarnos el comportamiento de nuestros clientes en nuestra web.
• El registro de llamadas a clientes o interacciones en redes sociales puede indicarnos tendencias en el ámbito del sentimiento de nuestros clientes hacia nuestra marca o producto.
• Los datos de nuestra red wifi puede aprovecharse para determinar el tránsito de clientes en nuestros locales.

Pero veamos ejemplos de como el Dark Data se está utilizando en sectores concretos.

Comportamiento de Clientes en Hoteles

Como decía anteriormente, a través de la red wifi podremos analizar el tráfico de nuestros clientes en nuestras instalaciones. ¿A qué hora suelen ir a la piscina del hotel? ¿Dónde van después de darse un baño?

También podría analizarse el log de las tarjetas/llaves (de manera anónima) para analizar cuánto tiempo pasas nuestros clientes en sus habitaciones.

Evaluando la relación con nuestros clientes

Actualmente, las empresas disponen de mucha información sobre sus clientes a través de sus soluciones CRM y ERP. Pero existen muchos más datos ocultos que podemos añadir a la ecuación para poder evaluar mejor nuestro nivel de relación con cada cliente.

¿Y si analizamos el tiempo de respuesta a nuestros mails? ¿O las llamadas telefónicas a nuestro equipo comercial o de soporte?

Un ejemplo de solución en este ámbito es Microsoft Customer Insights, que recoge los datos de sus soluciones ERP y CRM y añade los datos de correo intercambiados con los clientes a través de Office 365 Outlook o las interacciones del cliente en nuestras redes sociales.

Optimizar rutas de almacén

Es un ejemplo similar al de los hoteles, pero aplicado a una empresa de Manufacturing o Distribución.

En almacenes o plantas productivas en las que se trabaja con dispositivos móviles y redes wifi es posible trazar las rutas que siguen los operarios para preparar los envíos o mover los productos. De este modo, se pueden optimizar estas rutas o mejorar el posicionamiento de productos dentro del almacén.

La empresa española Datumize, de la que ya os hablamos en el post sobre el IoT Congress 2019) ha desarrollado una solución específica para almacenes llamada Datumize Observer.

Inconvenientes del Dark Data

Como suele pasar con las nuevas tecnologías, aparte de múltiples beneficios, siempre implican algunos inconvenientes pendientes de resolver:

• Protección de Datos: Recolectar este tipo de datos ocultos debe compaginarse con el cumplimiento de leyes como GDPR.
• Volumen y Tipo de Datos: hasta hace unos años, muchos datos ocultos no se podían analizar porque no existía una tecnología para almacenar esos volúmenes de datos tan grandes, en tiempo casi real y con datos desestructurados. Gracias a las tecnologías de Big Data esto se ha solucionado, pero no todas las empresas tienen acceso a esta tecnología a día de hoy.
• Capacidad de Análisis: Aparte de recoger los datos ocultos, éstos deben ser analizados. Gracias a tecnologías como los Data Lakes o la Inteligencia Artificial, podemos plantear estos proyectos a día de hoy, pero se deben implementar este tipo de soluciones.
• Seguridad: Las empresas suelen identificarse como los custodios de los datos, y cualquier fuga de este tipo de datos (que pueden contener información sensible) podría suponer una pérdida de reputación de la marca.
• Falta de estandarización: No existen todavía estándares de comunicación o conexión con elementos como adaptadores de red, routers wifi, etc. (dependen de cada marca o modelo) lo que complica desarrollar productos globales a un coste asumible para las empresas.

Conclusiones

Tras investigar sobre todo este mundo del Dark Data, el potencial que tiene es increíble para empresas y otro tipo de organizaciones.

El problema que veo es que el mundo empresarial aún está digiriendo la analítica estándar, que normalmente sólo recoge información de sus fuentes principales (ERP, CRM,…) y ahora le planteamos que eso no es suficiente.

Obviamente, todo esto depende del sector y de su nivel de adaptación tecnológica. Como vimos en nuestra visita al Retail & Brand Experience 2019, el sector de Retail ya está usando datos recolectados de redes wifi con un resultado espectacular.

¿Vosotros qué opináis? ¿Se podría aplicar en vuestras empresas? Podéis compartir con nosotros que tipo de datos ocultos habéis detectado en vuestra empresa o sector en los comentarios de este post.