Volver

Big data, una realidad que está cambiando nuestra vida

3 septiembre, 2022

El estadístico e ingeniero estadounidense William Edwards Deming decía «Sin datos, sólo eres una persona más dando tú opinión». Esto es Big Data, va de tomar mejores decisiones basadas en la evidencia, en datos.

Si vamos a el glossary de una de las biblias del ámbito de IT, que es Garner dice que Big Data, son activos de información, de gran volumen, alta velocidad y alta variedad que exigen formas rentables e innovadoras de procesamiento de información que permitan una mejor comprensión, toma de decisiones y automatización de procesos.

En definitiva, Big Data se puede definir como información de mucho volumen procesada a gran velocidad y muy variada que requiere sistemas de información innovadores y efectivos para poder facilitar la obtención de conocimiento y la toma de decisiones.

Desde el 2010 hemos experimentado un crecimiento exponencial en los datos que existen en el mundo y se espera que continuemos a estos ritmos.

Cuando hablamos de Big Data hay un poco de confusión porque empezó en un ámbito tecnológico y para esos grandes volúmenes y velocidades que generaban toso esos datos necesitábamos un hardware y software para adquirir, almacenar y procesar todos esos datos. Pero al final, lo que teneos es un proceso para poder obtener valor, que al final es lo que vale la pena para que las empresas realicen una inversión.

Actualmente, se habla de Big Data que afecta fundamentalmente a tres ámbitos tecnológicos:

El que afecta a las infraestructuras y el software para gestionar el volumen de
La analítica avanzada y con el machine learning que permite inferir el conocimiento a partir de todos los datos
Los cuadros de mando interactivos y las herramientas analíticas de Permiten que profesionales sin conocimientos técnicos muy avanzados puedan trabajar con datos.

Las organizaciones Driven son conscientes del valor de procesar de forma rigurosa la información tanto interna como externa. Buscará implementar una estrategia de datos transversal en sus diferentes departamentos y roles, para la optimización y automatización de procesos, la mejora de la toma de decisiones y la innovación.

Para que en una organización tenga éxito estas iniciativas hay que tener cuatro aspectos clave:

La colaboración, es la más importante porque son procesos complicado que cambian la forma de trabajar y la toma de decisiones. Por ello, tiene que estar apoyado por la dirección y debemos estar alineados con el departamento con el departamento de IT porque tiene un alto componente tecnológico.

Este tipo de iniciativas tienen que ir enfocadas a negocio, no es suficiente obtener y explotar datos; además, hay que conseguir un

Se necesita nuevas habilidades, una cultura de trabajo diferente en las Se obtendrá conocimiento de los datos, habrá que validar hipótesis. Por ello se produce interactividad en los proyectos y será un aspecto muy importante esta interactividad y la cultura ágil en la ejecución del proyecto.

Surgen nuevas tecnologías, roles, procesos y más transparencia en el trabajo al tener que examinar y compartir los datos con diferentes.

Surgirán nuevos roles relacionados con los datos, así los más característicos son:

-Arquitecto de los datos. Es la persona capaz de conocer todas estas tecnologías y es capaz de diseñar la infraestructura con los diferentes componentes y las diferentes interacciones que tendrán.

Data Engineer. Es la persona que basándose en el diseño es capaz de construir la infraestructura y mantener todos los componentes, el flujo de entrada y los datos de procesamiento.
Data Scientist. Es la persona que será capaz de extraer nuevos conocimientos de los datos que tiene la empresa. Tendrá conocimientos matemáticos e informáticos para poder programar y gestionar estas tecnologías. Además, limpia, explora los datos y crea los modelos algorítmicos que tienen que aportar valor.
Analistas de datos o usuarios de negocio. Son las personas que conocen el área de negocio, sus procesos, el valor que pueden obtener, pueden interactuar directamente con los Data Scientist y saben orientar todo el trabajo algorítmico que aporte valor al negocio.
Business Data Analyst. Es la persona, que una vez creados los modelos puede recoger todos los datos para aportar nuevas perspectivas para el negocio y el usuario del negocio que es el que toma las decisiones.
Chief Data Officer. La persona que coordina toda la plataforma tecnológica, que tiene que ordenar y proteger lo datos de la empresa y de toda la organización. Desarrolla y supervisa un programa de gobierno de datos universal y a nivel corporativo impulsa la estrategia de información de análisis desde una perspectiva de negocio.

El Big Data va a ser de gran utilidad a las empresas porque va a proporcionar respuestas a preguntas que ni siquiera sabían que tenía. Recopilan gran cantidad de datos y buscan tendencias que permitirán a las empresas moverse más rápido y eficiente. Además, permitirá eliminar áreas problemáticas antes que perjudique su reputación o sus beneficios.

El Big Data se justifica debido a porque:

Muchas fuentes y tipos de datos. Debido a la variedad de fuentes, tipos de datos y estructuras tan complejas, aumenta la dificultad de integración de datos. Las fuentes de los datos pueden proceder de:

Datos de internet y móviles
Datos de internet de las Cosas.
Datos sectoriales recopilados por empresas especializadas.
Datos experimentales.

Los tipos de los datos:

Datos estructurados.
Datos semiestructurados
Datos no estructurados

Sólo un 20% de la información es estructurada y por eso puede darse muchos errores si no trabajamos la calidad de los datos.

Volumen de datos. El volumen de datos es enorme, hace que se complique la ejecución de un proceso de datos en un tiempo estimable. es difícil recolectar, limpiar integrar y obtener los datos de forma rápida. además, se necesita mucho tiempo para transforma los datos no estructurados en estructurados.

Alta Los datos cambian rápidamente por lo que su validez es corta. Por eso, necesitamos el poder de procesamiento sea alto y hay que hacerlo bien para evitar errores en las conclusiones y en la toma de decisiones.

No existen estándares en la calidad de datos En 1987 la Organización Internacional de Normalización (ISO) publicó las normas ISO 9000 para garantizar la calidad de productos y servicios. Sin embargo, el estudio de los estándares de calidad de los datos no comenzó hasta los años noventa, y no fue hasta 2011 cuando ISO publicó las normas de calidad de datos ISO 8000.

Estas normas necesitan madurar y perfeccionarse. Además, la investigación sobre la calidad de datos de Big Data ha comenzado desde hace poco y apenas hay resultados. La calidad de datos des clave, no solo para poder obtener ventajas competitivas sino también impedir que incurramos en graves errores estratégicos y operacionales basándonos en datos erróneos con consecuencias que pueden llegar a ser muy graves.

Los beneficios clave que podemos destacar son:

Romper los silos de cada departamento, se conseguirá tener una visión integral de la organización, facilitará cruzar los datos y podrán trabajar conjuntamente.
Cuadros de mando interactivos, cuando a los usuarios de negocio se les da la capacidad de interrogar los datos unido a su conocimiento en el negocio va a facilitar la toma de decisiones.

Incorporación e incremento de datos externos que van a incorporar a las analíticas de los proyectos.
Interacción de los proyectos que vamos a mejorar en base al nuevo conocimiento que van adquiriendo las empresas de una cultura de innovación y que será muy beneficioso.

Las empresas con más éxito en Big data consiguen:

Reducir costes. Tecnologías como Hadoop y el análisis basado en la nube, aporta beneficios a la hora de reducir costes al almacenar grandes cantidades de datos, además de identificar formas más eficientes de hacer negocios.
Mayor rapidez y mejor toma de decisiones. Con la velocidad de la tecnología y la analítica en memoria, junto con la capacidad de analizar nuevas fuentes de datos, las empresas pueden analizar información y tomar decisiones en tiempo real.
Nuevos productos y servicios. Al ser capaces de medir las necesidades y satisfacción de los clientes a través del análisis van a poder dar al cliente lo que quiere.

Uno de los sectores que están siendo altamente beneficiados por el Big Data es el sector financiero es un sector donde obtener el mayor beneficio a la cifras e información es muy importante. El control de una entidad mejora con el uso de información objetiva y cuantitativa y la banca es uno sector que puede obtener más provecho al análisis y optimización de procesos.

Las entidades departamentos financieros durante años han obtenido una gran cantidad de información para trabajar. Sin embargo, hasta hace poco no se ha empezado aprovechar el valor de esos datos. Empieza con la aparición de las fintech cuando se ha visto el valor del Big Data, con nuevas funcionalidades. Las entidades financieras están comenzando aprovechar la información que tiene para dar respuesta a su enorme crecimiento.

Al disponer de miles de datos de clientes e información externa se obtendrá una posición de ventaja respecto al resto de las entidades.

El Big Data aporta beneficios al sector financiero como:

Procesamiento de información. Segmentación de los clientes y/o potenciales clientes. Evaluación del nivel de riesgo y prevención del fraude. Personalización de productos. Previsión de impagos. Análisis de mercado. Anticipación de delitos.

Uno caso de éxito en el sector financiero que se hizo bastante famoso en los últimos años por el cambio de paradigma del enfoque del proyecto. Es del de Royal Bank of Scotland en el 2015 hicieron una inversión de más de 100 millones de libras en tecnología, con el objetivo de reconstruir su reputación después del colapso financiero.

Su objetivo fue el volver a interactuar de una manera más personal con sus clientes, como en los años 70 donde el jefe de una sucursal conocía cas personalmente a todos sus clientes. En el 2015 con la cantidad de clientes, el bajo número de interacciones era imposible, pero gracias a todos los datos que sus clientes dejaban en su traza digital trabajaron y se destacaron por dos casos: El primer caso fue definir ficheros muy personales de los aspectos claves de cada uno de los clientes, para que cuando llegaran a la sucursal el empleado que los atendía tuviera todos los aspectos relevantes a tener en cuenta de esa persona, su situación y otros aspectos.

No intentaban maximizar la venta y colocación de servicios, sino que pensaban lo que se iba a ir bien al cliente. Llegaron a la conclusión en el que el personal sintió que estaban teniendo otra vez conversaciones de valor con los clientes.

El segundo caso dentro de ese gran proyecto, fue que intentaron identificar productos financieros duplicados. En el caso concreto de los seguros, detectaron seguros o asistencias que estaban incluidos en otros paquetes o en otras cuentas bancarias. Trataban de identificarlo para conseguir un beneficio económico directo a sus clientes e hicieron su análisis.

Inicialmente, pensaron que podían perder algo de clientela o volumen de negocio, pero la realidad fue que a pesar del riesgo y de informar a los clientes contactados que estaban pagando por duplicado prefirieron mantener el servicio con Royal Bank of Scotland en lugar del ofrecido por terceros.

Este caso es interesante porque se debate mucho sobre el impacto de las tecnologías en las personas y sobre la despersonificación, sin embargo, podemos ver que es un calor ejemplo de cómo utilizando los datos podemos llegar a tener un trato más personal de más valor, e incrementar el life time de un cliente tan solo buscando objetivos a corto plazo.

El 2020 ha sido el año en el que el Big Data se ha aplicado a la salud pública y ha tenido gran importancia debido al Covid-19, a través del análisis de datos se crearon estadísticas sobre enfermedades para estudios médicos. además, pudo ayudar a estudiar patrones de propagación de enfermedades infecciosas, pudiendo crear modelos predictivos para determinar la probabilidad de que se produjera un brote o rebrote entre la población en una zona en concreto

Otras aplicaciones se han dado en la descodificación del ADN, la detención de enfermedades antes de presentar síntomas o en determinar el tratamiento adecuado para el paciente e incluso la alimentación adecuada. También puede ayudar a las áreas de salud o investigación médica a determinar los recursos e inversión para mejorar el sistema.

En la ciencia e investigación puede ser de gran beneficio, especialmente en los proyectos que generen grandes cantidades de datos. También, la aplicación de algoritmos de inteligencia artificial a los motores de búsqueda mejorando la búsqueda y selección de datos e información científica, agilizando el proceso y trabajo de los investigadores.

En educación a través del análisis de datos de los alumnos, puede identificarse estudiantes que puedan suspender, llevar un progreso de una clase, descubrir problemas ocultos en el plan de estudios, mejorar sistemas de evaluación o de apoyo a los profesores. También, puede ayudar a comparar zonas educativas entre si y encontrar que es lo que marca las diferencias para poder buscar soluciones.

En turismo, se puede recoger y analizar información sobre los turistas, donde viajan más, sus preferencias respecto a la comida, lugares a visitar o donde dormir y que hay detrás de esas decisiones. Todo ese conocimiento ayuda a los negocios de ese sector y a ofrecer servicios más ajustados a las necesidades de los clientes.

El sector inmobiliario, son de gran utilidad las aplicaciones Big Data inmobiliarios a la hora de tomar decisiones como dónde invertir en adquirir viviendas para vender, conseguir información sobre propiedades como el coste actual y su evolución durante años, detalles de la zona, posibles coses de hipoteca etc.

Urbanismo y ciudades inteligentes. Se han incorporado cámaras y sensores en las ciudades, así se logra recopilar más datos con los que se puede mejorar la vida de los ciudadanos como a la hora de gestionar el transporte público que puede mejorar el servicio. Además, va a poder analizar los datos va a permitir planifica, gestionar, regular la movilidad, la gestión del tráfico o reducir el crimen. También, beneficia al ayudar a mejorar la habitabilidad de ciudades, reducir el impacto medioambiental de la población o zonas que necesitan reforzar infraestructuras. También, predecir averías, cortes de suministros y reducir el tiempo de respuesta cuando se producen.

Incluso en el deporte con los smartwach, son dispositivos inteligentes que pueden recoger datos relacionados con nuestro estado físico como pulsaciones, nivel de oxígeno en sangre, tensión, calorías quemadas, pasos y metros recorridos e incluso como son nuestros sueños. Todos estos datos pueden utilizarse para desarrollar programas de entrenamiento a deportistas para conseguir recuperar mejor de lesiones o alcanzar objetivos.

En definitiva, la aplicación del Big Data puede llevar a cualquier sector para obtener beneficios económicos, mejorar la salud, la vida de las personas y ayuda a descubrir patrones de consumo y predecir tendencias para poder responder con precisión. Ha venido para mejorar la economía y nuestras vidas es una realidad presente en nuestra vida.

Bibliografía:

Judith Hurwitz, Alan Nugent, Marcia Kaufman, Fern Halper, Dan Kirsch. «Big Data For Dummies». Planeta.
Bernard Marr.»Big Data: La utilización del big Data, el análisis y los parámetros SMART para tomar mejores decisiones y aumentar el rendimiento. TEELL Editorial.
Bernard Marr. «Big Data en la práctica». TEELL Editorial.
Bill Schmarzo. «Big Data.El poder de los datos». Editorial Anaya Multimedia.
Luis Joyanes Aguilar. «Big Data». Editorial MARCOMBO BOIXAREU EDITORES.
Sebastian Raschka y Vahid Mirjalili. Python Machine Learning. Editorial Marcombo.
Cole Nussbaumer Knaflic. Storytelling with Data: A Data Visualization Guide for Business Professionals. Editorial John Wiley & Sons Inc.