Contenido
- ETL crea cuellos de botella para análisis
- Simplificación de ETL con Machine Learning y AI
- Sin errores, sin estrés: su guía paso a paso para crear software que cambie su vida sin destruir su vida
Fuente: Pop Nukoonrat / Dreamstime.com
Para llevar:
Los datos son cruciales para las empresas, pero para que sean útiles, no debe haber ningún error al recopilar, procesar y presentar esos datos. La inteligencia artificial puede monitorear los procesos ETL para asegurarse de que estén libres de errores.
ETL (extraer, transformar y cargar) es uno de los procesos más importantes en el análisis de big data, y al mismo tiempo, puede ser uno de sus mayores cuellos de botella. (Para obtener más información sobre big data, consulte 5 cursos útiles de Big Data que puede tomar en línea).
La razón por la que ETL es tan importante es que la mayoría de los datos que una empresa recopila no está preparada, en su forma cruda, para una solución analítica para digerir. Para que una solución de análisis cree ideas, los datos sin procesar deben extraerse de la aplicación donde reside actualmente, transformarse en un formato que pueda leer un programa de análisis y luego cargarse en el propio programa de análisis.
Este proceso es análogo a la cocción. Sus ingredientes crudos son sus datos crudos. Deben ser extraídos (comprados en una tienda), transformados (cocidos) y luego cargados (enchapados), antes de que puedan analizarse (probarse). La dificultad y el gasto pueden escalar de manera impredecible: es fácil preparar macarrones con queso para usted, pero es mucho más difícil crear un menú gourmet para 40 personas en una cena. No hace falta decir que un error en cualquier momento puede hacer que su comida no sea digerible.
ETL crea cuellos de botella para análisis
ETL es de alguna manera la base del proceso de análisis, pero también tiene algunos inconvenientes. En primer lugar, es lento y computacionalmente costoso. Esto significa que las empresas a menudo priorizan solo sus datos más importantes para el análisis y simplemente almacenan el resto. Esto contribuye al hecho de que hasta el 99% de todos los datos comerciales no se utilizan para fines analíticos.
Además, el proceso ETL nunca es seguro. Los errores dentro del proceso ETL pueden corromper sus datos. Por ejemplo, un breve error de red puede evitar que se extraigan datos. Si sus datos de origen contienen múltiples tipos de archivos, entonces podrían transformarse incorrectamente. Basura adentro, basura afuera, como dicen: los errores durante el proceso de ETL seguramente se expresarán en términos de análisis inexactos.
Un proceso ETL corrupto puede tener malas consecuencias. Incluso en el mejor de los casos, probablemente tendrá que volver a ejecutar el ETL, lo que significa un retraso de horas, y mientras tanto, sus tomadores de decisiones son impacientes. En el peor de los casos, no observará los análisis inexactos hasta que haya comenzado a perder dinero y clientes.
Simplificación de ETL con Machine Learning y AI
Puede, y probablemente lo haga, asignar a alguien para monitorear ETL, pero honestamente no es tan simple. Pueden producirse datos incorrectos debido a errores de proceso que suceden tan rápidamente que no se pueden notar en tiempo real. Los resultados de un proceso ETL dañado a menudo no se ven diferentes de los datos cargados correctamente. Incluso cuando los errores son obvios, el problema que creó el error puede no ser tan fácil de rastrear. (Para obtener más información sobre el análisis de datos, consulte Rol de trabajo: Analista de datos).
La buena noticia es que las máquinas pueden atrapar lo que los humanos no pueden. Estas son solo algunas de las formas en que la inteligencia artificial y el aprendizaje automático pueden detectar errores de ETL antes de que se conviertan en análisis inexactos.
Sin errores, sin estrés: su guía paso a paso para crear software que cambie su vida sin destruir su vida
No puede mejorar sus habilidades de programación cuando a nadie le importa la calidad del software.
1. Detectar y alertar a través de métricas ETL
Aunque sus datos son una imagen en constante movimiento, el proceso ETL aún debe producir valores consistentes a una velocidad constante. Cuando estas cosas cambian, es motivo de alarma. Los humanos pueden ver grandes cambios en los datos y reconocer errores, pero el aprendizaje automático puede reconocer fallas más sutiles, más rápido. Es posible que un sistema de aprendizaje automático ofrezca detección de anomalías en tiempo real y alerta directamente al departamento de TI, lo que les permite detener el proceso y solucionar el problema sin tener que descartar horas de esfuerzo computacional.
2. Identificar cuellos de botella específicos
Incluso si sus resultados son precisos, es posible que salgan demasiado lentamente para ser de utilidad. Gartner dice que 80% de ideas derivados de la analítica nunca se aprovecharán para crear valor monetario, y eso puede deberse a que un líder empresarial no puede ver una idea a tiempo para aprovecharla. El aprendizaje automático puede decirle dónde se está desacelerando su sistema y proporcionarle respuestas, obteniendo mejores datos, más rápido.
3. Cuantifique el impacto de la gestión del cambio
Los sistemas que producen sus datos y análisis no son estáticos: reciben constantemente parches y actualizaciones. A veces, estos afectan la forma en que producen o interpretan los datos, lo que conduce a resultados inexactos. El aprendizaje automático puede marcar los resultados que han cambiado y rastrearlos hasta la máquina o aplicación parcheada específica.
4. Reduce el costo de las operaciones
Las operaciones analíticas estancadas equivalen a dinero perdido. El tiempo que pasa descubriendo no solo cómo resolver el problema sino también quién es responsable para resolver el problema es tiempo en que podría estar gastando valor de construcción. El aprendizaje automático ayuda a llegar al meollo de la cuestión al alertar solo a los equipos que pueden ser responsables de responder a tipos específicos de incidentes, permitiendo que el resto del departamento de TI tenga libertad para continuar desempeñando las funciones principales del trabajo. Además, el aprendizaje automático ayudará a eliminar los falsos positivos, reduciendo el número total de alertas al tiempo que aumenta la granularidad de la información que pueden proporcionar. La fatiga de alerta es muy real, por lo que este cambio tendrá un impacto medible en la calidad de vida.
Cuando se trata de ganar en los negocios, el análisis es crucial. Un estudio histórico de Bain Capital muestra que las empresas que emplean análisis tienen más del doble de probabilidades de tener un rendimiento financiero superior. ETL proporciona la base para el éxito en este campo, pero las demoras y los errores también pueden evitar el éxito de un programa de análisis. El aprendizaje automático, por lo tanto, se convierte en una herramienta invaluable para el éxito de cualquier programa de análisis, ayudando a garantizar datos limpios y resultados precisos.