Contenido
Fuente: Nmedia /Dreamstime.com
Para llevar:
Big data es un gran negocio en todas partes, pero algunas áreas específicas aprovechan al máximo esta tecnología.
Cuando comencé este artículo, estaba planeando enumerar los diferentes tipos de plataformas de big data. Pero, después de tres días de intentar acorralar todas las diferentes ofertas de big data: relacional versus no relacional, SQL versus NoSQL y base de datos versus marco de trabajo, en cierta apariencia de orden, decidí evitar ese desastre.
Para agregar insulto a la lesión, esperaba presentar a la persona que acuñó el término "big data" como parte del artículo. Pero, ni siquiera puedo hacer eso. No hay una respuesta acordada. De hecho, hay un proyecto de investigación en toda regla que investiga quién inventó Big Data originalmente. En cambio, voy a echar un vistazo a algunas de las formas clave en que se utilizan los grandes datos. Eso es mucho más importante. Y es más interesante y sorprendente de lo que piensas.
Cómo pasó
Los analistas que utilizan la minería de datos tradicional han estado manipulando datos durante años. A estos mismos analistas les resulta difícil lidiar con la cantidad y la variedad de datos que guardan las empresas, organizaciones privadas y agencias gubernamentales.
Ingrese big data, el siguiente paso evolutivo en la minería de datos. Big Data fue diseñado para manejar las bases de datos masivas y los innumerables tipos de datos que se crean en el mundo digital actual. Si "masivo" te hace pensar en Google y en todos los datos que recopila, estarías en el estadio. Lo que puede sorprenderle es que Google solo ocupa el cuarto lugar en la lista de las diez bases de datos más grandes del mundo. A partir de enero de 2014, el Centro Mundial de Datos para el Clima encabezó la lista con 220 terabytes de datos, y nadie lo sabe en cuanto al tamaño de las bases de datos controladas por ciertas agencias gubernamentales.
Por supuesto, la gran cantidad de datos despegó porque permite manipular grandes cantidades de datos diferentes y descubrir cosas sorprendentes, asombrosamente detalladas y personales. John Sumser, analista de la industria de recursos humanos, ofrece el siguiente ejemplo:
"Hoy creamos hipótesis y recopilamos datos. Mañana haremos lo contrario. La acumulación constante y constante de datos nos permitirá ver los datos antes de formular preguntas. Eso significa que obtendremos respuestas a preguntas que no hicimos". No sé preguntar. No pensaremos en un montón de cosas que suponemos que son hechos ".Por supuesto, todos hemos escuchado sobre algunas de las formas espeluznantes que se han utilizado estos datos, como la capacidad de los objetivos para discernir el embarazo de una mujer joven incluso antes de que su familia se entere. Pero los grandes datos también se están utilizando para causas mucho menos siniestras. Aquí hay algunas organizaciones que lo están aprovechando más:
No puede mejorar sus habilidades de programación cuando a nadie le importa la calidad del software.
Un área obvia que los grandes datos ayudarán es el manejo de registros de salud electrónicos de manera segura y precisa en todas las organizaciones médicas. Tener registros precisos proporcionará a los pacientes un mejor servicio y disminuirá los errores. El campo de la atención médica, por razones obvias, está adaptando grandes datos a un ritmo más lento para cumplir con las regulaciones gubernamentales sobre confidencialidad del paciente.
Como se mencionó anteriormente, Big Data es conocido por proporcionar respuestas a preguntas no formuladas. En el campo de la atención médica, esto podría significar encontrar un nuevo medicamento o tratamiento que de otro modo no se hubiera encontrado. Según McKinsey & Company, los grandes datos podrían hacer posible lo siguiente en un futuro no muy lejano:
- El modelado predictivo de procesos biológicos y medicamentos se vuelve más sofisticado y generalizado.
- Se identifica a los pacientes para inscribirse en ensayos clínicos basados en más fuentes de información, como las redes sociales.
- Los ensayos se supervisan en tiempo real para identificar rápidamente problemas de seguridad u operativos.
- En lugar de silos de datos rígidos que son difíciles de explotar, los datos se capturan electrónicamente y fluyen fácilmente entre diferentes unidades.
Big Data, gran oportunidad
Si bien se está aprovechando el big data en algunas áreas específicas, ofrece oportunidades para todas las organizaciones en las siguientes áreas:
Casi cualquier dispositivo informático y de red registra datos. La cantidad de datos que se registra rápidamente se vuelve difícil de manejar. Big Data puede administrar fácilmente esa cantidad de datos, lo que permite a los administradores monitorear la actividad de la red, diagnosticar problemas o, en el ejemplo que me dio Rubin, buscar ciertos patrones de tráfico de red que indiquen actividad de malware.
Si estás leyendo este artículo, es una apuesta bastante segura que conoces el problema de Heartbleed que rodea a OpenSSL. Además del problema técnico, existe la preocupación de que la vulnerabilidad haya existido durante varios años. Rubin mencionó que Big Data permite a los administradores de red, trabajando con analistas de datos, crear un programa que buscará en todos los registros de la red latidos cardíacos maliciosos. Esta publicación de EFF menciona:
"Cualquier operador de red que tenga registros extensos de paquetes puede verificar los latidos cardíacos maliciosos, que comúnmente tienen una carga útil TCP de 18 03 02 00 03 01 o 18 03 01 00 03 01 (o tal vez incluso 18 03 03 00 03 01)".El siguiente ejemplo es una salida de muestra del comando show audit:
Router # show audit
* 14 de septiembre 18: 37: 31.535:% AUDIT-1-RUN_VERSION: Hash:
24D98B13B87D106E7E6A7E5D1B3CE0AD Usuario:
* 14 de septiembre 18: 37: 31.583:% AUDIT-1-RUN_CONFIG: Hash:
4AC2D776AA6FCA8FD7653CEB8969B695 Usuario:
* 14 de septiembre 18: 37: 31.595:% AUDIT-1-STARTUP_CONFIG: Hash:
95DD497B1BB61AB33A629124CBFEC0FC Usuario:
* 14 de septiembre 18: 37: 32.107:% AUDIT-1-FILESYSTEM: Hash:
330E7111F2B526F0B850C24ED5774EDE Usuario:
* 14 de septiembre 18: 37: 32.107:% AUDIT-1-HARDWARE_CONFIG: Hash:
32F66463DDA802CC9171AF6386663D20 Usuario:
Si sigue las marcas de tiempo, el intervalo de tiempo para todas esas entradas fue inferior a un segundo. ¡Ni siquiera quisiera extrapolar eso por un día, y mucho menos dos años!
Algo para mirar
Si revisa los anuncios de trabajo, existe una gran necesidad de expertos en big data. Le pregunté a Rubin sobre esto. Estuvo de acuerdo, mencionando que sus estudiantes estaban entusiasmados con sus perspectivas. Luego me di cuenta de que las plataformas de big data, en particular las consideradas de código abierto, siguen una línea de tiempo muy similar a cómo Linux se convirtió en la corriente principal.
Las universidades adoptan versiones de código abierto de plataformas de big data, en particular Hadoop, porque son gratuitas y los estudiantes pueden manipular el código fuente. Por lo tanto, los graduados que llenen todas esas vacantes de trabajo preferirán trabajar con plataformas de código abierto, ya que es lo que mejor conocen. Será interesante de ver.