Contenido
- Sin errores, sin estrés: su guía paso a paso para crear software que cambie su vida sin destruir su vida
- Abajo a los negocios
- Cómo Kafka cambiará la gestión de datos
Para llevar:
Kafka hará por los sistemas de información lo que LinkedIn hace por la gente de negocios: mantenerlos conectados en un amplio rango.
Al creer apasionadamente en algo que todavía no existe, lo creamos. Lo inexistente es lo que no hemos deseado lo suficiente.~ Franz Kafka
La necesidad sigue siendo la madre de la invención. Como un consultor astuto me dijo una vez: "Si hay algo que debe suceder en una organización, está sucediendo". Su punto era doble: 1) algunas personas siempre encontrarán una manera de hacer las cosas; y 2) la alta gerencia, o incluso la gerencia media, pueden no ser conscientes de cómo se hacen exactamente las cosas dentro de su propio establecimiento.
Si extendemos esa metáfora a todo el universo de la gestión de datos, podemos ver una transformación en este momento. La presión bruta de los grandes datos, combinada con el eje de transmisión de datos, crea tanta presión que los sistemas heredados se desgastan en los bordes, si no se colapsan por completo. Sin embargo, hay innumerables profesionales que realizan sus trabajos en este momento, que desconocen en gran medida esta realidad.
Las empresas basadas en datos y basadas en datos tienen un asiento de primera fila, y de muchas maneras están impulsando este cambio. Considere cómo potencias como Yahoo !, y LinkedIn han desviado la industria del software empresarial con sus prodigiosas donaciones a código abierto: Hadoop, Cassandra y ahora Kafka, todos los cuales han sido pastoreados por la Fundación Apache, un jugador central en esta metamorfosis. .
¿Cuál es el resultado de todo este cambio? Lo que presenciamos hoy es la reclasificación categórica y la reestructuración de la gestión de datos en sí. Esto no quiere decir que los sistemas heredados ahora serán eliminados y reemplazados. Cualquier veterano de la industria le dirá que la disolución total de los sistemas heredados ocurre con tanta frecuencia como los Cachorros de Chicago ganan la Serie Mundial. Es un evento raro, por decir lo menos.
Lo que realmente sucede es que se está construyendo una superestructura alrededor de los sistemas del viejo mundo. Considere la analogía de las carreteras interestatales, que a menudo se elevan por encima de las ciudades y pueblos a los que sirven, diseñadas para entregar personas y carga a estos centros de población, y proporcionar salida a cualquier persona dentro de ellos. No reemplazan las carreteras existentes sino que las aumentan con alternativas de alta velocidad.
Eso es exactamente lo que hace Apache Kafka: proporciona rutas de alta velocidad para el movimiento de datos entre sistemas de información. Para seguir la analogía de la autopista, todavía hay muchas compañías que usan colas lineales, o el antiguo estándar de ETL (extracción-transformación-carga); pero estas vías tienen límites de velocidad bajos y hay muchos baches; además, los costos de mantenimiento son a menudo exorbitantes; La señalización es pobre.
Kafka ofrece un método alternativo para entregar datos, uno que es decididamente en tiempo real, escalable y duradero. Esto significa que Kafka no es solo un vehículo de movimiento de datos, sino también un replicador de datos; y hasta cierto punto, una tecnología de base de datos distribuida. Debemos tener cuidado al llevar la analogía demasiado lejos, ya que hay características de las bases de datos compatibles con ACID que Kafka aún no tiene. Aún así, el cambio es real.
Esta es una gran noticia para el panorama de la información, porque los datos ahora son libres de moverse sobre el país, y el mundo, para el caso. Lo que alguna vez fue una limitación dolorosa, es decir, golpear ventanas por lotes para procesos ETL, ahora se está disipando mucho a medida que la niebla deja paso a cielos despejados bajo el resplandor de un sol ardiente. Cuando mover datos de un sistema a otro se convierte en un límite sin interrupciones, se abre una era de nuevas oportunidades.
Sin errores, sin estrés: su guía paso a paso para crear software que cambie su vida sin destruir su vida
No puede mejorar sus habilidades de programación cuando a nadie le importa la calidad del software.
Los seres humanos probablemente representarán la mayor fricción en el camino hacia un nuevo futuro de datos. Los viejos hábitos tardan en morir. Nary, un CIO se entusiasma demasiado con los cambios al por mayor en los sistemas empresariales. Un ejecutivo senior inteligente del rol dijo: "Prepárese para estar solo". Un año después de ese comentario, fue consultor. No es un camino fácil, tratar de administrar el mundo extraordinariamente difícil de manejar de los datos empresariales.
La buena noticia es que Kafka proporciona una rampa de acceso al futuro. Debido a que sirve como un bus multifacético de alta potencia, crea puentes entre los sistemas heredados y sus contrapartes con visión de futuro. Por lo tanto, las organizaciones que aprovechen esta nueva oportunidad con mentes abiertas y un presupuesto suficiente podrán ingresar al nuevo mundo, sin dejar atrás el viejo. Eso es un gran problema.
Abajo a los negocios
Si bien Apache Kafka es una tecnología de código abierto, gratuita para que cualquiera pueda descargarla y usarla, las personas que crearon este software para LinkedIn han escindido una entidad separada llamada Confluent, que se enfoca en fortalecer la oferta para uso empresarial. Al igual que Cloudera, Hortonworks y MapR han construido sus negocios en torno al proyecto de código abierto de Apache Hadoop, por lo que Confluent busca monetizar Kafka.
En una entrevista reciente de InsideAnalysis, el CEO y cofundador de Confluent, Jay Kreps, explicó su origen en LinkedIn:
"Estábamos tratando de resolver un par de problemas diferentes allí. Uno era que teníamos todos estos diferentes sistemas de datos con diferentes tipos de datos. Teníamos bases de datos y archivos de registro y métricas sobre servidores y usuarios que hacían clic en las cosas". Obtener todos esos datos, a medida que crecían, era realmente difícil. El poder de los datos solo estaba allí si se podía llevar a las aplicaciones, al procesamiento o a los sistemas que lo necesitaban. Ese era un gran problema.
"El otro problema que tuvimos fue que habíamos adoptado Hadoop, y eso era algo en lo que estaba involucrado. Teníamos esta fantástica plataforma de procesamiento fuera de línea que podíamos escalar y podíamos poner todos nuestros datos. Para LinkedIn, todos nuestros datos ocurrieron en tiempo real tiempo. Hubo una generación continua de datos. Siempre hubo un desajuste al tratar de construir partes clave del negocio a partir de nuestros datos; entre algo que se ejecutaba una vez al día, tal vez de noche, y generaba resultados al día siguiente, y este tipo de datos continuos (cortos tiempos de interacción) con los que tenía que ponerse al día. Queríamos poder hacer algo que había existido en la academia por un tiempo, pero no era realmente una cosa convencional, que es poder aprovechar y procesar flujos de datos a medida que se generan, en lugar de como se quedaron ".
Bien. Eso es exactamente lo que Confluent ahora busca hacer con datos empresariales de todas las formas y tamaños. ¿La oportunidad en juego? Greenfield Francamente, en toda la historia del software empresarial, se podría argumentar que el mercado direccionable para esta tecnología se lleva la palma. No hay una sola organización grande, ni siquiera una pequeña empresa con muchos datos, que no pueda beneficiarse enormemente de esta tecnología.
Esto es especialmente cierto debido al aspecto neurológico de esta tecnología; no solo las mentes involucradas, sino la naturaleza de lo que Kafka hace por los sistemas de información. Debido a que Kafka se puede usar para administrar el movimiento de datos en una organización, se puede ver como algo más que un simple policía de tráfico, sino más bien el cerebro de la operación en sí. Estaban en las primeras etapas de esa visión, pero tenga la seguridad de que es real.
Cómo Kafka cambiará la gestión de datos
Para comprender cómo Kafka cambiará la naturaleza de la gestión de datos, solo piense en las formas en que LinkedIn ha cambiado las redes. Encontrar colegas se hizo mucho más fácil; mantenerse en contacto con la gente ahora es muy fácil. Kafka hará por los sistemas de información lo que LinkedIn hace por la gente de negocios: mantenerlos conectados en los rangos más amplios de esta tierra.
El spin-off de Confluent es emblemático de algo que podríamos llamar la Nueva Innovación, un movimiento impulsado por el desacoplamiento del desarrollo de software y la mentalidad de código cerrado, guiado por los creadores de tecnología de código abierto, impulsado por grandes cantidades de capital de riesgo, monetizado por empresas con fines de lucro que buscan revolucionar la forma en que las organizaciones y las personas crean, recopilan, analizan y aprovechan los datos.
Citando a Franz Kafka: "Desde cierto punto en adelante, ya no hay vuelta atrás. Ese es el punto que se debe alcanzar".
Hemos pasado el Rubicón. No hay vuelta atrás ahora.