Contenido
- Definición - ¿Qué significa MapReduce?
- Una introducción a Microsoft Azure y la nube de Microsoft | A lo largo de esta guía, aprenderá de qué se trata la computación en la nube y cómo Microsoft Azure puede ayudarlo a migrar y administrar su negocio desde la nube.
- Techopedia explica MapReduce
Definición - ¿Qué significa MapReduce?
MapReduce es un modelo de programación introducido por Google para procesar y generar grandes conjuntos de datos en grupos de computadoras.
Google primero formuló el marco con el propósito de servir la indexación de páginas web de Google, y el nuevo marco reemplazó los algoritmos de indexación anteriores. Los desarrolladores principiantes consideran que el marco MapReduce es beneficioso porque las rutinas de la biblioteca se pueden usar para crear programas paralelos sin preocuparse por la comunicación infra-cluster, el monitoreo de tareas o los procesos de manejo de fallas.
MapReduce se ejecuta en un gran grupo de máquinas de productos básicos y es altamente escalable. Tiene varias formas de implementación proporcionadas por múltiples lenguajes de programación, como Java, C # y C ++.
Una introducción a Microsoft Azure y la nube de Microsoft | A lo largo de esta guía, aprenderá de qué se trata la computación en la nube y cómo Microsoft Azure puede ayudarlo a migrar y administrar su negocio desde la nube.
Techopedia explica MapReduce
El marco de MapReduce tiene dos partes:
- Una función llamada "Mapa", que permite que diferentes puntos del clúster distribuido distribuyan su trabajo
- Una función llamada "Reducir", que está diseñada para reducir la forma final de los resultados de los clústeres en una salida
La principal ventaja del marco MapReduce es su tolerancia a fallas, donde se esperan informes periódicos de cada nodo en el clúster cuando se completa el trabajo.
Una tarea se transfiere de un nodo a otro. Si el nodo maestro nota que un nodo ha estado en silencio durante un intervalo más largo de lo esperado, el nodo principal realiza el proceso de reasignación a la tarea congelada / demorada.
El marco MapReduce está inspirado en las funciones "Mapa" y "Reducir" utilizadas en la programación funcional. El procesamiento computacional ocurre en los datos almacenados en un sistema de archivos o dentro de una base de datos, que toma un conjunto de valores de clave de entrada y produce un conjunto de valores de clave de salida.
Cada día, numerosos programas de MapReduce y trabajos de MapReduce se ejecutan en grupos de Google. Los programas se paralelizan y ejecutan automáticamente en un gran grupo de máquinas comerciales. El sistema de tiempo de ejecución se ocupa de particionar los datos de entrada, programar la ejecución de los programas en un conjunto de máquinas, manejar las fallas de la máquina y administrar la comunicación entre máquinas requerida. Los programadores sin experiencia con sistemas paralelos y distribuidos pueden usar fácilmente los recursos de un gran sistema distribuido.
MapReduce se utiliza en grep distribuido, ordenación distribuida, inversión de gráficos de enlaces web, estadísticas de registro de acceso web, agrupación de documentos, aprendizaje automático y traducción automática estadística.