RSS map-reduce - 1/1 Blog article (8) articles (3) cours (6) module (7) paper (3)


map-reduce - 1/1#

Map Reduce et Skew Join#

2015-07-17

Le langage PIG s’occupe de beaucoup de choses pour celui qui l’utilise. Entre autres, il s’occupe de distribuer les calculs sans trop avoir d’a priori sur les données qu’il traite. Mais comment concevoir une répartition des calculs qui fonctionne pour la plupart des cas ? L’un des problèmes les plus fréquents est celui du skewed join : on cherche à fusionner deux tables dont les clés ne sont pas distribuée de manière uniforme, loin de là. L’article suivant Assignment Problems of Different-Sized Inputs in MapReduce creuse aborde quelques aspects de cette problématique.

article


RSS map-reduce - 1/1 2022-10 (1) 2022-12 (2) 2023-01 (1) 2023-02 (1) 2023-04 (1)