Programmation large échelle

L'objectif de cet enseignement est de former les étudiants aux méthodes de programmation pour la manipulation des données massives. Dans ce contexte, les problèmes et les enjeux de la manipulation des BigData seront abordés. Dans le cours nous nous concentrerons sur l'éco-système Hadoop qui est la référence dans ce domaine. Nous commencerons par l'étude du système de fichier HDFS ainsi que de l'API JAVA permettant de le manipuler. Nous aborderons ensuite le paradigme de programmation MapReduce en utlisant l'API standard de Hadoop2 mais aussi SPARK. Les design pattern standards de programmation Map/Reduce seront étudiés dans ce contexte. Enfin, nous aborderons les API de programmation de la base de données de Hadoop HBASE.