La situation des données disponibles pour les entreprises se caractérise aujourd’hui par une volumétrie importante et une grande variété dans les sources et les types des données. Des dimensions supplémentaires telles que la temporalité et la vélocité doivent être prises en compte, avec des données qui changent en temps réel par exemple. Tout cela rend difficile le travail des spécialistes des données.
En moyenne, nous consommons 25 trillions d’octets de données tous les jours. Ces différents flux d’informations sont constitués par les vidéos publiées, les différents messages envoyés, les informations climatiques, les enregistrements des transactions en lignes et les signaux GPS, les publications sur les applications sociales, les données provenant d’objets connectés, etc.
Le concept de la « Big Data » fait référence aux techniques de collecte, stockage et manipulation de ces « données massives », les techniques et outils classiques étant limités pour de telles contraintes. Ces techniques sont nées grâce aux équipes d’ingénieurs des géants du web en particulier Facebook et Google, et se sont popularisées avec le temps en donnant naissance à des technologies open source. C’est le cas de Hadoop et Spark par exemple qui utilisent la Big data.
