Nos expertises Nous sommes Notre méthode Nous rejoindre

Une plateforme Big Data qui rivalise avec les GAFA.


CONTACTEZ-NOUS

Le contexte

Bâtir une plateforme Big Data temps réel capable de gérer des volumes à "l’infini"

Synthesio est le leader mondial de l’e-reputation. Il crawle et analyse des centaines de milliards de contenus issus des réseaux sociaux, et génère des rapports en quasi temps-réel.

Pour maîtriser un volume de données en croissance constante, Synthesio a lancé le projet de la refonte totale de sa plateforme digitale.

La plateforme existante approchait ses limites, en termes de volume, en termes de performance, et en terme de coût de transaction unitaire.

Le problème posé était de refondre entièrement les bases de l’infrastructure employée, pour pouvoir relever le défi d’un nombre croissant de traitements et l’augmentation de l’information récoltée. Synthesio souhaitait aussi repousser le seuil d’obsolescence et construire une solution anticipant les défis à venir.

La réponse proposée fut une architecture massivement décentralisée et massivement distribuée  pour un traitement “really” Big Data.

Les missions

Une Squad mixte composée de nos experts avec l'équipe de notre client a déployé la démarche agile et délivré de manière continue la première version en impliquant fortement les utilisateurs décideurs métiers.

  • Définition de l’architecture fonctionnelle et conception d’une architecture réactive.
  • Livraison du projet en trois étapes :  POC (Proof of Concept) pour valider les choix et confirmer les performances attendues; MVP technique et fonctionnel; lancement du POD (Proof of Delivery) :
  • base de données distribuée, processing décentralisé, etc,
  • construction de crawlers intelligents,
  • recueil temps réel des requêtes de recherche faites par le client,
  • implémentation d’algorithmes émotionnels (emotional computing),

Nous avons autonomisation des équipes de Synthésio en les associant au au développement de la solution. À la fin du projet nous avons fournis le support dans les premières évolutions menées en mode autonome.

Les enjeux

Nous avons bâti une plateforme infiniment scalable pour anticiper tous les défis à venir en prennent en compte les enjeux de Synthesio :

Opérer une rupture technologique rapide dans la continuité du business. La nouvelle plateforme a été conçue et réalisée avec l’exigence de la compatibilité avec toutes les données existantes : archives, indexes, pondérations, etc.

Bâtir une architecture performante aussi bien en faible charge qu’en très hautes sollicitations. Construire une architecture technique qui permet de faire face à des volumes très élevés mais dont les coûts restent maîtrisés lorsqu’elle fonctionne à faible charge.

Adopter des concepts disruptifs sans perdre l’adhésion des experts internes. Pour résoudre les contraintes de performance et de volumétrie, des choix techniques et fonctionnels ont été adoptés suite à des test de prototypes menés de manière conjointe.

Technologies

Pour la réalisation de ce projet nous avons mis en place une architecture massivement décentralisée et massivement distribuée. Les technologies utilisées : Scala, Spark, Elastic search, HDFS.

Les résultats

  • La plateforme repose sur les technologies et les architectures déployées par les GAFA.
  • Elle est capable de grandir (en terme de volumes traités) au même rythme que les médias sociaux qu’elle observe.
  • Le temps de génération des rapports clients s’approche du temps réel.
Sacralisez votre Data !