Nicolas Guillaume

MapReduce, Big Data et…PFM

J'ai participé au petit déjeuner "MapReduce, la révolution dans l’analyse des Big Data" organisé par OCTO et Platform le 27 septembre 2011.

MapReduce est la technologie de répartition des traitements sur une multitude de machines bon marchés (“pizza box”) situées dans des data-centers géants développées par Google pour servir d'infrastructure pour l'ensemble de ses services (Search, Gmail,…). Elle est associée à la gestion de fichiers (GFS - Google File System) et la répartition des données (Big table).

Cette technologie a été partagée par Google et a fait l'objet d'une implémentation open source sous l'égide de la fondation Apache : Hadoop. Il est composé de HDFS (Hadoop Distributed File System), Hbase (répartition des données) et MapReduce (répartition des traitements).

Cette technologie est associé aux notions de :

• "Web temps réel" introduit notamment par Facebook et Twitter qui permettent des interactions quasi temps réel et très personnalisées au sein de communautés d'utilisateurs de volumes très importants
• "NO SQL" qui remet en cause les technologies relationnelles traditionnelles de gestion de données qui ne sont pas capable de supporter des traitements temps réel sur de très hautes volumétrie d'utilisateurs avec des historiques complets et basé sur une répartition très forte des traitement
• "Big Data" lié à l'augmentation gigantesque des données mis à disposition sur le web et à la digitalisation croissante des flux d'information de notre société et derrière à l'émergence d'un nouveau monde de services exploitant ces données.
• Ces technologies "NO SQL", "Big Data" et "MapReduce" ont rendu possible et ont été à la base du développement de nouveaux services tels que Facebook et Twitter reposant sur une exploitation beaucoup plus intensive des données et dans des conditions économiques beaucoup moins couteuses (que les technologies relationnelles ou de datawarehouse traditionnelles).

Julien Cabot, Directeur de la practice Capital Market chez OCTO a fait une présentation des "enjeux métiers" pour les entreprises lié aux nouvelles technologies des données représentées par MapReduce.

J'en ai retenu les points suivants :

• Cela modifie la vision traditionnelle des données vers une vision plus extensive des données qui ne se limite pas aux données structurées de l'entreprise mais s'ouvre aussi aux données semi-structurées (XML, CSV), aux données quasi-structurées (log, flux RSS) et aux données non structurées (documents, videos) à la fois interne mais aussi externes à l'entreprise (exemple type : associé un flux twitter à des données d'application métier d'entreprise).
• Il s'agit d'un modèle d'exploitation plus "brute" des données : cela évite le nettoyage ou la mise en forme des données qui sont des processus très lourds et contraignants. Les données sont prises brutes. Il n'y a pas d'échantillonnage. Elles sont prises dans leur totalité et notamment avec l'ensemble de leur historique. L'approche est plus statistique que exhaustive : si 80% des données sont exploitées et 20% rejetées ce n'est pas un problème.
• Cela correspond à une logique de décloisonnement par rapport aux silos organisationnels de données ou aux processus d'entreprise.
• L'objectif est orienté découverte de comportement, d'association, de modèle (pattern).
• Tout un écosystème s'est constitué autour de cela :
• Intégration des données : Sqoop (données relationnelles), Flume, Chukwa, Scribe, Kafka (données de log)
• Supervision : Hue, Platform
• Requêtage : Pig, Hive
• Visualisation : IBM Big Sheet, Pentaho, Hue Beeswax
• Traitement : Mahout, Huma
• Workflow : Oozie, Azkaban

Ces technologies sont exploitables en cloud privé dans différentes configurations avec des offres d’acteurs tels que Platform, Cloudera, IBM InfoSphere BigInsights, MapR, Hortonworks, etc.

Microsoft a aussi un projet de "MapReduce like" Dryad.

Amazon possède une offre en cloud public Amazon Elastic Map Reduce.

Et il est possible de combiner cloud public et privé.

 

A quoi cela sert-il ?

Nous vivons dans un monde de plus en plus numérique où chaque utilisateur produit un flux de plus en plus important  de données en temps réel et voit des aspects de plus en plus étendu de ses activités s'incarner de manière virtuelle.

On voit déjà tout le potentiel de l'exploitation de ces données et de ce partage (maitrisé) dans des applications comme Facebook (réseau social), Twitter (flux d'information), Foursquare (geolocalisation), Runkeeper (course), Spotify (musique), etc…

Le partage de l'information entre les fournisseurs et les utilisateurs et entre utilisateurs recèle un potentiel d'amélioration gigantesque comme l'illustre le programme de recherche MyData mené en Angleterre.

Et nous ne sommes qu'au début de cette évolution qui est une tendance sociétale de fond (voir ces deux articles "Vers un monde de données" et "La nouvelle science des données"). Je vous recommande aussi le blog d'OCTO (et notamment cet article).

Soit dit en passant, les données les plus riches, celles porteuses de la plus grande valeur ajoutée en terme d'information sur soi sont les données bancaires. Elles en disent bien plus que les données de communications interpersonnelles, d'information ou de géolocalisation. Dans la banque c'est le domaine du Personal Finance Management (PFM) (ou gestionnaire de budget) qui commence à bouger en France avec Money Center de Boursorama et des startups comme Linxo ou Monyspot (et un nouveau pas encore sorti Bankeen – ex Perspecteev, une startup du Camping) (mais nous sommes en retrait par rapport à ce qui existe aux USA et en Europe dont j'ai donné un aperçu lors d'une précédente édition de Finovate.)

Soirée débat Les-crises.fr

J'ai assisté à la soirée débat organisée par Olivier Berruyer de (l'excellent) blog Les-crises.fr.

Ses contributions sont rassemblées dans son livre "STOP ! Tirons les leçons de la crise".

J'en tire les quelques réflexions suivantes :

Il y a deux équilibres fondamentaux :

• L'endettement souverain
• La balance extérieure.

Auxquels sont normalement attachés des mécanismes correcteurs :

• Si on emprunte trop, le poids des intérêt croitra de manière qu'ils absorberont l'essentiel, voire la totalité voire excèderont les montants des échéances remboursées. Cette situation ne peut alors que conduire les prêteurs à rationner voire à stopper leurs financements.
• Si la balance extérieure est déficitaire, le mécanisme est similaire car il faut soit emprunter des devises (donc s'endetter), soit en créer ce qui diminue la valeur de la monnaie. En régime de change flexible cela conduit à une baisse des parités monétaires qui rend les exportations plus compétitives et les importations plus couteuses.

Si on considère les zones USA, Europe et Chine, on a du mal à voir ces mécanismes correcteurs à l'œuvre :

• Les USA semblent emprunter au-delà de toutes capacités à rembourser depuis longtemps et ne semble pas décidé à tenter de corriger quoique ce soit. Néanmoins, si les USA diminuent de moitié les dépenses militaires, imposent une TVA à 20% et fiscalisent les plus riches le potentiel de prélèvement y reste important, sans compter la capacité de rebond et d'innovation dont les USA ont souvent fait preuve (on parlait du déclin et de la désindustrialisation des USA dans les années 80).
• L'Europe semble aussi emprunter au-delà de toutes capacités à rembourser depuis longtemps mais la conscience de la nécessité de rééquilibrage y est patent (y compris dans les populations). Le potentiel de réduction des dépenses militaires, d'augmentation du taux de TVA ou d'accélération du taux de croissance y semblent moins prometteur.
• La Chine maintient une parité administrée sous-évaluée de sa monnaie pour continuer à accumuler des excédents de réserve de change et des titres de dette au détriment de tout processus de rééquilibrage.
• Remarquons au passage que la Grèce a un petit coté américain puisque l'on pourrait y diviser les dépenses militaires par deux (les plus élevées d'Europe en % du PIB), y imposer les armateurs et l'Eglise (tous deux exonérés d'imposition), contrôler l'évasion fiscale (évaluée à 300 Mds €, le montant de la dette) et faire rentrer les impôts (il n'y a pas de cadastre informatisé en Grèce par exemple).

Est-ce qu'il est déjà trop tard ?

Il est difficile de répondre à cette question car le vrai problème c'est que l'on ne sait pas quel est le seuil et le timing de décrochage. Si on dispose de temps pour se rééquilibrer ou se préparer à contrôler sa glissade, on peut passer le point d'inflexion, même si, sur le papier, on est hors de la zone d'évolution (le Japon vit bien avec un endettement de 200% du PIB).

Comment en sortir ?

Pour l'endettement, il y a deux manière d'un sortir :

• La monétisation
• Le défaut

La monétisation consiste à émettre de la nouvelle monnaie pour payer ses dettes. Mais l'augmentation de la masse monétaire à activité constante porte un risque majeur : celui de générer de l'inflation. Jusqu'à présent, ce risque ne s'est pas concrétisé du fait de la pression sur les prix exercée par la mondialisation malgré des injections massives de liquidités. Celles-ci ont généré des phénomènes de bulles, sur l'immobilier, sur les produits cotés et surtout sur les produits financiers dérivés. Le financement des dettes souveraines par la monétisation a déjà été expérimenté : par la Fed lorsque celle-ci était le premier acheteur des émissions de dettes du trésor US ou, plus ponctuellement, par la BCE qui a acheté des titres de dettes souveraines en situation de tension. Une grande partie des émissions de dettes souveraines est néanmoins encore absorbé par le marché. Le passage à un financement exclusif par monétisation exercerait une tension d'une toute autre intensité sur l'inflation.

Et le problème de l'inflation, c'est qu'une fois enclenchée, on ne la contrôle pas. Elle se répand comme la monnaie et les mécanismes de contrôles nominaux (contrôle des prix) ont montré par le passé leur inefficacité. L'inflation permet certes "l'euthanasie des rentiers" mais le remède est pire que le mal car elle lamine tous ceux qui ne possèdent pas de pouvoir de négociation par rapport à leurs revenus (retraités, titulaires de transfert sociaux, fonctionnaires,…). L'inflation est l'équivalent d'un impôt sur les plus pauvres.

Le défaut consiste à dire à ses créanciers que l'on ne peut plus rembourser. Il peut être partiel ou total, porter sur les intérêts seuls ou le capital. Le problème du défaut, c'est qu'après il n'est plus possible de se représenter auprès de ses prêteurs pour leur emprunter avant 20 ou 50 ans. Il faut donc adapter ses dépenses à ses recettes (les impôts). Pour la France, le déficit étant d'environ 100 Mds € en 2011, la charge de la dette étant de 50 Mds €, il faut lever 50 Mds € d'impôts nouveaux par an ou réduire la dépense de 50 Mds € (ou n'importe quel panachage) pour se sortir de la situation par un défaut.

La caractérisation du défaut devient ici primordiale et la Grèce a permit de s'apercevoir combien ce point pouvait faire l'objet de créativité avec des défauts "volontaires" des créanciers ou des défauts "à la carte" (décote du capital, report de la date d'échéance ou "reprise" en dette des remboursements effectués).

Le défaut a cet avantage sur l'inflation que l'on peut essayer de le contrôler, de le gérer de manière sélective. L'inflation n'est jamais contrôlée et elle n'est pas sélective.

Olivier Berruyer utilise une image très concrète de la dette pour les citoyens qui se disent que "ils ne sont pas responsables". La dette est comme impôt que l'on aurait du payer mais que l'on a reporté mais qui reste du. Un impôt reporté qui a été cautionné par les générations de politiques de chaque bord qui se sont succédées depuis 25 ans. Certains précurseurs l'ont fait savoir. Raymond Barre, 1er ministre et ministre de l'économie de Valery Giscard d'Estain l'a dit en 1980. Alain Madelin, ministre de l'économie l'a dit dans les années 90. François Bayrou en a fait un thème de sa campagne en 2007 « Faire payer nos dépenses par nos enfants est irresponsable et criminel" et François Fillon, 1er ministre, l'a affirmé en 2007 "je suis à la tête d'un état en situation de faillite". Mais tétanisés par le tabou de la "rigueur", censé porter à la perte politique toute personne l'évoquant, ils ont eu raison trop tôt, alors que l'opinion le savait mais n'était pas prête à l'entendre.

On voit donc se dessiner un cadre de responsabilité entre des citoyens redevables d'un impôt reporté et des investisseurs s'étant imprudemment avancés à prêter à des états endettés au-delà du raisonnable. Et cela d'autant plus que qu'une partie des citoyens et des investisseurs sont en fait les mêmes.

Les proportions suivantes ont été donnée lors du débat sur l'origine des porteurs de dette française :

• 1/3 France

• 1/3 Europe (dont des produits composites européens portés par des français)

• 1/3 Reste du monde.

Il semblerait que la dette sur la France soit très concentrée en valeur sur une proportion faible (10%) des emprunteurs, détenteurs donc de gros portefeuilles obligataires souverains (des assurances-vie de plusieurs millions, dizaines ou centaines de millions d'euros notamment).

Ce sont des candidats privilégiés pour un "hair cut" (un défaut sélectif) et cela d'autant plus que les règles de garantie permettent, par ailleurs, de protéger la plus grande majorité des investisseurs (seuils de 100.000€ / personne en dépôt, garantie du capital nominal déposé en assurance-vie mais pas des intérêts générés pendant des dizaines d'années).

Un défaut "fiscalisatoire" si l'on peut dire.

Le point clé, c'est qu'il faut se préparer. Il faut avoir des plans, des options à exercer qui servent de "pare-feux" pour éviter une contagion de la crise. Et si elles ne sont pas prêtes à être exécutées, il ne faut pas compter sur elles. Dans la configuration actuelle non intégrée de l'Europe, on voit bien qu'aucune décision n'est possible en mode anticipatif.

Cela peut vouloir dire réaliser des défauts sélectifs ou au contraire circonscrire à la source le facteur de contagion.

Au début de la crise des subprimes aux USA, les prêts concernés représentaient environ 300 Md$. Si tous les pays du G20 s'étaient cotisés pour racheter ce montant, la crise n'aurait pas eu lieu. Au lieu de cela, ces 300 Md$ en ont contaminé de milliers de Mds de produits financiers qui avaient incorporés des tranches de subprimes. Mais effectivement que indirectement des contribuables français payent pour racheter des prêts immobiliers subprimes américains, je ne pense pas que l’opinion ait été prête à comprendre cela. C’était pourtant probablement la meilleure chose à faire.

300 Mds est le montant de la dette de la Grèce. C'est un montant très limité (en comparaison : France : 1800 Md€, Allemagne : 2000 Mds €, Europe : 10.000 Mds€, USA : 15.000 Mds$) que l'on pourrait absorber pour limiter toute contagion. Racheter l’ensemble de la dette grecque, c’est peut être la meilleure chose à faire aujourd’hui, notamment pour les allemands. Le faire comprendre à son opinion, c’est une toute autre affaire.

Se préparer, cela vaut aussi pour les banques qui doivent préparer leurs "testaments" ou comment elles se démantèlent de manière contrôlée en cas de crise systémique. Les banques sont totalement opposées à cette option de se préparer car cela réduirait leur "alea moral" par rapport à l'Etat. Si l'Etat a un plan, il peut décider d'organiser des défauts sélectifs limitant la contagion. S'il n'a pas de plan, c'est tout ou rien pour la banque. Et on sait que l'on ne peut pas jouer l'option rien.

Pour le moment, peu a été fait en ce sens et on n'a pas l'impression que les leçons de la crise de 2007-2008 ont été tirées.

Les autres sujets abordés lors de cette soirée débat (j'essaierai de les développer dans un prochain article) : la compétitivité, l'irrationalité du marché des CDS, le nouveau modèle de croissance.

Olivier organisera une prochaine soirée débat à fin octobre.

Enjeux de la Communication et Collaboration en Entreprise

J'ai donné un cours en MBA Management Global à l’Université Paris Dauphine sur le thème de la Communication et Collaboration en Entreprise.

La présentation est disponible sur slideshare.

J’y traite de :

• Histoire des outils
• Modèles de collaboration
• Outils et processus d’entreprise
• Problématiques de la collaboration
• Estompement des frontières de la collaboration

Le principal point est le constat que la productivité des activités intellectuelles n’est pas abordé de la bonne manière :

- La mesure et la décomposition du temps selon l’approche traditionnelle du “Bureau des méthodes” n’est pas pertinente.

- Les modes de traitement de l’information dépendent d’aspects culturels et générationnels (les Digital Natives ne travailleront pas de la même manière que leurs ainés avec des avantages et des inconvénients)

- De manière similaire, le volume d’emails, au cœur du constat de saturation de l’email, n’est pas absolu : on peut être noyé par 15 emails/jour ou être très à l’aise avec 100 emails/jours. Cela dépend des modes personnels de traitement…et ils sont variés.

- Il faut plutôt privilégier une approche de diversification des modes de traitement, chacun pouvant être plus spécialisés avec un regroupement de ces “gammes” de traitement par type (rôle) d’utilisateur.

 

Il fait suite à un précèdent cours que j’avais donné en Magistère de Gestion qui avait fait l’objet d’un article : Entreprise 2.0 : les référentiels sortent de l’entreprise.

 

J’avais déjà traité un certain nombre de thèmes dans des précédents articles :

- Productivité et organisation des activités collaboratives

- La fin du mail dans "l'architecture" de la productivité collaborative

 

Et plus particulièrement sur la place, les problématiques et les évolutions de l’email :

- Next Generation Mail : Toward a Personal Social CRM (présentation sur slideshare et article téléchargeable en anglais – présenté à la conférence NextMail'11)

- Futur du mail : le Social Personal CRM (le même article en français)

- Productivité du mail (un de mes trois premiers articles “fondateurs” sur le sujet avec une vue très complète de tous les aspects)

- A quoi pourrait ressembler le futur du mail ? (un de mes trois premiers articles “fondateurs” sur le sujet avec une vue très complète de tous les aspects)

- La banqueroute du mail (un de mes trois premiers articles “fondateurs” sur le sujet avec une vue très complète de tous les aspects)

 

J’ai aussi traité quelques sujets “périphériques” :

- Futur du mail : les protocoles (une série d’article descriptif sur l’écosystème de l’email…mais que je n’ai pas poursuivi au delà de ce premier article)

- Contact Management et CRM délégué (un article sur la gestion des contacts qui constitue une problématique à part entière).