Le Standish Group nous aurait-il trompés ?

Le Standish Group nous aurait-il trompés ?

20 septembre 2006

Tous les experts en systèmes d'information citent le Chaos Report qu'a publié le Standish Group en 1994. Le titre correspondait au contenu : d'après ce rapport 31 % des projets informatiques sont arrêtés en cours de route, 52 % n'aboutissent qu'au prix d'un important dépassement des délais et du budget et en offrant moins de fonctionnalités qu'il n'en était demandé ; seuls 16 % des projets peuvent être considérés comme des succès.

Par la suite le Standish Group a mis à jour ses évaluations. Une amélioration est apparue mais les ordres de grandeurs sont restés inquiétants (voir p. 453 de De l'Informatique). Comme tous ceux qui veulent alerter les dirigeants sur les risques que comporte un projet informatique, j'ai souvent cité ces statistiques qui d'ailleurs ne me paraissaient pas invraisemblables.

Or un article publié dans Communications of the ACM, revue respectée dans la profession, met en doute les résultats du Standish Group [1].

Glass dit qu'il n'a pas pu, malgré plusieurs demandes, obtenir d'information sur les méthodes d'enquête du Standish Group. Il les soupçonne d'être biaisées, les questions étant formulées de façon à obtenir un résultat pessimiste. Il cite une phrase, extraite du rapport, qui donne à penser qu'elles sont en effet orientées : "Nous avons, par téléphone ou par la poste, interrogé de façon confidentielle un échantillon aléatoire de DSI à qui nous avons demandé de nous parler de leurs échecs" [2].

Glass estime qu'il n'est pas possible que les statistiques du Standish Group soient exactes : si nous nous trouvons dans "l'ère de l'informatique", dit-il, c'est parce que beaucoup de projets ont réussi.

On peut lui objecter qu'il existe une grande différence entre les projets qui construisent l'informatique - systèmes d'exploitation, langages de programmation, "briques" de l'architecture technique -, auxquels se consacrent des armées de professionnels très qualifiés, et les projets qui, réalisés par ou pour les entreprises dans des conditions sans doute moins favorables, utilisent l'informatique.

Ce sont ces derniers projets que le Standish Group a étudié et notamment ceux, les plus fragiles, qui sont destinés à l'informatique de gestion (voir Ingénierie de système et système d'information).

Il faudrait en tout cas que le Standish Group décrivît clairement ses méthodes d'enquête, sans quoi aucun expert sérieux ne pourra plus citer les résultats qu'il a obtenus - et ce serait grand dommage.

__________________

[1] Robert L. Glass, "The Standish Report: Does It Really Describe a Software Crisis?", Communications of the ACM, août 2006, p. 15.

[2] "We then called and mailed a number of confidential surveys to a random sample of top IT executives, asking them to share failure stories".

Pour lire un peu plus :
- De l'Informatique
- Ingénierie de système et système d'information