Réaliser des cahiers des charges et des spécifications fonctionnelles a toujours été pénible. Utile mais rébarbatif. Et l’exécution, le « vrai travail », était très souvent préférée à tous les à-côté liés à la gestion de projet technique. Comment fait-on avec l’IA maintenant ?
L’IA remet en cause la façon dont nous travaillons et fait gagner beaucoup de temps, mais pas forcément là où nous le souhaiterions… Nous pensions que l’IA nous libérerait de la corvée des cahiers des charges. En réalité, elle nous oblige à être encore plus précis.
Quand nous tatônnons avec l’IA à travers une fenêtre de chat, nous sommes tous enclins à vouloir en faire le moins possible. L’apparence d’intelligence dont sont équipés les outils IA nous berne : parce qu’ils sont impressionnants, nous pensons qu’ils nous comprennent, nous ressemblent et cheminent de la même manière que nos cerveaux humains. Évidemment, ce n’est pas le cas et ces outils jouent de nos biais pour mieux se rendre indispensables.
Le piège de l’effet « Wahou »
Les effets de bord ne se font pas forcément voir lorsqu’on les utilise pour des tâches uniques. Un prompt + idéalement un contexte efficace permet d’obtenir un premier jet que nous modifions/complétons et au bout de quelques essais, le résultat est suffisant pour être exploité.
C’est lorsqu’on tente de réutiliser, de généraliser et d’industrialiser que les soucis commencent à arriver :
- L’aléa du probabiliste : ce qui fonctionne aujourd’hui peut dérailler demain sans raison apparente ;
- Le manque de flexibilité contextuelle : ce qui fonctionne parfaitement dans une situation échoue lamentablement dans une autre ;
- La standardisation : à force de répéter les mêmes prompts, les contenus finissent par tous se ressembler ;
- La baisse de qualité : les résultats semblent de moins en moins bons au fil du temps…
Quatre types d’actions (correctives) deviennent alors nécessaires :
- Ajouter un meilleur contexte ;
- Mettre en place des garde-fous avec des listes de ce qui est autorisé et de ce qui est interdit ;
- Proposer des exemples de résultats pour corroborer les demandes ;
- Mettre en place des points d’étape de vérifications.
Chemin faisant, d’autres problèmes surgissent. S’il y a trop d’instructions, l’IA oublie de tout prendre en compte (il faut des sous-agents spécialisés). S’il y a trop de vérifications humaines, on perd le bénéfice de l’automatisation (et l’humain valide sans vraiment vérifier). Et enfin, s’il y a trop d’agents pour vérifier, la facture de tokens s’envole (il faut alors choisir des modèles adaptés à chaque usage).
L’effet papillon : quand l’IA amplifie nos approximations
En fait, chaque étape doit être suffisamment cadrée pour qu’il n’y ait pas d’effet boule de neige. L’IA peut produire beaucoup. Et à chaque étape, elle amplifie.
C’est similaire à l’effet papillon : d’infimes variations répétées un grand nombre de fois vont aboutir à des résultats très différents au final. L’IA amplifie donc : si tout est bien carré, le gain est conséquent. Si le travail initial est approximatif, les résultats obtenus deviendront de plus en plus mauvais à chaque étape.
On en revient donc à mon introduction. Pour bien bosser avec les IA, il faut être intransigeant et explicite. Dit autrement, tout doit être bordé. Un peu comme quand on rédige un cahier des charges et des specs.
Si les résultats ne sont pas à la hauteur, c’est que notre demande n’est pas suffisamment qualitative.
Parallèle avec l’externalisation offshore
On peut faire l’analogie avec la délégation de travail offshore. Lorsque vous êtes chef de projet et que vous avez le client pas loin ainsi que les développeurs sous la main, il est facile de préciser un point, d’ajuster, de compléter.
Si vous avez été tenté d’externaliser des chantiers dev (au Maghreb, en Inde), vous avez certainement constaté, dans la douleur, que l’éloignement physique, la différence de culture, les « c’était évident » et les faiblesses dans les documents transmis génèrent des livrables bancals – alors que le cahier des charges est parfaitement respecté. Si on cadre mal le brief à un dev au bout du monde, le code sera propre mais à côté de la plaque.
Avec l’IA, c’est exactement la même chose. Elle prend tout au pied de la lettre. Pour bien travailler avec elle, il faut être intransigeant et explicite. Tout doit être bordé.
La promesse des agents : entre contrôle et autonomie
Et en même temps, s’il faut tout détailler au maximum, c’est une perte de temps et un mauvais usage des IA. Le fonctionnement des IA est probabiliste et la masse de connaissances qu’elles ont intégrées sont 2 leviers sur lesquels il faut miser.
Il faut arriver à trouver le juste milieu entre le respect de nos exigences et leur autonomie d’exécution pour atteindre l’objectif fixé.
C’est une des faiblesses des outils d’automatisation (Make, N8N) qui sont basés sur une logique stricte et une des promesses des agents IA qui sont conçus pour l’autonomie guidée.
Tout ça pour dire que pour me construire un agent « Assistant de publication sur les réseaux sociaux » en V1 (proposition de contenus, vérifications, sans publication ni calendrier édito), j’ai subi un véritable interrogatoire de la part de mon agent orchestrateur (plus de 70 questions) à qui j’ai demandé de m’épauler dans la création de cet agent dédié. Il m’a généré skill dédiée, chemin, rôle, périmètre, règles, intégrations, garde-fous, références. Tout bien packagé et prêt à être utilisé.
Les fondations sont longues à construire mais ça marche bien, ça n’hallucine pas et la qualité ne se détériore pas au fil des générations. Je verrai bien si dans 6 mois et quelques centaines de publications plus tard, le discours sera le même…
L’IA ne nous dispense pas de réfléchir, elle va au contraire nous forcer à rationaliser nos processus comme jamais auparavant. Alors, prêts à briefer vos futurs agents ?