IA et automatisation

Comment j'ai appris que les LLM ne "comprennent" pas le contexte (et comment travailler avec eux de toute façon)


Personas

SaaS et Startup

ROI

À court terme (< 3 mois)

De l'année dernière, je construisais des flux de travail IA pour plusieurs projets clients quand je suis tombé sur un mur qui a complètement changé ma façon de penser aux LLM. J'essayais de faire en sorte que l'IA génère un contenu cohérent et de haute qualité pour un client de commerce électronique avec plus de 3 000 produits dans 8 langues. Les résultats étaient... incohérents, pour le dire gentiment.

Un jour, l'IA réussissait parfaitement la description du produit. Le lendemain, avec des prompts apparemment identiques, elle produisait des déchets génériques. Je la traitais comme un stagiaire intelligent qui avait juste besoin de meilleures instructions. Grosse erreur.

Voici ce que la plupart des gens se trompent à propos des LLM et du contexte : ils pensent que ces systèmes « comprennent » comme les humains. Ce n'est pas le cas. Mais une fois que vous comprenez comment ils traitent réellement l'information, vous pouvez construire des systèmes qui fonctionnent de manière cohérente.

Dans ce manuel, vous apprendrez :

  • Pourquoi les LLM sont des machines à motifs, pas des machines à penser (et pourquoi cela importe pour votre entreprise)

  • La vraie façon dont les LLM traitent le contexte (ce n'est pas ce que vous pensez)

  • Mon système à 3 couches pour construire des flux de travail IA fiables qui fonctionnent réellement

  • Comment structurer les prompts pour obtenir des résultats cohérents

  • L'approche de la base de connaissances qui a résolu les problèmes de contenu de mon client

Cela ne parle pas des dernières tendances en IA ou des possibilités théoriques. Il s'agit de ce qui fonctionne réellement lorsque vous devez automatiser le contenu commercial avec l'IA à grande échelle.

Vérifier la réalité

Ce que tout le monde se trompe sur la compréhension de l'IA

Entrez dans n'importe quelle conférence d'affaires aujourd'hui et vous entendrez les mêmes promesses sur l'IA "comprenant" le contexte de votre entreprise. Les vendeurs proposent des solutions qui "apprendront la voix de votre marque" et "comprendre vos clients" comme le ferait un employé humain.

Le conseil standard va comme suit :

  1. Donnez-lui vos données et elle "apprendra" votre entreprise

  2. Rédigez des instructions détaillées expliquant ce que vous voulez

  3. Laissez l'IA trouver le reste grâce à sa "compréhension"

  4. Itérez et améliorez en fonction de son "apprentissage"

  5. Développez avec confiance à mesure qu'elle devient "plus intelligente"

Cette approche existe parce qu'il est plus facile de vendre l'IA comme "intelligence artificielle" plutôt que "correspondance de modèles avancée". Le marketing s'écrit tout seul : "Elle pense comme votre meilleur employé !" "Elle comprend votre entreprise !" "Elle apprend de chaque interaction !"

Voici où cela s'effondre en pratique : les LLM n'"comprennent" en fait rien. Ce sont des systèmes de reconnaissance de motifs incroyablement sophistiqués qui prédisent le mot suivant le plus probable en fonction des données d'apprentissage. Lorsque vous demandez à ChatGPT de "comprendre" la voix de votre marque, il ne construit pas un modèle mental de votre entreprise. Il trouve des motifs dans le texte qui correspondent à ce que vous avez décrit et génère des motifs similaires.

Ce n'est pas une limitation—c'est ainsi que fonctionne la technologie. Et une fois que vous arrêtez d'attendre une compréhension semblable à celle des humains, vous pouvez construire des systèmes qui livrent réellement des résultats cohérents. La clé est de travailler avec les capacités réelles de la machine plutôt que de lutter contre ses limitations.

Qui suis-je

Considérez-moi comme votre complice business.

7 ans d'expérience freelance avec des SaaS et Ecommerce.

Mon appel au réveil est venu pendant que je travaillais sur ce projet massif de commerce électronique. Le client avait plus de 3 000 produits et avait besoin de contenu généré en 8 langues différentes. Je pensais pouvoir simplement alimenter l'IA avec des exemples et la laisser "apprendre" le modèle.

Tout d'abord, j'ai essayé l'approche standard que tout le monde recommande. J'ai écrit des instructions détaillées expliquant la voix de la marque, donné des exemples de bonnes descriptions de produits, et demandé à l'IA de "comprendre" le style. Les résultats étaient variés. Parfois brillants, souvent moyens, occasionnellement terribles.

Le client était frustré. "Pourquoi cela fonctionne-t-il parfaitement un jour et produit-il des déchets le lendemain ?" ont-ils demandé. Je n'avais pas de bonne réponse car je pensais encore à l'IA comme si c'était une personne qui pouvait apprendre et se souvenir.

C'est à ce moment-là que j'ai eu mon moment "eureka" lors d'une conversation avec des équipes de startups axées sur l'IA. Ils m'ont dit quelque chose qui a tout changé : "Arrêtez de penser à l'IA comme à une intelligence. Pensez à elle comme au système de saisie semi-automatique le plus avancé au monde."

Les LLMs traitent le contexte en décomposant votre entrée en jetons (environ des mots ou des parties de mots) et en prédisant ce qui devrait suivre en fonction des modèles qu'ils ont vus dans les données d'entraînement. Ils ne "se souviennent" pas des conversations précédentes ni ne "comprennent" vos objectifs commerciaux. Chaque interaction est essentiellement indépendante.

Lorsque vous demandez à un LLM d'écrire une description de produit, il ne pense pas "Qu'est-ce qui serait bon pour cette entreprise ?" Il pense "En se basant sur les modèles que j'ai vus, quel texte suit généralement ce type d'entrée ?" C'est pourquoi vous obtenez des résultats incohérents : de légers changements dans votre prompt peuvent déclencher des correspondances de modèles complètement différentes.

Une fois que j'ai compris cela, j'ai cessé d'essayer de rendre l'IA "intelligente" et j'ai commencé à la rendre cohérente. La solution n'était pas de meilleures instructions ou plus d'entraînement. C'était de meilleurs systèmes.

Mes expériences

Voici mon Playbooks

Ce que j'ai fini par faire et les résultats.

Voici le système à 3 couches que j'ai développé et qui a enfin résolu le problème de cohérence. Je l'appelle l'architecture Connaissance-Invite-Sortie, et il est basé sur le travail avec des LLM en tant que machines à motifs plutôt qu'en tant que machines à penser.

Couche 1 : Architecture de la base de connaissances

Au lieu de s'attendre à ce que l'IA "apprenne" votre entreprise, j'ai créé une base de connaissances structurée qui est intégrée dans chaque invite. Pour le projet de commerce électronique, cela incluait :

  • Base de données des spécifications des produits - détails techniques, matériaux, dimensions

  • Directives de voix de marque - phrases spécifiques, exemples de ton, mots à éviter

  • Modèles spécifiques à la catégorie - structures différentes pour l'électronique, la mode et les articles pour la maison

  • Glossaires de traduction - terminologie cohérente dans les 8 langues

L'idée clé : les LLM sont excellents pour suivre des modèles quand vous leur donnez le bon contexte à chaque fois. Ne les forcez pas à se souvenir—faites-les référencer.

Couche 2 : Ingénierie des invites pour la cohérence

J'ai développé des invites qui font UN travail spécifique correctement, plutôt que d'essayer d'être intelligentes sur plusieurs tâches. Chaque invite suit cette structure :

  1. Injection de contexte - Fournir des informations pertinentes de la base de connaissances

  2. Définitions spécifiques des tâches - Exactement ce qu'il faut produire, dans quel format

  3. Contraintes de sortie - Limites de longueur, éléments requis, règles de formatage

  4. Points de contrôle de qualité - Critères spécifiques que la sortie doit respecter

Au lieu de "Rédigez une bonne description de produit pour cet article," mes invites sont devenues : "En fonction des directives de marque fournies et des spécifications du produit, rédigez une description de produit suivant la structure du modèle pour [catégorie]. Incluez exactement 3 caractéristiques clés, 1 déclaration de bénéfice, et maintenez un [ton spécifique]. La sortie doit être comprise entre 50 et 75 mots."

Couche 3 : Contrôle qualité automatisé

Puisque les LLM ne "comprennent" pas la qualité, j'ai intégré un contrôle automatisé dans le flux de travail :

  • Validation de format - Vérifier la structure, la longueur, les éléments requis

  • Évaluation du contenu - Évaluer les sorties par rapport aux critères de qualité

  • Déclencheurs de régénération - Réessayer automatiquement si la sortie ne respecte pas les normes

  • File d'attente de relecture humaine - Signaler les cas particuliers pour une révision manuelle

Ce système reconnaît que les LLM produiront parfois des sorties de mauvaise qualité—non pas parce qu'ils sont défectueux, mais parce que c'est ainsi que fonctionne l'appariement de motifs. Au lieu de s'attendre à la perfection, j'ai construit des systèmes qui détectent et corrigent automatiquement les incohérences.

Fenêtres de contexte

Les LLM ont une "mémoire" limitée - généralement de 4 000 à 32 000 tokens. Toute votre conversation, votre base de connaissances et votre invite doivent tenir dans cette fenêtre.

Reconnaissance des modèles

Les LLM identifient des motifs dans vos entrées et génèrent des motifs similaires. Entrées cohérentes = sorties cohérentes. Entrées aléatoires = sorties aléatoires.

Traitement des jetons

Le texte est découpé en jetons (en gros des mots/parties de mots). Les LLM prédisent le jeton suivant en fonction des distributions de probabilité des données d'entraînement.

Limites du système

Les LLM ne peuvent pas accéder à des données externes, se souvenir des conversations passées ou apprendre de nouvelles informations. Chaque interaction est indépendante et sans état.

Les résultats parlaient d'eux-mêmes. Après avoir mis en œuvre ce système :

La cohérence s'est considérablement améliorée. Au lieu du taux de contenu utilisable de 40 à 60 % que j'obtenais avec des invitons "intelligents", le nouveau système a fourni 85 à 90 % de contenu utilisable dès la première génération. Le client pouvait enfin faire confiance aux résultats de l'IA.

La mise à l'échelle est devenue possible. Nous avons généré du contenu pour plus de 3 000 produits dans 8 langues en quelques semaines, et non en mois. L'automatisation s'est occupée de la majeure partie du travail pendant que les humains se concentraient sur la stratégie et les cas particuliers.

La qualité est restée élevée. Contre-intuitivement, contraindre davantage l'IA a amélioré les résultats. Quand vous cessez de lui demander d'être créatif et commencez à lui demander de suivre des modèles, la cohérence s'améliore.

Mais la plus grande victoire était philosophique : nous avons arrêté de lutter contre la technologie et avons commencé à travailler avec elle. Une fois que l'équipe a compris que l'IA n'essayait pas d'être intelligente, elle a pu construire de meilleurs systèmes autour de ses capacités réelles.

Cette approche alimente maintenant la génération de contenu pour plusieurs clients. Les mêmes principes fonctionnent que vous génériez des descriptions de produits, des articles de blog ou du contenu marketing SaaS. La clé est de construire des systèmes qui fonctionnent avec les capacités des LLM plutôt que contre leurs limitations.

Learnings

Ce que j'ai appris et les erreurs que j'ai commises.

Pour que vous ne les fassiez pas.

Voici les 7 leçons les plus importantes à retenir de la construction de systèmes d'IA fiables :

  1. Les LLMs sont des moteurs de motifs, pas des machines à penser. Une fois que vous acceptez cela, vous pouvez construire de meilleurs systèmes autour de leurs capacités réelles.

  2. La cohérence l'emporte sur la créativité pour les applications commerciales. La plupart des entreprises ont besoin de contenu fiable et suffisamment bon plus que de contenu brillamment occasionnel.

  3. Le contexte est tout, mais ce n'est pas "la compréhension". Fournissez le même contexte de haute qualité chaque fois et vous obtiendrez des résultats cohérents.

  4. Un travail par prompt fonctionne mieux que des prompts multi-tâches. Les outils spécialisés surpassent les couteaux suisses pour les flux de travail commerciaux.

  5. Intégrez le contrôle de qualité dans le système, pas dans l'IA. Attendez-vous à ce que certains résultats soient médiocres et prévoyez-le.

  6. Humain + IA bat toujours IA seul. Utilisez l'IA pour l'échelle et les humains pour la stratégie, les cas particuliers et le contrôle de qualité.

  7. Commencez par des contraintes, pas par la créativité. Plus vos exigences sont spécifiques, meilleurs seront vos résultats.

Ce que je ferais différemment : Commencer avec l'architecture de la base de connaissances dès le premier jour. J'ai perdu des mois à essayer de faire fonctionner des prompts "intelligents" alors que j'aurais dû me concentrer sur la construction d'approches systématiques pour le contexte et la cohérence.

Cette approche fonctionne mieux pour les entreprises qui ont besoin d'une génération de contenu cohérente et évolutive. Elle est moins adaptée aux travaux véritablement créatifs où l'imprévisibilité pourrait être précieuse.

Comment vous pouvez adapter cela à votre entreprise

Mon playbook, condensé pour votre cas.

Pour votre SaaS / Startup

Pour les entreprises SaaS cherchant à mettre en œuvre cette approche :

  • Commencez par la documentation produit - articles d'aide, descriptions de fonctionnalités, contenu d'intégration

  • Créez des bases de connaissances autour des fonctionnalités de votre produit, des personas utilisateurs et de la voix de la marque

  • Créez des invites spécialisées pour différents types de contenu plutôt qu'une invite à usage général

Pour votre boutique Ecommerce

Pour les boutiques e-commerce mettant en œuvre ce système :

  • Concentrez-vous d'abord sur les descriptions de produits - contenu le plus volumineux, le plus standardisé

  • Créez des modèles spécifiques aux catégories car différents produits nécessitent différentes informations

  • Incluez les exigences SEO dans la structure de votre prompt pour une meilleure visibilité organique

Obtenez plus de Playbooks comme celui-ci dans ma newsletter