Ce qu'un modèle multimodal peut voir
Au-delà du texte : image en entrée
Un modèle multimodal (la plupart des grands modèles récents : Claude, GPT-4/5, Gemini, certaines versions de Llama et Qwen) peut recevoir une image en entrée, en plus ou à la place de texte, et raisonner sur son contenu visuel.
Cas d'usage concrets pour l'IT et le support
| Usage | Exemple |
|---|---|
| Lecture de capture d'écran | Un utilisateur envoie une capture d'erreur, l'IA identifie le message et propose une solution |
| Analyse de schéma réseau | Décrire ou vérifier la cohérence d'un diagramme d'architecture |
| Extraction de données de document scanné | Lire un formulaire papier scanné, une facture photographiée |
| Lecture de graphiques | Interpréter un graphique de supervision (dashboard Grafana capturé en image) |
Comment ça fonctionne, à haut niveau
Le modèle convertit l'image en une représentation interne qu'il peut combiner avec le raisonnement textuel habituel, permettant de répondre à des questions sur le contenu visuel exactement comme il répondrait à une question sur du texte.
Utilisateur : [capture d'écran d'une erreur Windows] "Que
signifie ce message d'erreur et comment le résoudre ?"
Modèle : "Ce message indique une erreur de pilote graphique
(code 0x...). Voici les étapes pour le résoudre : ..."
Les limites de la vision actuelle
- Texte très petit ou de mauvaise qualité dans une image peut être mal lu (hallucination sur le contenu exact).
- Comptage précis d'éléments dans une image complexe (nombre exact d'objets) reste une faiblesse fréquente des modèles actuels.
- Interprétation de graphiques très denses peut manquer de précision sur des valeurs exactes, mieux vaut fournir les données brutes si la précision est critique.
Cas concret
Un technicien support reçoit une capture d'écran d'un message d'erreur Windows illisible à l'oral pour l'utilisateur qui l'a envoyée. Plutôt que de demander à l'utilisateur de retaper le message exact (souvent source d'erreurs de transcription), le technicien soumet directement l'image à un modèle multimodal, qui identifie le code d'erreur précis et propose une piste de résolution basée sur ce code, accélérant le diagnostic sans aller-retour supplémentaire avec l'utilisateur.
Erreurs fréquentes
- Faire une confiance totale à une lecture de texte très petit ou flou dans une image, un cas où le modèle peut halluciner un contenu plausible mais incorrect.
- Demander un comptage précis d'éléments dans une image complexe sans vérification, une tâche où les modèles actuels restent souvent peu fiables.
- Ignorer que la qualité de l'image d'entrée influence directement la qualité de l'analyse, une image floue ou mal cadrée dégradant significativement la fiabilité de la réponse.
À retenir
- Un modèle multimodal (Claude, GPT, Gemini et d'autres) peut recevoir une image en entrée et raisonner sur son contenu visuel.
- Les cas d'usage IT courants incluent la lecture de captures d'erreur, l'analyse de schémas, et l'extraction de données de documents scannés.
- Les modèles restent moins fiables sur le texte très petit/flou, le comptage précis d'éléments, et les graphiques très denses.
Mini-exercice
Un technicien reçoit une capture d'écran d'erreur difficile à décrire par téléphone par l'utilisateur. Quelle approche est plus fiable qu'une transcription orale du message d'erreur ?
Réponse : soumettre directement l'image de la capture d'écran à un modèle multimodal, qui peut lire précisément le code d'erreur et le message exact, évitant les erreurs de transcription orale souvent présentes quand un utilisateur non technique tente de retranscrire un message d'erreur complexe.