L'IA connaît-elle le Code IMDG ? Ce que montre DGEval

De plus en plus d'équipes demandent à un assistant d'intelligence artificielle de retrouver un numéro ONU, une règle de séparation ou la rédaction d'un document de transport. La question n'est plus de savoir si l'IA est utilisée, mais si l'on peut se fier à ce qu'elle répond sur le Code IMDG. En septembre 2026, le National Cargo Bureau (NCB) a publié la première évaluation sérieuse sur ce point, baptisée DGEval. Ses résultats sont nets : utile pour dégrossir, pas fiable là où l'erreur coûte le plus cher.

1. DGEval : un banc d'essai construit sur le Code IMDG

L'étude a été menée par l'équipe Hazcheck du NCB avec l'université de Durham, et publiée en août 2026 sous forme d'article scientifique (arXiv 2608.21036), puis annoncée par le NCB le 8 septembre 2026.

• 13 modèles d'IA de six fournisseurs ont été testés.

• 1 678 questions, toutes fondées sur l'amendement 42-24 du Code IMDG.

• Quatre types d'exercices : 520 questions à choix multiples, 360 questions ouvertes, 485 lectures de la Liste des marchandises dangereuses (chapitre 3.2), et 313 questions demandant d'identifier la section exacte du Code qui fonde la réponse.

  
  

2. Des résultats très inégaux selon l'exercice

Moyenne de tous les modèles, puis meilleur score obtenu :

• Questions à choix multiples : 65,7 % en moyenne, 95,8 % pour le meilleur modèle.

• Questions ouvertes : 59,1 % en moyenne, 86,5 % au mieux.

• Lecture de la Liste des marchandises dangereuses : 54,9 % en moyenne, 89,6 % au mieux.

• Identification de la section exacte du Code : 14,2 % en moyenne, 36,8 % au mieux.

Sur les questions à choix multiples, deux modèles seulement dépassent le niveau moyen estimé des candidats humains, autour de 84 %. Et dès qu'il faut citer le bon paragraphe, même le meilleur se trompe près de deux fois sur trois.

⚠️ Le piège : une réponse rédigée avec assurance, accompagnée d'une référence au Code qui a l'air plausible. C'est précisément la référence qui est le plus souvent fausse.

3. Là où l'IA décroche : arrimage et séparation

Les auteurs relèvent les mêmes points faibles chez tous les modèles :

• Sur les questions à choix multiples, les sections consacrées à l'arrimage et à la séparation à bord plafonnent autour de 50 % de bonnes réponses, contre 82 à 85 % pour la classification et les procédures.

• Dans la Liste des marchandises dangereuses, les champs les plus difficiles sont ceux qui guident l'empotage et le chargement : code d'arrimage (39,8 % en moyenne), catégorie d'arrimage (36,1 %), code de séparation (25,5 %), dispositions spéciales (21,3 %) et groupe de séparation (18,4 %).

Ce sont exactement les informations des colonnes 16a et 16b que nous détaillons dans notre présentation de la Liste des marchandises dangereuses, et le cœur de notre article sur la séparation des marchandises dangereuses. Une IA qui se trompe une fois sur deux sur la séparation n'est pas un assistant : c'est un risque supplémentaire à contrôler.

L'étude a aussi testé l'accès à la recherche sur internet. Il améliore nettement la lecture de la Liste des marchandises dangereuses (+25 points en moyenne), mais n'apporte rien sur les questions de connaissance du Code.

4. Ce que j'en retiens pour vos équipes

Les auteurs concluent que ces modèles doivent rester des outils d'aide, et non des autorités, et qu'une supervision humaine restera indispensable tant qu'ils n'atteignent pas un score parfait sur les sujets sensibles. Aucun des modèles testés n'est validé pour prendre des décisions de conformité.

Concrètement :

• Utiliser l'IA pour dégrossir, jamais pour valider : un premier repérage, puis une vérification systématique dans le Code publié, édition en vigueur.

• Ne jamais reprendre une référence sans l'ouvrir : numéro ONU, disposition spéciale, code de séparation, paragraphe cité.

• Garder la décision à une personne formée : la déclaration signée engage l'expéditeur, pas l'outil qui l'a aidé à la rédiger.

• Former les équipes à chercher dans le Code : savoir où trouver l'information reste la meilleure protection contre une réponse fausse mais convaincante.

🔍 À lire avec recul : l'étude est publiée par un acteur qui commercialise lui-même des outils de validation et des formations en ligne au Code IMDG. Ses auteurs signalent aussi ses limites : un seul passage par modèle, et des questions de connaissance qui ne reproduisent pas une vraie déclaration.

À retenir

• Les meilleures IA répondent bien aux questions générales sur le Code IMDG.

• Elles restent faibles sur l'arrimage, la séparation, les dispositions spéciales et la citation du paragraphe exact.

• Toute réponse d'une IA se vérifie dans le Code publié avant d'être utilisée.

• La responsabilité de la déclaration (document de transport) reste celle de l'expéditeur.

  
  

Nos formations au Code IMDG, initiales et de recyclage, apprennent à vos équipes à trouver et vérifier l'information dans le Code, y compris dans les colonnes de la Liste des marchandises dangereuses que les IA maîtrisent le moins.

Source : NCB, annonce « NCB Publishes Research on LLM Knowledge of Dangerous Goods Regulations, Introducing DGEval Benchmark » du 8 septembre 2026, et article « Evaluating Large Language Model Performance on International Maritime Dangerous Goods Code Compliance », arXiv 2608.21036.