La rediffusion par Coinbase de 16 140 transactions concernant 7 293 utilisateurs a révélé que les nouvelles versions de trois grandes familles de modèles d’IA détectaient moins de fraudes aux paiements que leurs prédécesseurs. Le test comprenait 813 transactions confirmées comme frauduleuses, avec une politique de décision maintenue à l’identique. Le rappel de Sonnet a reculé de 22,2 points de pourcentage, tandis que celui de GPT a baissé de 20,7 points et que son rappel pondéré par la valeur a diminué de 21,8 points.
Pourquoi c’est important
Ces résultats remettent en question l’idée qu’un modèle généraliste plus récent améliore automatiquement un système de détection des paiements existant. Le rappel mesure la part des cas de fraude détectés, tandis que le rappel pondéré par la valeur mesure la part de la valeur totale des fraudes identifiée. GPT a obtenu un meilleur score de précision, en hausse de 11,5 points, mais ses alertes étaient globalement plus exactes alors que davantage de cas et de valeur frauduleuse échappaient à la détection.
La rediffusion historique isole le comportement des modèles dans une même configuration de filtrage. Elle n’établit pas les pertes subies par les clients après le déploiement des versions testées, et Coinbase a indiqué avoir pu identifier les régressions sans en déterminer la cause. Le caractère propriétaire du jeu de données limite également la réplication indépendante.
Impact sur le marché
L’évaluation distincte menée par Coinbase sur un modèle Qwen3.5-9B post-entraîné suggère une autre voie. Spécialisé à partir de résultats historiques de fraude et de récompenses déterministes, il a dépassé Opus 4.5 sur quatre métriques de détection de fraude. Le score F1 s’est amélioré de 9,6 points et le rappel pondéré par la valeur a progressé de 35,4 points.
Les mesures en production ont également établi la latence médiane de bout en bout à 0,683 seconde pour le modèle personnalisé, contre 1,515 seconde pour Opus 4.5, soit une réduction relative de 55 %. Coinbase recommande de tester chaque candidat dans la configuration de décision réelle, puis d’évaluer séparément les prompts, les seuils, la latence, la fiabilité et le coût.
Questions fréquemment posées
-
Combien de transactions Coinbase a-t-il testées lors de sa rediffusion antifraude ?
La rediffusion portait sur 16 140 transactions de 7 293 utilisateurs, dont 813 transactions confirmées comme frauduleuses.
-
Quel modèle d’IA a enregistré la plus forte baisse du rappel lors du test de Coinbase ?
Le rappel de Sonnet a chuté de 22,2 points de pourcentage. Celui de GPT a baissé de 20,7 points, tandis que celui d’Opus a reculé de 0,8 point.
-
Pourquoi la hausse de la précision de GPT n’a-t-elle pas suffi à améliorer le filtrage antifraude ?
La précision de GPT a progressé de 11,5 points de pourcentage, mais son rappel et son rappel pondéré par la valeur ont diminué. Ses alertes étaient plus précises, tandis que davantage de cas et de valeur frauduleuse échappaient à la détection.
-
Comment le modèle Qwen3.5-9B spécialisé s’est-il comporté ?
Lors d’une autre évaluation, Qwen3.5-9B a dépassé Opus 4.5 sur quatre métriques de détection de fraude. Le score F1 a progressé de 9,6 points et le rappel pondéré par la valeur de 35,4 points.
-
Que recommandait Coinbase avant de mettre à niveau un modèle de filtrage des paiements ?
Coinbase recommandait de tester le candidat dans la configuration de décision réelle, puis d’évaluer séparément les prompts et les seuils, ainsi que la latence, la fiabilité et le coût.
WatcherGuru
WuBlockchain
CoinDesk
CoinTelegraph
TheBlock
Crypto Capital Venture