Coinbases Replay von 16.140 Transaktionen unter 7.293 Nutzern ergab, dass neuere Versionen von drei großen KI-Modellfamilien weniger Zahlungsbetrug erkannten als ihre Vorgänger. Der Test umfasste 813 bestätigte Betrugsfälle und hielt die Entscheidungsrichtlinie konstant. Der Recall von Sonnet sank um 22,2 Prozentpunkte, während der Recall von GPT um 20,7 Punkte zurückging und sein wertgewichteter Recall um 21,8 Punkte fiel.
Warum das wichtig ist
Die Ergebnisse stellen die Annahme infrage, dass ein neueres Allzweckmodell einen bestehenden Zahlungsprüfer automatisch verbessert. Der Recall misst den Anteil der erkannten Betrugsfälle, während der wertgewichtete Recall den Anteil des insgesamt erkannten Betrugswerts erfasst. GPT erzielte einen um 11,5 Punkte höheren Präzisionswert. Seine Treffer waren als Gruppe zwar genauer, doch mehr Betrugsfälle und mehr Betrugswert blieben unerkannt.
Das historische Replay isoliert das Modellverhalten innerhalb eines einzelnen Prüfaufbaus. Es belegt nicht, dass der Einsatz der getesteten Versionen zu Verlusten bei Kunden geführt hat. Coinbase erklärte zudem, die Rückgänge zwar erkannt, ihre Ursache aber nicht bestimmt zu haben. Der proprietäre Datensatz schränkt außerdem eine unabhängige Reproduzierbarkeit ein.
Auswirkungen auf den Markt
Eine separate Bewertung eines nachtrainierten Qwen3.5-9B-Modells durch Coinbase weist auf einen anderen Weg hin. Das auf historische Betrugsergebnisse und deterministische Belohnungen spezialisierte Modell übertraf Opus 4.5 bei vier Kennzahlen zur Betrugserkennung. Der F1-Wert verbesserte sich um 9,6 Prozentpunkte, und der wertgewichtete Recall stieg um 35,4 Punkte.
Messungen im Produktivbetrieb ergaben für das maßgeschneiderte Modell außerdem eine mediane End-to-End-Anfragelatenz von 0,683 Sekunden, verglichen mit 1,515 Sekunden bei Opus 4.5. Das entspricht einer relativen Verringerung um 55 %. Coinbase empfiehlt, jeden Kandidaten innerhalb des tatsächlichen Entscheidungsaufbaus zu testen und anschließend Prompts, Schwellenwerte, Latenz, Zuverlässigkeit und Kosten getrennt zu bewerten.
Häufig gestellte Fragen
-
Wie viele Transaktionen testete Coinbase in seinem Replay zu Zahlungsbetrug?
Das Replay umfasste 16.140 Transaktionen unter 7.293 Nutzern, darunter 813 bestätigte Betrugsfälle.
-
Welches KI-Modell verzeichnete im Coinbase-Test den stärksten Recall-Rückgang?
Sonnet verlor 22,2 Prozentpunkte beim Recall. Der Recall von GPT sank um 20,7 Punkte, während der Recall von Opus um 0,8 Punkte zurückging.
-
Warum reichte die höhere Präzision von GPT nicht aus, um die Betrugserkennung zu verbessern?
Die Präzision von GPT stieg um 11,5 Prozentpunkte, doch sein Recall und sein wertgewichteter Recall sanken. Die Warnungen waren genauer, während mehr Betrugsfälle und mehr Betrugswert unerkannt blieben.
-
Wie schnitt das spezialisierte Qwen3.5-9B-Modell ab?
In einer separaten Bewertung übertraf Qwen3.5-9B Opus 4.5 bei vier Kennzahlen zur Betrugserkennung. Der F1-Wert verbesserte sich um 9,6 Punkte, und der wertgewichtete Recall stieg um 35,4 Punkte.
-
Was empfahl Coinbase vor dem Upgrade eines Modells zur Zahlungsprüfung?
Coinbase empfahl, den Kandidaten im tatsächlichen Entscheidungsaufbau zu testen und anschließend Prompts und Schwellenwerte getrennt sowie Latenz, Zuverlässigkeit und Kosten zu bewerten.
WatcherGuru
WuBlockchain
CoinDesk
CoinTelegraph
TheBlock
Crypto News