La repetición de Coinbase sobre 16.140 transacciones de 7.293 usuarios reveló que las versiones más recientes de tres grandes familias de modelos de IA detectaron menos fraude en pagos que sus predecesoras. La prueba incluyó 813 transacciones confirmadas como fraudulentas y mantuvo constante la política de decisión. La sensibilidad de Sonnet cayó 22,2 puntos porcentuales, mientras que la de GPT bajó 20,7 puntos y su sensibilidad ponderada por valor cayó 21,8 puntos.
Por qué es importante
Los resultados cuestionan la suposición de que un modelo de propósito general más nuevo mejora automáticamente un sistema existente de detección de pagos. La sensibilidad mide la proporción de casos de fraude detectados, mientras que la sensibilidad ponderada por valor mide la proporción del valor total del fraude identificada. GPT obtuvo una puntuación de precisión más alta, con una mejora de 11,5 puntos, pero sus alertas fueron más precisas en conjunto mientras más casos de fraude y más valor fraudulento pasaban inadvertidos.
La repetición histórica aísla el comportamiento de los modelos dentro de una configuración de evaluación concreta. No demuestra que los clientes sufrieran pérdidas por implementar las versiones probadas, y Coinbase afirmó que pudo identificar las regresiones sin determinar su causa. Además, el conjunto de datos propietario limita la replicación independiente.
Impacto en el mercado
La evaluación independiente de Coinbase sobre un modelo Qwen3.5-9B entrenado posteriormente apunta a una vía diferente. Especializado con resultados históricos de fraude y recompensas deterministas, superó a Opus 4.5 en cuatro métricas de detección de fraude. La puntuación F1 mejoró 9,6 puntos porcentuales y la sensibilidad ponderada por valor aumentó 35,4 puntos.
Las mediciones en producción también situaron la latencia mediana de extremo a extremo en 0,683 segundos para el modelo personalizado, frente a 1,515 segundos para Opus 4.5, una reducción relativa del 55 %. Coinbase recomienda probar cada candidato dentro de la configuración de decisión real y evaluar después por separado las instrucciones, los umbrales, la latencia, la fiabilidad y el coste.
Preguntas frecuentes
-
¿Cuántas transacciones probó Coinbase en su repetición de la prueba de fraude en pagos?
La repetición cubrió 16.140 transacciones de 7.293 usuarios, incluidas 813 transacciones confirmadas como fraudulentas.
-
¿Qué modelo de IA mostró la mayor caída de sensibilidad en la prueba de Coinbase?
La sensibilidad de Sonnet cayó 22,2 puntos porcentuales. La de GPT bajó 20,7 puntos, mientras que la de Opus cayó 0,8 puntos.
-
¿Por qué la mayor precisión de GPT no bastó para mejorar la detección de fraude?
La precisión de GPT aumentó 11,5 puntos porcentuales, pero su sensibilidad y su sensibilidad ponderada por valor cayeron. Sus alertas fueron más precisas, mientras más casos y valor fraudulento pasaban inadvertidos.
-
¿Cómo rindió el modelo Qwen3.5-9B especializado?
En una evaluación aparte, Qwen3.5-9B superó a Opus 4.5 en cuatro métricas de detección de fraude. La puntuación F1 mejoró 9,6 puntos y la sensibilidad ponderada por valor aumentó 35,4 puntos.
-
¿Qué recomendó Coinbase antes de actualizar un modelo de evaluación de pagos?
Coinbase recomendó probar el candidato dentro de la configuración de decisión real y evaluar por separado las instrucciones y los umbrales, junto con la latencia, la fiabilidad y el coste.
Crypto News
WatcherGuru
WuBlockchain
CoinDesk
CoinTelegraph
CZ Binance
TheBlock