A reprodução da Coinbase de 16 140 transações de 7 293 utilizadores concluiu que versões mais recentes de três grandes famílias de modelos de IA detetaram menos fraude em pagamentos do que as suas antecessoras. O teste incluiu 813 transações confirmadas como fraudulentas e manteve constante a política de decisão. O recall do Sonnet caiu 22,2 pontos percentuais, enquanto o recall do GPT recuou 20,7 pontos e o seu recall ponderado pelo valor diminuiu 21,8 pontos.
Porque é importante
Os resultados põem em causa a ideia de que um modelo generalista mais recente melhora automaticamente um sistema de triagem de pagamentos existente. O recall mede a percentagem de casos de fraude detetados, enquanto o recall ponderado pelo valor mede a percentagem do valor total da fraude identificada. O GPT obteve uma pontuação de precisão superior, com uma subida de 11,5 pontos, mas os seus alertas eram mais rigorosos em conjunto, enquanto mais casos e valor de fraude escapavam à deteção.
A reprodução histórica isola o comportamento dos modelos dentro de uma configuração de triagem. Não demonstra que a implementação das versões testadas tenha causado perdas aos clientes, e a Coinbase afirmou que conseguiu identificar as regressões sem determinar a sua causa. O conjunto de dados proprietário também limita a replicação independente.
Impacto no mercado
A avaliação separada da Coinbase a um modelo Qwen3.5-9B pós-treinado aponta para um caminho diferente. Especializado com resultados históricos de fraude e recompensas determinísticas, superou o Opus 4.5 em quatro métricas de deteção de fraude. O F1 melhorou 9,6 pontos percentuais e o recall ponderado pelo valor aumentou 35,4 pontos.
As medições em produção também colocaram a latência mediana de ponta a ponta dos pedidos em 0,683 segundos para o modelo personalizado, contra 1,515 segundos para o Opus 4.5, uma redução relativa de 55%. A Coinbase recomenda testar cada candidato dentro da configuração real de decisão e, depois, avaliar separadamente os prompts, os limiares, a latência, a fiabilidade e o custo.
Perguntas frequentes
-
Quantas transações testou a Coinbase na sua reprodução de fraude em pagamentos?
A reprodução abrangeu 16 140 transações de 7 293 utilizadores, incluindo 813 transações confirmadas como fraudulentas.
-
Que modelo de IA registou a maior queda no recall no teste da Coinbase?
O recall do Sonnet caiu 22,2 pontos percentuais. O recall do GPT recuou 20,7 pontos, enquanto o recall do Opus caiu 0,8 pontos.
-
Porque não foi suficiente a maior precisão do GPT para melhorar a triagem de fraude?
A precisão do GPT subiu 11,5 pontos percentuais, mas o recall e o recall ponderado pelo valor caíram. Os seus alertas eram mais rigorosos, enquanto mais casos e valor de fraude escapavam à deteção.
-
Como se comportou o modelo Qwen3.5-9B especializado?
Numa avaliação separada, o Qwen3.5-9B superou o Opus 4.5 em quatro métricas de deteção de fraude. O F1 melhorou 9,6 pontos e o recall ponderado pelo valor aumentou 35,4 pontos.
-
O que recomendou a Coinbase antes de atualizar um modelo de triagem de pagamentos?
A Coinbase recomendou testar o candidato dentro da configuração real de decisão e, depois, avaliar separadamente os prompts e os limiares, juntamente com a latência, a fiabilidade e o custo.
Crypto News
WatcherGuru
WuBlockchain
CoinDesk
CoinTelegraph
TheBlock
Altcoin Daily