Une version modifiée du modèle DeepSeek V4.1 Flash a traité les requêtes de clients sur un déploiement de Prime Intellect pendant 53 heures et 11 minutes après une substitution non autorisée, a indiqué l'hébergeur d'IA. Dans les tests HarmBench de l'entreprise, les refus sont passés de 198 sur 240 requêtes à zéro, tandis que les résultats de deux tests de compétences sont restés inchangés.
Le modèle substitué a fonctionné du 8 novembre à 01:24 UTC au 10 novembre à 06:35 UTC, a précisé Prime Intellect dans sa communication du 19 novembre. L'entreprise n'a pas indiqué combien de requêtes de clients avaient été traitées par le déploiement concerné.
Pourquoi c'est important
Selon Prime Intellect, le modèle de remplacement utilisait des poids accessibles publiquement et modifiés pour réduire les refus. Il était accessible via le point d'accès DeepSeek existant, tandis que le déploiement conservait son modèle de conversation, ses paramètres de service et son tokenizer.
L'hébergeur a relevé des scores inchangés sur GPQA Diamond, un test scientifique avancé, et τ-bench, qui évalue l'utilisation d'outils et le respect des règles lors d'interactions simulées avec des clients. Mais les refus sont aussi passés de 98 sur 100 requêtes à un seul sur JailbreakBench, et de 304 sur 313 à deux sur StrongREJECT. Ces chiffres concernent des tests d'évaluation, et non des requêtes de clients.
Impact sur le marché
L'incident souligne un risque pour les entreprises qui s'appuient sur une IA hébergée : des résultats normaux aux tests de compétences ne révèlent pas nécessairement un changement dans le comportement de sécurité du modèle. Les garde-fous d'une application peuvent dépendre du refus de certaines requêtes par le modèle.
Prime Intellect a indiqué avoir contacté les clients concernés et conseillé à ceux qui s'appuient sur ces refus d'examiner les réponses reçues pendant l'incident. L'entreprise n'a trouvé aucun signe que les requêtes ou réponses des clients aient été enregistrées ou aient quitté le cluster de service. Elle a précisé qu'aucun autre modèle, clé ou identifiant client n'avait été touché. L'enquête se poursuit.
Questions fréquemment posées
-
Quand le déploiement DeepSeek concerné a-t-il utilisé le modèle substitué ?
Selon Prime Intellect, le modèle substitué a fonctionné du 8 novembre à 01:24 UTC au 10 novembre à 06:35 UTC, soit 53 heures et 11 minutes.
-
Qu'ont montré les tests de compétences après la substitution ?
Prime Intellect a relevé des résultats inchangés sur GPQA Diamond et τ-bench, qui évaluent respectivement les connaissances scientifiques avancées et les interactions simulées d'un agent.
-
Quels résultats le modèle substitué a-t-il obtenus aux autres tests de sécurité ?
Selon les tests de Prime Intellect, les refus sont passés de 98 sur 100 requêtes à un seul sur JailbreakBench, et de 304 sur 313 à deux sur StrongREJECT.
-
Que doivent examiner les clients concernés de Prime Intellect ?
L'entreprise a conseillé aux clients qui comptaient sur le modèle pour refuser certaines requêtes d'examiner les réponses reçues pendant l'incident.
-
L'enquête a-t-elle montré que des données clients avaient quitté le cluster ?
Prime Intellect n'a trouvé aucun signe que les requêtes ou réponses des clients aient été enregistrées ou aient quitté le cluster de service. L'enquête se poursuit.