Anthropics Fable 5.2 führt Scales Remote Labor Index an: 41,3 % seiner Freelancer-Ergebnisse wurden als konform mit einem professionellen Referenzstandard bewertet, die höchste Punktzahl auf dem Leaderboard vom 12. November. Das nächstbeste Modell, Opus 5.5, liegt bei 21,25 %. Anthropic meldete das Ergebnis in seiner Veröffentlichungsankündigung vom 9. November und kennzeichnete die Punktzahl als "High effort" mit aktivierten Sicherheitsvorkehrungen.
Der RLI, entwickelt von Forschern des Center for AI Safety und Scale AI, testet komplette Freelancer-Projekte statt isolierter Fragen. Sein Datensatz umfasst 240 Projekte in 23 Kategorien, von Dokumenten und Audio über Video bis hin zu 3D-Modellen und CAD-Dateien. Geschulte menschliche Prüfer vergleichen jedes KI-Ergebnis sowohl mit dem Kundenbriefing als auch mit einem professionellen menschlichen Referenzprodukt, und ein Projekt besteht nur, wenn die Arbeit diesen Referenzstandard erfüllt. Ein nützlicher Prototyp oder ein Teilergebnis kann trotzdem durchfallen, was 41,3 % zu einer anspruchsvollen Messgröße für End-to-End-Fähigkeiten macht.
Warum das wichtig ist
Fable 5.2s Vorsprung ist ein echter Sprung in der praktischen KI-Leistungsfähigkeit, mehr als eine Verdopplung des nächsten Wettbewerbers auf einem Benchmark, der um fertige, überprüfbare Arbeit aufgebaut ist. Dieselbe Zahl bedeutet aber auch, dass das Modell 58 % der bewerteten Projekte nicht besteht, und die Studie selbst schließt Arbeiten aus, die Kundeninteraktion, Teamarbeit oder körperliche Arbeit erfordern. Anthropics Release-Seite gibt zudem weder die Ausgaben pro Projekt noch den Umfang der menschlichen Unterstützung an, sodass die Kostenseite der Gleichung offen bleibt.
Marktwirkung
Für alle, die KI an Freelancer-Arbeitsmärkten bemessen wollen, bietet der RLI den bislang strengsten Maßstab: einen Auftrag, der bis zu einem Produkt geführt wird, das ein vernünftiger Kunde akzeptieren würde. Eine Bestehensquote von 41,3 % ist noch weit von einer Ersetzungsschwelle entfernt, doch das Tempo der Verbesserung auf einem Leaderboard, das vor wenigen Monaten Modelle auf deutlich niedrigeren Niveaus maß, deutet darauf hin, dass sich die Lücke zwischen Prototyp- und Kundenniveau bei KI-Ergebnissen schnell schließt. Beobachten Sie, ob konkurrierende Labore ihre eigenen RLI-Punktzahlen veröffentlichen und ob Anthropic in künftigen Durchläufen die Ausführungskosten offenlegt.
Häufig gestellte Fragen
-
Was ist der Remote Labor Index (RLI)?
Ein Benchmark von Forschern des Center for AI Safety und Scale AI, der KI an kompletten Freelancer-Projekten in 23 Kategorien testet, von Dokumenten bis zu 3D-Modellen. Ein Projekt besteht nur, wenn menschliche Prüfer das Ergebnis als gleichwertig mit einem professionellen Referenzstandard beurteilen.
-
Wie hat Anthropics Fable 5.2 beim RLI abgeschnitten?
Fable 5.2 erzielte 41,3 % und belegte Platz 1 auf Scales Leaderboard vom 12. November. Anthropic kennzeichnete das Ergebnis als "High effort" mit aktivierten Sicherheitsvorkehrungen, vor dem nächstbesten Modell, Opus 5.5, mit 21,25 %.
-
Was bedeutet die Punktzahl von 41,3 % tatsächlich?
Sie bedeutet, dass 41,3 % der bewerteten Freelancer-Projekte Ergebnisse lieferten, die einen professionellen Abnahmestandard erfüllten, während die restlichen 58 % durchfielen. Nützliche Prototypen oder Teilergebnisse gelten als Fehlschlag, weil sie akzeptable, fertige Arbeit vermissen lassen.
-
Welche Arbeiten schließt der RLI aus?
Die Studie schließt Projekte aus, die inhärent Kundeninteraktion, Teamarbeit oder körperliche Arbeit erfordern, sowie Projekte, deren Ergebnisse erst abgewartet werden müssen, bevor sie bewertet werden können. Diese Ausschlüsse begrenzen, wie weit sich die Ergebnisse auf die gesamte Remote-Arbeitswirtschaft übertragen…
-
Welche Details hat Anthropic zu seinem RLI-Durchlauf ausgelassen?
Die Release-Seite nennt "High effort", legt aber weder das genaue Ausführungs-Setup noch die Ausgaben pro Projekt oder den Umfang der menschlichen Unterstützung fest, sodass die Kostenseite der Leistungsbilanz offen bleibt.