Nvidia und Perplexity bringen Local-First-KI auf Desktops
Die Partnerschaft bringt Consumer-Hardware in den Wettbewerb der KI-Assistenten und rückt Latenz sowie Datenkontrolle neben der Cloud-Skalierung stärker in den Fokus.
Jede Zipp-Geschichte mit dem Tag #LocalAI, die neueste zuerst.
Die Partnerschaft bringt Consumer-Hardware in den Wettbewerb der KI-Assistenten und rückt Latenz sowie Datenkontrolle neben der Cloud-Skalierung stärker in den Fokus.
Buterins 2-Bit-quantisierter Benchmark — 35 tok/s auf Apple-Silizium, 7 tok/s auf AMD — ist der erste öffentliche Test, ob CROPS-artige private Inferenz auf Consumer-Hardware laufen kann.
Buterins Rahmung ist wichtig, weil sie CROPS über das Etikett „dezentrale KI“ hinausschiebt — derselbe lokale KI-Stack sollte auf der Zugangsebene auch Ethereum-nativ sein, von ZK-bezahlten LLM-Aufrufen bis zu privaten …