Cada história da Zipp etiquetada #LocalAI, a mais nova primeiro.
A parceria coloca o hardware de consumo na corrida dos assistentes de IA, tornando a latência e o controlo dos dados tão importantes como a escala da nuvem.
O benchmark de 2 bits quantizado de Buterin — 35 tok/s em hardware Apple, 7 tok/s em AMD — é o primeiro teste público para saber se a inferência privada estilo CROPS pode correr em hardware de consumo.
O enquadramento de Buterin é relevante porque empurra a CROPS para lá do rótulo de "IA descentralizada" — a mesma stack de IA local deve também ser nativa de Ethereum na camada de acesso, desde chamadas LLM pagas via ZK a leituras RPC privadas…
CoinTelegraph
WuBlockchain