↓ Salta al contenuto principale

Benchmark

Laya 0.4.2 e VegaML: un modello decisionale che fa rotolare una pallina giù da una collina, su un MacBook da 16 GB

·4890 parole·23 minuti· loading · loading
Laya ha pubblicato otto release e per il routing non è cambiato nulla. Il suo autore ha anche pubblicato VegaML, un modello decisionale che risponde lasciando che una particella si fermi in una valle. In zero-shot non è pronto per il mio router, ma può imparare da 40 etichette in un minuto, cosa che nessuno degli altri modelli sa fare.

Clef-flash contro Jev: il modello decisionale aperto di Cloudflare su un MacBook da 16 GB

·2445 parole·12 minuti· loading · loading
Tre giorni dopo l’annuncio di Cloudflare, Clef-flash ha affrontato lo stesso benchmark da 80 prompt di Jev, Laya, Von e Kev. 90% di accuratezza sull’argomento, una temperatura di confidenza che lo porta al livello di Jev sulla calibrazione, e un problema che nessuna temperatura può risolvere su un portatile.

system-one-router: lasciare che un modello "System One" scelga l'LLM giusto per ogni prompt

·4435 parole·21 minuti· loading · loading
Il mio primo router di modelli lasciava a un LLM il compito di leggere un file di prompt e scegliere un agente. Questo fa quattro domande tipizzate a un modello decisionale “System One”, calcola il punteggio dei modelli con semplice aritmetica, e pubblica un benchmark per dimostrare che funziona (e per mostrare dove non funziona).