Da qualche giorno sto provando in beta Jev, il modello jev-latest di TypeSafe AI. L'avevo presentato qui quando è uscito; adesso è il momento di usarlo davvero.
È un tipo di AI diversa, come raccontavo nell'articolo di presentazione. Jev non conversa e non scrive: risponde, ma non come ci si aspetta. Non gli si pone una domanda libera: la richiesta va preparata prima, in un formato preciso. In cambio, la risposta non è testo da leggere e interpretare, ma un valore tipizzato, con la sua probabilità e una stima di confidenza.
Il playground mostra bene il meccanismo. Si definisce uno stato, cioè i dati del caso, e una domanda con il suo tipo e i criteri delle risposte ammesse. Nell'esempio in figura lo stato dice che il cibo è un hamburger, la domanda chiede se è un panino, e i criteri definiscono cosa conta come panino e cosa no.
La risposta non è una frase: è una probabilità, 95% sì e 5% no. Se il modello non è sicuro, il codice lo vede subito e può decidere cosa farne, per esempio mandare il caso a una persona.
Il motivo per cui è così veloce ed economico sta in come lavora: Jev non genera una parola alla volta. Le risposte possibili sono definite nella richiesta, e il modello le valuta tutte insieme, in una sola passata. Nella demo di confronto, con la stessa batteria di domande: 0,114 secondi contro 8,566 di un LLM generalista, e 0,000081 $ contro 0,013880 $. Le risposte non possono uscire dallo schema previsto: gli errori di formato, per costruzione, non esistono.
La tariffazione segue la stessa impostazione: contano solo i token di input, 0,042 $ per milione (42 $ per miliardo). I token di output sono gratuiti, «troppo economici per essere tariffati». Per chi fa centinaia o migliaia di decisioni automatiche, è la differenza tra una voce di costo e quasi nulla.
C'è poi la parte che mi interessa di più: Jev può interagire con tutti gli harness e gli agenti esistenti, grazie a una skill che spiega loro come parlare con il modello. Si installa nell'ambiente di lavoro dell'agente e da lì in poi l'agente sa quando serve una decisione e come formularla. È così che il modello entra nei flussi: l'agente scrive e orchestra, Jev decide.
Per ora le prove sono positive: risposte immediate e costi che quasi non si vedono. Nei prossimi giorni continuo con casi più concreti e pubblicherò qui i prossimi risultati.
Fonti: la documentazione di TypeSafe e l'annuncio di lancio.