OpenAI presenta Jalapeño: il chip per l’inferenza con prestazioni superiori

Durante la recente conferenza Hot Chips, OpenAI ha presentato Jalapeño, un chip innovativo progettato per ottimizzare le prestazioni nell’inferenza. I primi risultati dei benchmark, condotti su InferenceX di Semianalysis, indicano che Jalapeño offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai processori di inferenza attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.

OpenAI ha sviluppato Jalapeño in collaborazione con Broadcom, integrando i propri modelli nel processo di progettazione. L’azienda prevede che questa piattaforma diventi multigenerazionale, coordinando chip, memoria e modelli in modo efficiente. L’architettura del chip è stata progettata per ridurre i ritardi nelle fasi di prefill e comunicazione, che spesso rappresentano colli di bottiglia durante il processo di inferenza. Come dichiarato nel comunicato aziendale, “We designed Jalapeño to minimize data movement and communication delays.” Questo approccio consente di allocare e mantenere localmente lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte.

Richard Ho, responsabile hardware di OpenAI, ha sottolineato l’importanza di queste innovazioni, affermando: “The bottom line is that the results show a very, very significant performance advance over state of the art. Jalapeño can serve more AI work per unit of power, while also returning responses more quickly. It’s very efficient to serve a lot of customers, but it can also be very low latency.” Questo significa che Jalapeño non solo migliora l’efficienza energetica, ma offre anche risposte più rapide, rendendolo ideale per servire un gran numero di utenti.

OpenAI prevede un primo dispiegamento di Jalapeño in volumi ridotti entro la fine del 2026, con una distribuzione più significativa attesa per il 2027. L’azienda avverte che la concorrenza nel settore potrebbe evolversi rapidamente, ma i risultati attuali posizionano Jalapeño come un potenziale leader nel campo dei chip per inferenza.