OpenAI presenta Jalapeño: il chip per inference con prestazioni superiori
In Breve
- Cosa è Jalapeño?
- Jalapeño è un chip per inference sviluppato da OpenAI, progettato per migliorare le prestazioni e l'efficienza energetica.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento di Jalapeño è previsto entro la fine del 2026, con una distribuzione più ampia nel 2027.
- Quali sono i vantaggi di Jalapeño rispetto ai concorrenti?
- Jalapeño offre un maggior numero di token per utente e una maggiore throughput per kilowatt rispetto ai chip attuali di riferimento.
Durante la conferenza Hot Chips, OpenAI ha svelato Jalapeño, un chip innovativo progettato per ottimizzare le prestazioni di inference. I primi risultati di benchmark, condotti da InferenceX di Semianalysis, indicano che Jalapeño offre un numero maggiore di token per utente e una throughput per kilowatt superiore rispetto ai processori di inference attualmente considerati all’avanguardia.
Il confronto è stato effettuato utilizzando un sistema Nvidia Blackwell come riferimento. Tuttavia, OpenAI ha avvertito che la concorrenza potrebbe evolversi prima della piena distribuzione del prodotto. Jalapeño è stato sviluppato in collaborazione con Broadcom e sfrutta i modelli di OpenAI nel processo di progettazione. L’azienda prevede che questa piattaforma diventi multigenerazionale, coordinando chip, memoria e modelli per massimizzare l’efficienza.
L’architettura di Jalapeño è stata progettata per ridurre i ritardi nelle fasi di prefill e comunicazione, che rappresentano spesso colli di bottiglia durante l’inference. Come dichiarato nel comunicato aziendale, “We designed Jalapeño to minimize data movement and communication delays.” Ciò significa che lo stato del modello, inclusa la KV cache utilizzata per generare risposte, può essere allocato e mantenuto localmente, mentre il sistema attiva la combinazione adeguata di calcolo, memoria e rete per ogni fase di inference.
Richard Ho, responsabile hardware di OpenAI, ha commentato i risultati: “The bottom line is that the results show a very, very significant performance advance over state of the art. Jalapeño can serve more AI work per unit of power, while also returning responses more quickly. It’s very efficient to serve a lot of customers, but it can also be very low latency.”
OpenAI prevede un primo dispiegamento di Jalapeño in volumi molto ridotti entro la fine del 2026, con una distribuzione più significativa attesa per il 2027. Questo sviluppo rappresenta un passo importante verso l’ottimizzazione delle tecnologie di inference, con potenziali impatti significativi nel settore dell’IA.
