NVIDIA и OpenAI представили режим GPT-6 Astra Ultrafast на GPU Blackwell
OpenAI объявила о доступности режима GPT-6 Astra Ultrafast в API OpenAI, а также для пользователей ChatGPT Work и Codex. По заявлению компании, режим работает на GPU NVIDIA Blackwell и обеспечивает до 8-кратно более быструю генерацию токенов по сравнению со стандартным режимом Astra. В OpenAI отметили, что используют собственные модели для оптимизации инференса на GPU NVIDIA; в компании заявили, что это ускоряет отклик моделей и повышает продуктивность развёрнутой инфраструктуры.
Почему это важно
Скорость генерации токенов напрямую влияет на циклы разработки агентов и интерактивных приложений, а связка OpenAI и NVIDIA на уровне оптимизации инференса задаёт ориентир для всей отрасли по соотношению задержки, пропускной способности и стоимости.
Об источнике
Выводы подготовлены редакцией Global Trend Radar на основе указанного источника.
Читать источник: NVIDIA ↗