Рецепты для четырёх моделей

NVIDIA выпускает рецепты развёртывания, оптимизированные для NVIDIA Dynamo, для четырёх открытых моделей из Южной Кореи: A.X K2 от SK Telecom, K-EXAONE 2.0 от LG AI Research, Solar Open 2 от Upstage и Motif-3 от Motif Technologies.

Рецепты оптимизированы для GPU NVIDIA B200. Компания заявляет, что они позволяют получить до двукратного роста производительности «из коробки» и быстрее подготовить модели к использованию в продуктах.

Как Dynamo помогает при распределённом запуске

Когда модель не помещается на одном GPU, её приходится распределять между несколькими ускорителями. Для поддержания производительности нужно координировать маршрутизацию запросов и обмен данными между ними.

NVIDIA описывает Dynamo как фреймворк с открытым исходным кодом для распределённого обслуживания запросов к моделям в многосерверных средах. Он управляет маршрутизацией и обменом данными; опубликованные рецепты предназначены для развёртывания упомянутых корейских моделей.