DeepSpeed Chat
Полноценная конвейерная система RLHF для обучения моделей в стиле ChatGPT
О DeepSpeed Chat
Компания Microsoft недавно выпустила инструмент DeepSpeed-Chat, который позволяет создавать продвинутые модели в стиле ChatGPT с оптимальными затратами. Возможно обучение моделей с до 13 миллиардов параметров на одной графической карте или с использованием облачного сервиса Azure всего за $300. DeepSpeed-Chat использует возможности DeepSpeed-Inference и DeepSpeed-Training для более быстрого обучения и поддерживает модели размером до 7,5 раз больше, чем другие решения. Таким образом, DeepSpeed-Chat делает сложное обучение RLHF доступным, простым и недорогим для сообщества искусственного интеллекта.
Первая версия DeepSpeed-Chat включает в себя три основные функции:
- Простой в использовании опыт обучения и вывода для моделей в стиле ChatGPT.
- Конвейерная система DeepSpeed-RLHF.
- Система DeepSpeed-RLHF
DeepSpeed Chat screenshots
Читать на английском