ruGPT-3.5. Открытая русскоязычная LLM от Сбера
Друзья, мы выложили в
open source нашу языковую модель (pretrain), на основе которой обучали GigaChat!
Претрейн довольно большой —
13B (13 миллиардов параметров). Модель видела много разнообразного текста (книги, статьи, чаты и т.д.), в основном на русском языке, а также на английском (около10%). Дополнительно дообучали на коде.
ruGPT-3.5 13B
можно дообучать на инструктивных датасетах и получать свои версии ChatGPT, которые бы хорошо понимали русский язык.
Решили выложить с
открытой лицензией (MIT), так что каких-либо ограничений в этом плане в отличии от LLaMA нет.
Написали
небольшой пост про это, прошу поддержать, кому интересно.
Хабр | Hugging Face
