Сайга

[БудДен]

Сайга запустилась. Шустро (в несколько раз быстрее, чем на моём CPU) отвечает на вопрос "Кто такой Колмогоров" и даже может написать факториал на Питоне.

[БудДен]

https://colab.research.google.com/drive ... av_ZcKatlP - это colab от https://huggingface.co/IlyaGusev/saiga_7b_lora

Там написан вывод nvidia-smi:

Код: Выделить всё

 NVIDIA-SMI 525.85.12    Driver Version: 525.85.12    CUDA Version: 12.0

[БудДен]

Действуем по первому методу вот отсюда:

https://gist.github.com/eliazonta/e98a4 ... 58984e3e5a

[БудДен]

https://github.com/TimDettmers/bitsandbytes/issues/112

[БудДен]

В общем, удалось записать процедуру запуска Сайги с помощью GPU, нужно 8 Гб памяти на борту видеокарты.