Модель Вихрь

[БудДен]

Не сказать, чтобы у меня получилось что-то понятное, но оно получилось. Я запускал модель на арендованном сервере с Ubuntu 22 и GPU 4090 (24 Гб), примерно 64 Гб ОЗУ. На Ubuntu 18 получалось то же самое, но с гораздо большими затруднениями. Примерный порядок действий:

* устанавливаем пакеты:

Код: Выделить всё

sudo apt install hwinfo build-essential python3-pip python3-virtualenv pkg-config git git-lfs libglvnd-dev cmake

* устанавливаем рекомендованный драйвер nvidia, что-то вроде nvidia_driver_download

Код: Выделить всё

sudo apt install cuda_toolkit

* клонируем репозиторий:

Код: Выделить всё

git lfs install
mkdir /p/vikhr
cd /p/vikhr
git clone https://huggingface.co/Vikhrmodels/Vikhr-7B-instruct_0.2 --depth 1

* настраиваем среду python:

Код: Выделить всё

virtualenv --system-site-packages vikhr-venv
source vikhr-venv/bin/activate
(vikhr-venv) pip install git+https://github.com/huggingface/peft 
(vikhr-venv) pip install urllib3 accelerate bitsandbytes SentencePiece



* создаём скрипт:

Сохраняем текст программы внутри тройных ``` из README.md в файл from-readme.py (убираем слово python в начале файла), правим MODEL_NAME, чтобы он показывал на репозиторий, как-то типа [code]MODEL_NAME = "Vikhr-7B-instruct_0.2"

, поскольку именно таков относительный путь к репозиторию с моделями и запускаем:

Код: Выделить всё

python3 from-readme.py

Оно печатает нетленку:

Код: Выделить всё

Как тебя зовут?
Как тебя зовут?


Кто такой Колмогоров?
bot

Вероятно, это круто, но я ожидал чуть большего. Очевидно, что я пока ничего не понимаю в нейросетях и нужно что-то ещё сделать. Радует лишь то, что процесс занимает меньше минуты, а на своём компьютере запуск и выдача подобного текста заняла порядка 20 минут.