Б1 fine-tuning

[БудДен]

https://www.edpike365.com/blog/wsl2-nvi ... appy-path/ - установка nvidia (cuda под win тоже ставилось, но мутновато, т.к. была поставлена до Visual Studio, посмотрим, что будет дальше), systemd не включал, остановился на проверке работоспособности проброса.
Конду сделал, но это зря. Надо сносить теперь.

https://bytegoblin.io/blog/how-to-run-o ... ws-via-wsl - установка ollama - но это не точно.

Код: Выделить всё

eval "$(/home/den/miniconda3/conda shell.bash hook)"

[БудДен]

Код: Выделить всё

sudo add-apt-repository ppa:deadsnakes/ppa -y
sudo apt update
sudo apt install python3.11 python3.11-venv
python3.11 -m venv create venv-b
source venv-b/bin/activate
python -m pip install --upgrade pip

[БудДен]

https://github.com/risenfromashes/qwen- ... ng-started

[БудДен]

Получаем ошибку доступа к huggingface-hub, далее

Код: Выделить всё

huggingface-cli login

Следующую команду надо вызывать из директории LLama-factory, а qwen-finetune - рядом, может быть, вот так будет работать (в руководстве этот пункт как-то мутно освещён)

Код: Выделить всё

llamafactory-cli train ../qwen-finetune/examples/train_lora/llama3_lora_sft.yaml

(нужно было ещё заполнить анкету в https://huggingface.co/meta-llama/Meta- ... B-Instruct )

[БудДен]

Проблема - Windows захватывает часть памяти видеокарты под свои процессы.
Поставил в системной политике
Конфигурация компьютера/конфигурация windows/административные шаблоны/компоненты windows/службы удалённых рабочих столов/Узел сеансов удалённых рабочих столов/среда удалённых сеансов/Использовать аппаратные видеопадаптеры для всех сеансов

- теперь, наверное, надо будет перезагрузиться, но грузятся веса.

[БудДен]

В общем, llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml = 16 минут, при том, на GPU был ещё мусор от винды, пока не разобрался. как запретить винде использовать карту nvidia. Когда выгнал винду, стало 8 минут