Вече на п-п-р

Теперь по инструкциям unsloth. Понадобилось добавить /usr/local/cuda-12.8/bin к путям, иначе cmake ругался на несуществование компилятора CUDA. Странно, почему оно не было в путях само по себе.

https://unsloth.ai/blog/qwq-32b - вот здесь начало, а куда дальше идти - не совсем ясно, они дают только ссылку на документацию с большим количеством блокнотов на huggingface.

Хотя как-то так: https://huggingface.co/unsloth/QwQ-32B-GGUF - вроде это должно работать, там есть и параметры запуска, и ссылка вот сюда на тему дообучения.

https://colab.research.google.com/githu ... GRPO.ipynb - попробую это локализовать.

Оказалось, что QwQ - это рассуждающая модель. Unsloth заявили, что с помощью этой модели они получили работающую игру. Я это проделал. Выкатилась чудовищная по размеру простыня рассуждений, и в конце получилась программа. Большая, но неработающая. Вообще странное заявление, что программа работает, ведь генерация является случайным процессом. Один раз заработает, другой не заработает.

Почитал вот эту статью на Хабре, где объяснено, как получают рассуждающие модели. При условии, что китайцы говорят правду, механизм там понятен.

Но похоже, это не то, что мне надо - мне надо самому обучаться, а процесс обучения рассуждениям долгий. На данном этапе мне нужно гораздо меньше, просто понять, как дообучать LLM, чтобы они не терялись. Поэтому именно эта тема закрывается, а буду искать другие варианты дообучения QWEN.