Перечень просмотренных материалов

Большие локальные модели, прежде всего хорошо поддерживающие русский язык.
Ответить
БудДен
Сообщения: 3056
Зарегистрирован: 07.10.18 14:01

Перечень просмотренных материалов

Сообщение БудДен » 17.04.24 00:06

Или пролистанных, или просмотренных мимо.

https://www.youtube.com/watch?v=i-fsbfIe4qk - про интерпретаторы кода в ChatGPT. Я уже раньше некоторым по секрету это говорил, но это были лишь ответы ChatGPT 3.5 на вопросы, которые я ему же задавал. Они не обязаны быть правдой. Оказались правдой. Так что те, кто говорят, что ChatGPT - это только LLM - ошибаются. Это комплекс программ. Другое дело, видео слишком водяное, нужны другие материалы.

https://habr.com/ru/articles/757086/ - создайте свой клон. Чел скачал диалоги из телеграма и сделал адаптер для Falcon-7B. Обучение заняло 10 часов и 30 Гб памяти на A100 (на selectel такая машина стоит 300 руб в час). Очевидно, время обучения прямо зависит от многих факторов, в т.ч. от объёма набора данных, в первую очередь. Использовалась библиотека Lit-GPT.

https://habr.com/ru/specials/565086/ - опыт использования Yandex DataSphere - там тоже можно арендовать машины с GPU.

Ответить