"Я не знаю"

[БудДен]

Не все знают, но LLM (включая Llama и OpenAI) можно попросить вернуть не токены (текст) а логиты (logits). Т.е. по факту можно попросить ее вернуть распределение токенов с их вероятностью, и поглядеть - а насколько вообще модель уверенна в том, чего она набредила (посчитав token level uncertainty). Если вероятности в распределении низкие (что считать низким зависит от задачи), то скорее всего модель начала выдумывать (галлюцинировать) и совсем не уверенна в своем ответе. Это может использоваться для оценки ответа, и возвращения юзеру честного “Я не знаю”.

Источник: https://habr.com/ru/companies/raft/articles/791034/

[Лис [Вежливый]]

Есть сообщество AGI Russia, у него есть сайт https://agirussia.org/
каждую неделю по четвергам в 18:00 МСК там видеоконференции (ютуб и зум),
https://www.youtube.com/@siberai/streams (можно посмотреть прошлые стримы)
ещё есть несколько телеграм-каналов (их названия можно прочитать на сайте, если включен JavaScript).

Один из этих телеграм-каналов называется AGITopics, там есть подтема "нейросети" и там много этих нейросетей...
В общем, там русскоязычные люди много на эти темы разговаривают,
это если ты чувствуешь желание пообщаться.

[БудДен]

Спасибо.