Россиянам разъяснили, почему нейросети выдумывают факты
:format(webp)/YXJ0aWNsZXMvaW1hZ2UvMjAyNi85L3NpdGUtbmV3cy1pbWFnZS0zNjA2ODU3OTItMTc4ODg2NTMxMjUwMy03ZDFlNWNmZjVmYzU4X2g5ZDk1TlguanBn.webp?w=1920)
Нейросети могут уверенно выдавать вымышленные сведения, поскольку языковые модели предсказывают продолжение текста, а не сверяются с базой проверенных фактов. Об этом рассказал кандидат технических наук Игорь Котилевец, сообщает RT.
Котилевец назвал такие ошибки галлюцинациями. По его словам, это не случайный сбой, а особенность работы больших языковых моделей.
Модели анализируют большие массивы текстов и рассчитывают, какие слова наиболее вероятно следуют друг за другом. Они не хранят факты в виде проверенного архива. Поэтому с каждым следующим словом в длинном ответе растет риск отклонения от действительности.
Особенно часто убедительные, но ложные ответы возникают в узких и спорных темах, где в обучающих данных мало информации или она противоречива. Если пользователь требует объяснения, нейросеть может дополнить недостающие сведения вымыслом, не различая истину и правдоподобный текст.
Котилевец подчеркнул, что модель не лжет намеренно, но может подавлять сигнал о нехватке данных и подстраиваться под ожидания собеседника. Эксперт призвал проверять сведения, полученные от искусственного интеллекта, по независимым источникам, особенно если они касаются важных или малоизвестных фактов.