GigaChat сдал экзамен по математике на уровне магистра

«В ходе аттестационного испытания, проведенного на базе Сколтеха, работа модели была оценена аттестационной комиссией на оценку 4 („хорошо“)», — заявили в компании.

Аттестация состояла из двух этапов. Сначала модель ответила на 500 уникальных вопросов закрытого типа в формате MMLU, разработанных преподавателями Сколтеха. Тестирование включало девять тем в области компьютерных наук. Средний показатель правильных ответов достиг 76,9%.

На втором этапе аттестационная комиссия из восьми докторов технических и физико-математических наук оценила ответы GigaChat по трем случайным билетам из 45. Каждый билет содержал теоретическое и практическое задания.

Для объективной оценки эксперты задали уточняющие вопросы, попросили объяснить ход рассуждений и анализировали работу ИИ нестандартными формулировками. За очный экзамен нейросеть получила семь баллов из 10 по шкале Сколтеха.

Весной прошлого года житель Алма-Аты выиграл суд с помощью ChatGPT.