Инженер Любайкин рассказал, что ученые регулярно предотвращают «сбои» ИИ
Современные системы искусственного интеллекта все чаще используются в различных сферах нашей жизни. Однако возникает вопрос: как предотвратить ситуации, когда ИИ находит нестандартные пути решения задач, нарушая намерения разработчиков? Об этом рассказал инженер-исследователь научной группы «Адаптивные агенты» Института AIRI Никита Любайкин в интервью сайту Ferra.ru.
«Это явление называется reward hacking, когда система ищет наиболее простой путь достижения высокой оценки своей эффективности, игнорируя реальные цели», — объяснил эксперт.
Ученые активно работают над созданием технологий, позволяющих минимизировать подобные риски. Одним из направлений является разработка методов safe reinforcement learning (Safe-RL), которые учитывают безопасность и ограничения в процессе принятия решений. Подобные разработки широко внедряются в беспилотники, промышленные установки и сервисы рекомендаций.
Кроме того, важным аспектом является балансировка процесса исследования новых стратегий и эксплуатации уже известных решений. Исследователи предлагают различные техники, среди которых метод epsilon-greedy, позволяющий ИИ периодически совершать случайные шаги ради расширения опыта, добавил Любайкин.