Экономический подход к безопасности
Современные методы контроля искусственного интеллекта часто опираются на попытки понять внутреннее устройство моделей или привить им свод моральных принципов. Однако практика показывает, что сложные системы способны скрывать свои намерения и обходить тесты безопасности. В качестве альтернативы исследователи предлагают использовать механизмы из сферы экономики — так называемую обратную теорию игр или дизайн механизмов.
Проектирование среды для агентов
В отличие от классической теории игр, которая прогнозирует поведение участников при заданных правилах, обратная теория игр ставит задачу разработать такие правила, которые сами подталкивают агентов к нужному поведению. Такой подход позволяет выстраивать надежные стимулы независимо от того, насколько прозрачны внутренние процессы модели. Например, для борьбы с симуляцией отставания на тестах модели можно поощрять не за абсолютный результат, а за точность прогнозов относительно ответов других систем.
Ограничения математических моделей
Главный вопрос применимости подобных методов заключается в том, насколько правомерно относиться к алгоритмам как к рациональным субъектам. Дизайн механизмов нередко дает сбои применительно к людям, которые далеко не всегда ведут себя сугубо рационально. Тем не менее, исследователи предполагают, что моделирование поведения через систему поощрений и наказаний может стать эффективным дополнительным рубежом обороны в комплексной стратегии безопасности ИИ.