В России создали систему для проверки защищённости ИИ-решений

Учёные Центра компетенций Национальной технологической инициативы (НТИ) по технологиям хранения и анализа больших данных МГУ разработали решение для проверки устойчивости ИИ-систем к кибератакам.

Как пояснили эксперты, решение представляет собой веб-сайт для загрузки моделей машинного обучения в облако, где они в автоматическом режиме проходят тестирование на устойчивость к разным видам атак.

Отмечается, что в результате пользователь получает, как оценку возможности системы сохранять работоспособность в условиях внешних воздействий и изменений, так и версию дообученной модели, которая будет более устойчива к атакам.

Сергей Полунин, руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис»:

– Решения по защите ИИ нацелены не просто на защиту его инфраструктуры, а именно на саму логику работы искусственного интеллекта. Безусловно, защита серверов, на которых запущен код ИИ важна, но злоумышленникам интереснее скорее нарушить, а не прекратить его работу, чтобы тот выдавал некорректные решения. Например, если хакеры доберутся до обучающей выборки и сумеют добавить в нее свои объекты, то обученный на такой выборке модель будет ошибаться и даже выдавать заранее предсказуемые неправильный результаты.

В чем риски использования ИИ? Подробнее о безопасном использовании ИИ расскажут эксперты из области информационной безопасности 6 октября на GIS DAYS.