Основатель российской компании «Интернет-Розыск» Игорь Бедеров поделился с каналом Inventorus мнением о том, как относиться к искусственному интеллекту в контексте безопасности.
У многих и у людей, и у компаний есть страх доверить ИИ-агенту реальные действия. Насколько он оправдан?
Конечно, страх оправдан, если это не просто эмоции, а трезвый расчет. Я бы назвал его профессиональной осторожностью. Мы же отдаем программе не вычисления, а право действовать. Например, провести банковский платеж или управлять физическим устройством. Это меняет саму конструкцию доверия, что естественно пугает. Доверие, ключевая история, с которой нам еще предстоит разбираться.
Получается, агент это и правда сотрудник, который работает без приказа?
Я бы не сказал, что ИИ-агент сотрудник без приказа, может быть отчасти. Скорее сотрудник, который выполняет ваш приказ, пропустив его через математическую модель и вероятностный прогноз. С живым подчиненным выручает общий контекст. Он понимает, что вы имели в виду, а не только то, что сказали. У нейросети нет ни интуиции, ни картины мира. Поэтому она способна найти математически безупречное решение, которое при этом может привести к катастрофе.
Какие задачи можно доверить ИИ полностью, а где обязательно нужен человек?
Полностью доверить можно только рутину. То есть процессы с низкой неопределенностью и закрытым контуром решений, где ошибка не фатальна. Плюс строго регламентированные технические операции. Всё. Как только появляются правовые последствия, этические дилеммы или физическая безопасность человек всё еще незаменим. ИИ не может быть судьей, следователем или врачом, за которым последнее слово. Это уже вопрос не технологий, а ответственности.
Поговорим о непосредственно безопасности. Существуют атаки, которые точечно нарушают работу ИИ и заставляют его принимать неверные решения. Насколько такие уязвимости критичны для систем и бизнеса?
Мы привыкли, что взлом это, когда злоумышленник ломает код. В нашем примере код цел. Атакуют не логику системы, а ее восприятие реальности. И это самое неприятное, так как такую атаку почти невозможно обнаружить постфактум. Для бизнеса это катастрофа, потому что доверие к прогнозам рушится мгновенно, а перепроверка данных растягивается на месяцы. Хуже того, подрывается сама основа внедрения ИИ. А именно тезис, что автоматическому выводу можно доверять.
Если смотреть глобально: ИИ создает принципиально новые угрозы или масштабирует старые?
И то, и другое. Старое он разгоняет до промышленных масштабов: фишинг стал безупречно грамотным, социальная инженерия прицельной, фейки штампуются конвейером. Но есть и качественный скачок. Модель синтезирует знание, которое человек в неё не закладывал. Уязвимости рождаются в самой логике её рассуждений, а галлюцинации складываются в систему.
И еще исчезает атрибуция, то есть установление источника атаки. Раньше мы искали конкретного хакера, человека, личность. Теперь же перед нами «автономное оружие», агент, который сам адаптировал вредоносный код. Для права это серая зона. Поэтому наша задача на сегодняшний день не плодить «сотрудников без приказа», а вырастить идеального исполнителя: сверхбыстрого, но полностью поднадзорного, чей код мышления мы понимаем и контролируем.
