Что такое теневой ИИ? Подробное руководство

Shadow AI относится к использованию или внедрению технологий ИИ, которые ИТ-отдел организации не контролирует и не отслеживает. По данным IBM, 30% ИТ-специалистов сообщают, что сотрудники уже внедрили новые ИИ и инструменты автоматизации без надзора со стороны ИТ. Но используются ли эти инструменты в рамках безопасных структур управления?

Область ИИ стремительно развивается, а принципы открытого исходного кода ежедневно стимулируют выпуск новых наборов данных, моделей и продуктов. Это особенно очевидно в случае с генеративным ИИ (GenAI), который может производить и обрабатывать контент с поразительной скоростью и в больших объемах. Многие люди все чаще используют инструменты GenAI, такие как персональные помощники, извлекая выгоду из своего индивидуального опыта и оптимизированных процессов. Например, ChatGPT, очень популярный инструмент ИИ, достиг 100 миллионов еженедельных пользователей в течение года после его запуска. Условия OpenAI гласят, что разговоры пользователей могут использоваться для будущего обучения моделей, если пользователи не откажутся.

Риск заключается в том, что пользователи могут непреднамеренно поделиться личной и конфиденциальной информацией, которая может быть потенциально раскрыта или использована. В ответ на это директора по информационной безопасности (CISO) и директора по информационным технологиям (CIO) разрабатывают политику, направленную на решение проблемы использования таких инструментов, как ChatGPT.

Однако полный запрет ИИ может привести к упущенным возможностям и росту теневого ИИ. Чтобы эффективно использовать бизнес-потенциал ИИ, одновременно управляя рисками безопасности, организации должны содействовать безопасному и контролируемому внедрению ИИ. Давайте подробнее рассмотрим теневой ИИ и обсудим стратегии баланса между преимуществами ИИ и его рисками.

Теневой ИИ против теневого ИТ

Различия в управлении: данные, код и модели в ИИ

В то время как теневыми ИТ-рисками можно управлять с помощью шифрования, политик жизненного цикла разработки программного обеспечения (SDLC) и автоматизированного мониторинга доступа и использования сети, теневой ИИ создает другие проблемы. ИИ включает в себя данные, код и модели, причем последние являются недетерминированными и их сложнее защитить. Структуры управления для ИИ все еще развиваются и активно исследуются.

Различия в принятии: широкое использование ИИ

Теневые ИТ-риски обычно ограничиваются разработчиками, более контролируемой и однородной группой, обладающей опытом в используемой ими технологии. Напротив, ИИ может быть принят широким кругом пользователей, многие из которых не знают лучших практик безопасности. Это делает поверхность атаки для теневого ИИ более широкой и менее определенной по сравнению с теневым ИТ.

Риски, связанные с теневым ИИ

Теневой ИИ несет риски, соответствующие широте его поверхности атаки. Здесь мы рассмотрим три основные проблемы:

Защита данных

Пользователи теневого ИИ могут случайно раскрыть конфиденциальные данные или интеллектуальную собственность при взаимодействии с моделями ИИ. Эти модели можно обучать на вводимых пользователем данных, таких как подсказки, предоставляемые большим языковым моделям, что потенциально делает эти данные доступными для неавторизованных третьих лиц. Например, сотрудники Samsung вводят собственный код в ChatGPT для оптимизации задач, что может привести к использованию этого кода в будущих выпусках моделей ИИ, если пользователи не отказались от сбора данных.

Целостность информации

Пользователи теневого ИИ могут полагаться на дезинформацию, генерируемую моделями ИИ. Модели генеративного ИИ (GenAI) могут выдавать неверную или вводящую в заблуждение информацию, известную как «галлюцинации», когда не уверены в ответах. Например, два нью-йоркских юриста были оштрафованы на 5000 долларов и столкнулись с репутационным ущербом за то, что полагались на фиктивные цитаты из дел, сгенерированные ChatGPT. Кроме того, предвзятость данных обучения ИИ может привести к предвзятым результатам. Например, Stable Diffusion часто генерирует изображения с расовой и гендерной предвзятостью, например, изображая домработниц преимущественно как чернокожих женщин.

Соблюдение нормативных требований

У теневого ИИ отсутствуют аудит и мониторинг, необходимые для обеспечения соответствия нормативным стандартам. С вступлением в силу новых нормативных актов, таких как Закон ЕС об ИИ и обновленные руководящие принципы GDPR, организации должны подготовиться к выполнению этих меняющихся требований. Несоблюдение не только создает юридические риски, но и может нанести ущерб репутации компании и привести к значительным финансовым издержкам, потенциально превышающим те, которые связаны с теневыми ИТ.

Преимущества решения проблемы теневого ИИ

Хотя теневой ИИ представляет риски, эффективное управление им может открыть значительные преимущества. Выведение теневого ИИ на свет позволяет организациям использовать ИИ для повышения эффективности процессов, личной производительности и улучшения взаимодействия с клиентами. Это преимущество распространяется на все команды, включая команды по безопасности и управлению, рискам и соответствию (GRC). Например, аналитик по безопасности может использовать большую языковую модель, чтобы получить представление об обработке инцидента безопасности, не охваченного существующим планом реагирования.

Лучшие практики управления теневым ИИ

Организации должны оценить свою толерантность к риску, чтобы разработать эффективную стратегию управления теневым ИИ. Речь идет о поиске баланса между управлением и доступом к преимуществам ИИ. Вот несколько подходов:

Полный запрет

Запрет ИИ полностью устраняет риски, но также лишает всех связанных с этим преимуществ. Эта стратегия не требует управления, но упускает потенциальные преимущества ИИ.

Локальные решения ИИ

Внедрение локальных решений ИИ обеспечивает полный контроль безопасности и снижает потребности в управлении, поскольку сторонние системы исключаются. Однако этот подход может ограничить преимущества ИИ из-за значительного времени и ресурсов, необходимых для внедрения.

Неограниченное внедрение ИИ

Разрешение неограниченного использования ИИ без управления означает, что люди должны самостоятельно регулировать управление рисками безопасности. Хотя этот подход может способствовать гибкости и скорости, он не обеспечивает гарантий безопасности и может привести к потенциальным уязвимостям.

Постепенное внедрение с управлением

Наиболее сбалансированный подход заключается в постепенном внедрении ИИ в рамках гибких процессов управления. Этот метод гарантирует, что организации смогут быстро и безопасно воспользоваться преимуществами ИИ, эффективно управляя рисками.