Сервис NordLayer AI Scout описал два случая, в которых ИИ-агенты на рабочих задачах подставили компании под удар: один ассистент для программирования раз за разом выносил наружу секретные учетные данные, другой помог сотруднику обойти ограничения доступа к внутренней документации.
ИИ-агентам все чаще дают доступ к корпоративным системам, внутренним документам и учетным данным, чтобы они выполняли поручения сотрудников. Оба случая показывают, что для утечки не нужен злой умысел - хватает самых обычных инструкций.
Пароли в конфигурационном файле
Инженер по контролю качества попросил ИИ-ассистента для программирования проверить предложенные изменения в коде. Инструкции проекта указывали ассистенту на токен доступа к GitLab, который хранился в файле с настройками окружения. Но в том же файле лежали пароли от рабочей (production) среды, токен авторизации во внутренней HR-системе и учетные данные сервиса бизнес-аналитики.
Ассистент открывал этот файл целиком в 10 разных сессиях на протяжении трех недель, и каждый раз его содержимое уходило во внешний ИИ-сервис.
Дальше стало хуже. Когда ассистент попал в свежую копию проекта, где нужного файла не оказалось, он не прекратил поиски, а выгрузил все переменные окружения компьютера - а вместе с ними и другие пароли и токены.
Поняв, что произошло, ассистент признал ошибку и посоветовал заменить скомпрометированные данные. В сессии, которую зафиксировал NordLayer AI Scout, он написал:
Я слил секреты в вывод инструментов этой сессии… Я бы их сменил.
ИИ-ассистент для программирования
Добровольное признание - это, конечно, лучше, чем ничего, но к тому моменту пароли уже три недели гуляли по чужим серверам.
По словам Вакариса Норейки (Vakaris Noreika), специалиста по кибербезопасности NordLayer, инженеры часто сами просят ассистентов достать учетные данные напрямую, без всякой необходимости. А ассистенты могут повторять такое поведение и в последующих задачах, так что проблема долго остается незамеченной.
Обход ограничений через другое подключение
Во втором случае сотрудник хотел с помощью ИИ-ассистента получить сведения из корпоративной базы документации Confluence. Подключение ассистента по протоколу MCP (Model Context Protocol), настроенное в компании, судя по всему, закрывало ему доступ к этим страницам.
Сотрудник не стал считать запрет окончательным и спросил, нельзя ли добраться до документации, создав API-токен. Ассистент подтвердил, что такой путь работает, - и ограничение, наложенное на его официальное подключение, оказалось обойдено.
Возможно, сотрудник просто хотел сделать работу удобнее, а не навредить компании. Но подключение в обход разрешенного маршрута сводит на нет правила, которые выставила служба безопасности.
Меры безопасности покрывают только те случаи, которые кто-то предусмотрел. У каждой компании есть правила, но агенты их просто не знают, потому что они не сотрудники, прошедшие обучение в компании.
Вакарис Норейка, NordLayer
Норейка называет это текущим ограничением технологии: агенты не помнят правила от сессии к сессии и иногда делают то, что им прямо запретили.
Что советуют компаниям
Такие случаи ставят под вопрос практику давать автоматическим ассистентам доступ к чувствительным системам без должного надзора. В NordLayer советуют:
хранить важные учетные данные отдельно, а ценные пароли - в защищенных хранилищах;
отслеживать, к каким ресурсам имеют доступ ИИ-агенты, и наблюдать за их действиями;
давать сотрудникам одобренные способы доступа, а не полагаться только на запреты, которые можно обойти.
По мнению компании, это поможет службам безопасности замечать необычные обращения к данным и не допускать, чтобы конфиденциальная информация уходила туда, куда не должна.
Источник: TechRadar



Комментарии
Войдите на сайт, чтобы оставить свой комментарий...