Agentic AI вийшов за межі пілотних проєктів і перейшов у промислову експлуатацію у страховому секторі, що вивело питання управління на новий рівень. Такі системи роблять більше, ніж просто генерують текст.

Вони викликають інструменти, отримують доступ до корпоративних даних і виконують дії в бізнес-платформах, змінюючи ризиковий профіль компаній у спосіб, якого не було при попередніх хвилях впровадження ШІ.

Страховики зазначають, що управління стає критично важливим, коли agentic AI працює в реальних операціях. Такі системи діють автономно, викликають інструменти та безпосередньо взаємодіють із корпоративними даними й інфраструктурою. Моделі управління ризиками, побудовані лише навколо якості контенту, більше не працюють.

Традиційний нагляд за ШІ зосереджувався на точності моделей, зниженні упередженості та надійності результатів. Agentic-системи функціонують інакше.

Вони отримують недовірені вхідні дані (електронні листи, документи, повідомлення в чатах, контент браузера, відповіді API) і виконують дії, використовуючи надані або успадковані від користувачів повноваження.

Це змінює рівняння ризику. Управління більше не обмежується тим, що модель генерує. Воно охоплює контроль життєвого циклу, примусові політичні обмеження та видимість у реальному часі відповідно до NIST AI Risk Management Framework. Повноваження агента стають не менш важливими, ніж його логіка міркування.

АІ-агенти запускають робочі процеси, змінюють записи, взаємодіють із SaaS-середовищами та виконують завдання в інтегрованих системах.

Страхові компанії, які розглядають агентів лише як інструменти підвищення продуктивності, ризикують недооцінити операційні ризики. На практиці такі системи більше схожі на платформи автоматизації з делегованими повноваженнями.

Коли автономність поєднується з підвищеними правами доступу, поверхня атак розширюється, особливо якщо агенти зберігають контекст між сесіями та працюють безперервно.

Agentic AI відрізняється від попередніх впроваджень кількома структурними характеристиками. Агенти регулярно споживають зовнішні дані. Вони діють самостійно на основі наданих або успадкованих повноважень.

Вони зберігають пам’ять між взаємодіями та напряму підключаються до чутливих корпоративних систем.

Ці особливості поєднують вхідні дані, логіку та виконання в єдиний операційний ланцюг. Якщо АІ-агент обробляє маніпульований контент і має достатні повноваження, він може виконати небажані дії без участі людини.

Фокус управління зміщується від модерації результатів до контролю довіри між машинами. Ризики тепер включають несанкціонований доступ, небезпечну автоматизацію та системні збої в інтегрованих середовищах.

Розмежування між входом і виконанням стає базовим принципом контролю. АІ-агенти за своєю природою споживають зовнішній контент.

Без чітких меж зловмисні або некоректні дані можуть вплинути на привілейовані операції - фінансові транзакції, зміну записів або конфігурацію систем.

Ефективне управління передбачає впровадження рівнів контролю між етапами отримання даних і виконання дій. Підхід "human-in-the-loop" або "human-on-the-loop" залишається актуальним для дій із високим впливом.

Політики використання забезпечують контекстну оцінку, враховуючи чутливість даних, ролі користувачів, середовище виконання та сигнали аномалій перед дозволом на виконання операції.

Більш просунуті АІ-архітектури використовують наглядові агенти, які контролюють поведінку в реальному часі та динамічно застосовують обмеження. Це зменшує залежність від ручного схвалення, зберігаючи операційний контроль.

За оцінкою страховиків, масштабоване управління менше залежить від статичних політик і більше - від контрольних механізмів у реальному часі, здатних обмежувати автономну поведінку.

Ключова мета - не повинно бути прямого, нефільтрованого шляху від недовіреного входу до привілейованого виконання. У системах agentic AI саме ця межа визначає різницю між ефективною автоматизацією та масштабним корпоративним ризиком.

Джерело: Форіншурер