Späť na blog
AI a technológie

LeCun má pravdu — a tá istá štrukturálna medzera je aj vo vašej identitnej infraštruktúre

Corpilus Team8. júna 20268 min čítania
AIidentitaworld modelMCPagenti
TL;DR

LeCun hovorí, že LLM konajú bez toho, aby modelovali dôsledky. Rovnaká medzera sa skrýva v identite: väčšina systémov po prihlásení dôveruje navždy. Identity Living System sleduje dôveru pri každom kroku — svetový model pre identitu.

Yann LeCun už roky dôsledne argumentuje o limitoch veľkých jazykových modelov. Stojí za to brať to vážne — nielen pre to, čo to hovorí o AI, ale aj pre to, čo to znamená pre infraštruktúru, ktorú okolo nej budujeme.

Kľúčové tvrdenie LeCuna: skutočne spoľahliví AI agenti potrebujú world model — vnútornú reprezentáciu toho, ako akcie vedú k dôsledkom. LLM dokážu mimoriadne presne predpovedať nasledujúci token, no prirodzene neuvažujú o tom, čo sa vo svete stane po vykonaní akcie. Vedia napísať plán; nedokážu však namodelovať, či bude fungovať.

Menej často sa pozoruje, že tá istá štrukturálna slabina existuje aj v tom, ako spravujeme identitu v agentických systémoch.

Vygenerovať odpoveď nie je to isté ako predpovedať dôsledok

Model dokáže vyprodukovať koherentnú a kontextovo vhodnú odpoveď bez akejkoľvek reprezentácie toho, čo táto odpoveď následne spôsobí. Pre systémy, ktoré len produkujú text, je to prijateľné. Pre systémy, ktoré konajú — volajú nástroje, upravujú databázy, posielajú komunikáciu — je to štrukturálne riziko.

Agent, ktorý koná bez modelovania dôsledkov, je agent, ktorý sa nedá spoľahlivo riadiť. LeCun to hovorí o AI modeloch. Rovnako to však platí o identitných systémoch.

Tá istá medzera v identite

Používateľ sa autentifikuje. Prihlasovacie údaje sa overia. Prístup je udelený. Predpokladá sa, že dôvera platí počas celej relácie. Akákoľvek následná akcia — či už používateľa, alebo AI agenta konajúceho v jeho mene — túto úvodnú dôveru zdedí bez opätovného prehodnotenia.

To je štrukturálne ten istý problém. Autentifikačná udalosť je ekvivalentom vygenerovania tokenu: bodové vyhodnotenie v danom okamihu, ktoré vyprodukuje odpoveď — „autentifikovaný“ — bez modelovania toho, čo sa ako dôsledok stane potom.

World model pre identitu

Pre správu identity v agentických systémoch je ekvivalentom LeCunovho world modelu model šírenia dôvery (trust-propagation model): formálna reprezentácia toho, ako sa dôvera vyvíja počas vykonávania reťazca agentov, krok po kroku. To je podstata Identity Living System — dôvera ako neustále sa vyvíjajúca veličina, ktorá sa aktualizuje pri každom kroku a riadi vynucovanie pri každom hope, nielen pri vstupe.

  • Hop 0 — používateľ sa autentifikuje. Dôvera 0.97. Známy počiatočný stav, nielen príznak „autentifikovaný“.
  • Hop 1 — prvé volanie nástroja. Sleduje sa riziková trieda, rozsah a objem dát. Dôvera 0.91.
  • Hop 2 — zistený zvýšený objem dát. Dôvera klesá na 0.84. Sledované, no zatiaľ nie blokované.
  • Hop 3 — drift rozsahu: volá sa e-mailový nástroj, hoci zámerom relácie bolo čítanie z CRM. Dôvera 0.71.
  • Hop 4 — vyžaduje sa hromadné odoslanie. Hodnota 0.71 je pod prahom 0.82 pre vysoko rizikovú nevratnú akciu. Blokované — pretože model sledoval dôsledok každého predchádzajúceho hopu.

Dimenzia MCP

Každé volanie MCP nástroja je kauzálnym zásahom do sveta. Agent negeneruje text o odoslaní e-mailu — ten e-mail naozaj odosiela. Súčasná MCP autorizácia odpovedá na jednu otázku: má tento agent oprávnenie volať túto triedu nástrojov? To je identitný ekvivalent predikcie nasledujúceho tokenu — lokálne správny, slepý voči nadväzujúcim dôsledkom. Identity Living System sa pri každom volaní pýta inú otázku: vzhľadom na všetko, čo sa v tomto reťazci od autentifikácie udialo, a na rizikovú triedu tejto konkrétnej akcie — má toto volanie pokračovať?

Dôvera nie je prihlasovacia udalosť. Je vlastnosťou celého reťazca vykonávania. Architektúra, ktorá tento reťazec riadi, by mala modelovať dôsledky, nielen prihlasovacie údaje.

Kým čakáme, že si AI systémy vyvinú lepšie world modely, infraštruktúra okolo nich to musí kompenzovať. Ak agent nedokáže predpovedať dôsledky vlastných akcií, musí to urobiť riadiaca vrstva.

Toto uvažovanie je zabudované do Corpilus Shield a Identity Living System — pripravujeme spustenie. Predregistrujte sa pre skorý prístup.

Architektúru za týmto prístupom učíme naživo s naším expertným partnerom Avenue78.

Pripravení vyskúšať Corpilus?

Zostaňte v obraze

Získajte najnovšie poznatky o firemnej AI, ochrane dát a produktivite priamo do vašej schránky.