Zpět na blog
AI a technologie

LeCun má pravdu — a stejná strukturální mezera je i ve vašem identitním stacku

Corpilus Team8. června 20268 min čtení
AIidentitaworld modelMCPagenti
TL;DR

LeCun říká, že LLM jednají, aniž by modelovaly důsledky. Stejná mezera je i v identitě: většina systémů po přihlášení důvěřuje navždy. Identity Living System sleduje důvěru v každém kroku — model světa pro identitu.

Yann LeCun už léta vede ostrou argumentaci o limitech velkých jazykových modelů. Stojí za to brát ji vážně — nejen kvůli tomu, co říká o AI, ale i kvůli tomu, co naznačuje o infrastruktuře, kterou kolem ní budujeme.

Jádro LeCunova tvrzení: skutečně spolehliví AI agenti potřebují world model — vnitřní reprezentaci toho, jak akce vedou k důsledkům. LLM jsou mimořádně dobré v predikci dalšího tokenu, ale přirozeně neuvažují o tom, co se ve světě stane poté, co je akce provedena. Dokážou napsat plán; nedokážou modelovat, jestli bude fungovat.

Co se pozoruje méně často, je fakt, že stejná strukturální slabina existuje i ve způsobu, jakým spravujeme identitu v agentických systémech.

Vygenerování odpovědi není predikce důsledku

Model dokáže vytvořit koherentní, kontextově přiléhavou odpověď, aniž by měl jakoukoli reprezentaci toho, co tato odpověď způsobí dál. U systémů, které pouze produkují text, je to přijatelné. U systémů, které provádějí akce — volají nástroje, mění databáze, odesílají komunikaci — jde o strukturální riziko.

Agent, který jedná, aniž by modeloval důsledky, je agent, který nelze spolehlivě řídit. LeCun to říká o modelech AI. Stejně tak to platí o identitních systémech.

Stejná mezera v identitě

Uživatel se ověří. Přihlašovací údaje se zvalidují. Přístup je udělen. Předpokládá se, že důvěra platí po celou dobu trvání relace. Jakákoli následná akce — ať už ze strany uživatele, nebo AI agenta jednajícího jeho jménem — tuto počáteční důvěru dědí bez opětovného přehodnocení.

To je, strukturálně, tentýž problém. Událost ověření je ekvivalentem vygenerování tokenu: bodové vyhodnocení v jednom okamžiku, které vytvoří odpověď — „ověřeno“ — aniž by modelovalo, co se jako důsledek stane dál.

World model pro identitu

Pro řízení identity v agentických systémech je ekvivalentem LeCunova world modelu model šíření důvěry: formální reprezentace toho, jak se důvěra vyvíjí během vykonávání řetězce agentů, krok za krokem. To je podstata, na níž stojí Identity Living System — důvěra jako kontinuálně se vyvíjející veličina, aktualizovaná v každém kroku a řídící vynucování v každém přeskoku, nejen na vstupu.

  • Přeskok 0 — uživatel se ověří. Důvěra 0.97. Známý výchozí stav, ne pouze příznak „ověřeno“.
  • Přeskok 1 — první volání nástroje. Sledují se třída rizika, rozsah a objem dat. Důvěra 0.91.
  • Přeskok 2 — detekován zvýšený objem dat. Důvěra klesá na 0.84. Sledováno, zatím neblokováno.
  • Přeskok 3 — drift rozsahu: je volán e-mailový nástroj, ačkoli záměrem relace bylo čtení z CRM. Důvěra 0.71.
  • Přeskok 4 — je požadováno hromadné odeslání. 0.71 je pod prahem 0.82 pro vysoce rizikovou nevratnou akci. Zablokováno — protože model sledoval důsledek každého předchozího přeskoku.

Rozměr MCP

Každé volání nástroje přes MCP je kauzální zásah do světa. Agent negeneruje text o odeslání e-mailu — odesílá e-mail. Současná MCP autorizace odpovídá na jedinou otázku: má tento agent oprávnění volat tuto třídu nástrojů? To je identitní ekvivalent predikce dalšího tokenu — lokálně správný, slepý vůči navazujícím důsledkům. Identity Living System klade při každém volání jinou otázku: vzhledem ke všemu, co se v tomto řetězci od ověření stalo, a vzhledem k třídě rizika této konkrétní akce — má toto volání proběhnout?

Důvěra není přihlašovací událost. Je to vlastnost celého řetězce vykonávání. Architektura řídící tento řetězec by měla modelovat důsledky, ne jen přihlašovací údaje.

Než se AI systémy dočkají lepších world modelů, musí to kompenzovat infrastruktura kolem nich. Pokud agent nedokáže předvídat důsledky svých vlastních akcí, musí to udělat vrstva řízení.

Toto myšlení je zabudováno do Corpilus Shield a Identity Living System — připravujeme se na spuštění. Předregistrujte se pro přednostní přístup.

Architekturu, která za tím stojí, učíme naživo s naším expertním partnerem Avenue78.

Připraveni vyzkoušet Corpilus?

Zůstaňte v obraze

Získejte nejnovější poznatky o firemní AI, ochraně dat a produktivitě přímo do vaší schránky.