LeCun ma rację — i ta sama luka strukturalna tkwi w Twoim stosie tożsamości
Według LeCuna LLM-y działają, nie modelując konsekwencji. Ta sama luka tkwi w tożsamości: większość systemów ufa bezterminowo po zalogowaniu. Identity Living System śledzi zaufanie na każdym kroku — to model świata dla tożsamości.
Yann LeCun od lat formułuje wyrazisty argument na temat ograniczeń dużych modeli językowych. Warto potraktować go poważnie — nie tylko ze względu na to, co mówi o AI, ale także ze względu na to, co implikuje dla infrastruktury, którą wokół niej budujemy.
Kluczowa teza LeCuna: naprawdę niezawodni agenci AI potrzebują modelu świata — wewnętrznej reprezentacji tego, jak działania prowadzą do konsekwencji. LLM-y są nadzwyczaj dobre w przewidywaniu kolejnego tokenu, ale z natury nie rozumują o tym, co dzieje się w świecie po podjęciu działania. Potrafią napisać plan; nie potrafią zamodelować, czy on zadziała.
Rzadziej zauważa się, że ta sama słabość strukturalna istnieje w sposobie, w jaki zarządzamy tożsamością w systemach agentowych.
Wygenerowanie odpowiedzi to nie przewidzenie konsekwencji
Model potrafi wygenerować spójną, dopasowaną do kontekstu odpowiedź bez żadnej reprezentacji tego, co ta odpowiedź spowoduje w dalszej kolejności. W przypadku systemów, które jedynie generują tekst, jest to akceptowalne. W przypadku systemów, które podejmują działania — wywołują narzędzia, modyfikują bazy danych, wysyłają komunikaty — jest to ryzyko strukturalne.
Agent, który działa, nie modelując konsekwencji, to agent, którego nie da się niezawodnie nadzorować. LeCun mówi tak o modelach AI. To samo dotyczy systemów tożsamości.
Ta sama luka w tożsamości
Użytkownik się uwierzytelnia. Poświadczenia zostają zweryfikowane. Dostęp zostaje przyznany. Zakłada się, że zaufanie obowiązuje przez cały czas trwania sesji. Każde kolejne działanie — wykonane przez użytkownika lub przez agenta AI działającego w jego imieniu — dziedziczy to początkowe zaufanie bez ponownej oceny.
To, strukturalnie, ten sam problem. Zdarzenie uwierzytelnienia jest odpowiednikiem wygenerowania tokenu: oceną w danym punkcie czasu, która produkuje odpowiedź — „uwierzytelniony” — bez modelowania tego, co dzieje się dalej jako konsekwencja.
Model świata dla tożsamości
Dla zarządzania tożsamością w systemach agentowych odpowiednikiem modelu świata LeCuna jest model propagacji zaufania: formalna reprezentacja tego, jak zaufanie ewoluuje w miarę wykonywania łańcucha agentów, krok po kroku. To właśnie sedno Identity Living System — zaufanie jako stale ewoluująca wielkość, aktualizowana na każdym etapie i napędzająca egzekwowanie na każdym przeskoku, a nie tylko przy wejściu.
- Przeskok 0 — użytkownik się uwierzytelnia. Zaufanie 0.97. Znany stan początkowy, a nie tylko flaga „uwierzytelniony”.
- Przeskok 1 — pierwsze wywołanie narzędzia. Obserwowane są klasa ryzyka, zakres i wolumen danych. Zaufanie 0.91.
- Przeskok 2 — wykryto podwyższony wolumen danych. Zaufanie spada do 0.84. Śledzone, jeszcze nieblokowane.
- Przeskok 3 — odchylenie zakresu: wywołane zostaje narzędzie e-mailowe, podczas gdy intencją sesji był odczyt z CRM. Zaufanie 0.71.
- Przeskok 4 — żądana jest masowa wysyłka. 0.71 znajduje się poniżej progu 0.82 dla wysokoryzykownego, nieodwracalnego działania. Zablokowane — ponieważ model śledził konsekwencje każdego wcześniejszego przeskoku.
Wymiar MCP
Każde wywołanie narzędzia MCP to przyczynowa interwencja w świecie. Agent nie generuje tekstu o wysłaniu e-maila — on wysyła e-mail. Obecna autoryzacja MCP odpowiada na jedno pytanie: czy ten agent ma uprawnienie do wywołania tej klasy narzędzi? To tożsamościowy odpowiednik przewidywania kolejnego tokenu — lokalnie poprawny, ślepy na dalsze konsekwencje. Identity Living System zadaje inne pytanie przy każdym wywołaniu: biorąc pod uwagę wszystko, co wydarzyło się w tym łańcuchu od momentu uwierzytelnienia, oraz klasę ryzyka tego konkretnego działania — czy to wywołanie powinno dojść do skutku?
Zaufanie nie jest zdarzeniem logowania. To właściwość całego łańcucha wykonania. Architektura nadzorująca ten łańcuch powinna modelować konsekwencje, a nie tylko poświadczenia.
Dopóki czekamy, aż systemy AI wykształcą lepsze modele świata, otaczająca je infrastruktura musi to kompensować. Jeśli agent nie potrafi przewidzieć konsekwencji własnych działań, musi to zrobić warstwa nadzoru.
To myślenie jest wbudowane w Corpilus Shield oraz Identity Living System — przygotowywane do startu. Zarejestruj się, aby uzyskać wczesny dostęp.
Uczymy architektury, która za tym stoi, na żywo, wraz z naszym eksperckim partnerem Avenue78.