Zamestnanci, aplikácie aj agenti sa k modelom dostávajú cez jednu kontrolovanú vrstvu. Každá požiadavka má svoju cenu a je priradená ku konkrétnemu pôvodcovi; cestou von sa kontroluje, aby neunikli údaje, a cestou späť, aby nič skryté neprevzalo riadenie.
Ľudia si zakladali vlastné účty, pretože prácu bolo treba urobiť, a aplikácie mali každá napevno zadrôtovaného jedného poskytovateľa. Dnes nikto nepovie, na čo sa organizácia AI pýta, koľko to stojí ani čo odišlo zo siete von – a zákaz to len posunie ďalej z dohľadu.
Jedno pripojenie pre komerčné modely, modely s otvorenými váhami aj vlastné hostované modely – Gateway nasmerujete na vlastný vLLM alebo Ollama, s kľúčom len vtedy, ak ho váš server vyžaduje. Aplikácie prestanú byť závislé od jediného dodávateľa.
Smerujte podľa úlohy, kvality, citlivosti a nákladov a prémiové modely nechajte na prácu, ktorá ich naozaj potrebuje. Konzola ukáže, čo smerovanie vybralo a prečo.
Ako Gateway vyberá model →Čo je citlivé a čo je ťažké, rozhoduje model, ktorý prevádzkujeme my – nie dodávateľ, ktorému požiadavku posielate. V Enterprise on-premise beží na vašom hardvéri a nič z neho neodchádza.
Výpadok poskytovateľa, vyčerpaná kvóta alebo limit počtu požiadaviek – a požiadavku prevezme iný poskytovateľ v rovnakej triede alebo vyššie, len z modelov, ktoré daná aplikácia smie používať. Odpoveď uvádza model, ktorý ju napísal.
Každá požiadavka označená používateľom, tímom, projektom alebo aplikáciou, s tvrdými aj mäkkými limitmi a upozornením skôr, než sa dosiahne strop – z AI sa tak stane položka rozpočtu, nie prekvapivá faktúra.
Citlivý obsah preverte alebo zablokujte skôr, než opustí vašu sieť. Čo je citlivé, rozhoduje model, ktorý prevádzkujeme my – nie dodávateľ, ktorému obsah posielate. Čo neprejde, neodíde.
Čokoľvek nástroj prinesie späť – e-mail, webovú stránku, záznam z CRM –, model číta ako údaje, nie ako úlohu. Ten istý model v tom istom prechode rozpozná pokyn, ktorý nikto nedal; v režime blokovania sa podozrivý text k modelu vôbec nedostane. Rovnaká kontrola sa vzťahuje aj na udalosti, ktoré Gateway odovzdáva vašim ďalším aplikáciám.
Ako Gateway rozpozná pokyn, ktorý nikto nedal →Každú požiadavku, model, rozhodnutie aj náklad možno neskôr dohľadať pre potreby compliance alebo vyšetrovania incidentu. Pri každom volaní nástroja je vidieť, ako bolo overené a čo kontrola povedala o jeho výsledku – a celý záznam požiadavky sa uloží ako jeden dokument, HTML alebo PDF.
Ľuďom zostanú modely, na ktoré sa spoliehajú – len cez účet, do ktorého organizácia vidí. Využívanie rastie a miera rizika zároveň klesá; nikto sa nemusí vzdať svojho nástroja.
Citlivý obsah sa zachytí skôr, než odíde, a to, čo prichádza späť, sa skontroluje skôr, než to model prečíta – skrytý pokyn tak narazí najprv na kontrolu, potom na oprávnenia nástrojov a schvaľovacie body, a až potom by mohol z užitočnej odpovede urobiť úkon, ktorý nikto neschválil.
Každá požiadavka je priradená k tímu, projektu alebo aplikácii a limity sa nastavia skôr, než dorazí faktúra – namiesto toho, aby sa vysvetľovali až potom.
Najväčšie riziko nepochádza z vašich aplikácií – vzniká tam, kde ľudia robia svoju prácu cez účty, do ktorých nikto nevidí. Postavte za Gateway najprv svoj tím, potom aplikácie a agentov.