Zaměstnanci, aplikace i agenti se k modelům dostávají přes jednu kontrolovanou vrstvu. Každý požadavek má svou cenu a je přiřazen ke konkrétnímu původci; cestou ven se kontroluje, aby neunikla data, a cestou zpět, aby nic skrytého nepřevzalo řízení.
Lidé si zakládali vlastní účty, protože práci bylo třeba udělat, a aplikace měly každá napevno zadrátovaného jednoho poskytovatele. Dnes nikdo neřekne, na co se organizace AI ptá, kolik to stojí ani co odešlo ze sítě ven – a zákaz to jen posune dál z dohledu.
Jedno připojení pro komerční modely, modely s otevřenými vahami i vlastní hostované modely – Gateway nasměrujete na svůj vlastní vLLM nebo Ollama, s klíčem jen tehdy, pokud si ho váš server vyžádá. Aplikace přestanou být závislé na jediném dodavateli.
Směrujte podle úlohy, kvality, citlivosti a nákladů a prémiové modely nechte pro práci, která je opravdu potřebuje. Konzole ukazuje, co router zvolil a proč.
Jak Gateway vybírá model →Co je citlivé a co těžké, rozhoduje model, který provozujeme my – ne dodavatel, kterému požadavek posíláte. U Enterprise on-premise běží na vašem hardwaru a nic z něj neodchází.
Výpadek poskytovatele, vyčerpaná kvóta nebo rate limit – a požadavek převezme jiný poskytovatel ve stejné či vyšší třídě, jen z modelů, které daná aplikace smí použít. Odpověď uvádí model, který ji napsal.
Každý požadavek označený uživatelem, týmem, projektem nebo aplikací, s tvrdými i měkkými limity a upozorněním dřív, než se dosáhne stropu – z AI se tak stane položka rozpočtu, ne překvapivá faktura.
Citlivý obsah prověřte nebo zablokujte dřív, než opustí vaši síť. O tom, co je citlivé, rozhoduje model, který provozujeme my – ne dodavatel, kterému obsah posíláte. Co neprojde, neodejde.
Cokoli nástroj přinese zpět – e-mail, webovou stránku, záznam z CRM – čte model jako data, ne jako úkol. Tentýž model ve stejném průchodu odhalí pokyn, který nikdo nezadal; v režimu blokování se podezřelý text k modelu vůbec nedostane. Stejná kontrola se týká i událostí, které Gateway předává vašim dalším aplikacím.
Jak Gateway odhalí pokyn, který nikdo nezadal →Každý požadavek, model, rozhodnutí i náklad lze později dohledat pro potřeby compliance nebo šetření incidentu. U každého volání nástroje je vidět, jak bylo ověřeno a co kontrola řekla o jeho výsledku – a celý záznam požadavku se uloží jako jeden dokument, HTML nebo PDF.
Lidem zůstanou modely, na které spoléhají – jen přes účet, do kterého organizace vidí. Využívání roste a míra rizika zároveň klesá; nikdo se nemusí vzdát svého nástroje.
Citlivý obsah se zachytí dřív, než odejde, a to, co se vrací, se zkontroluje dřív, než to model přečte – skrytý pokyn tak narazí na kontrolu, pak na oprávnění nástrojů a schvalovací body, dřív než by z užitečné odpovědi mohl udělat akci, kterou nikdo neschválil.
Každý požadavek je přiřazen k týmu, projektu nebo aplikaci a limity se nastaví dřív, než dorazí faktura – místo aby se vysvětlovaly až potom.
Největší riziko nepochází z vašich aplikací – vzniká tam, kde lidé dělají svou práci přes účty, do kterých nikdo nevidí. Postavte za Gateway nejprve svůj tým, pak aplikace a agenty.