Zaposleni, aplikacije in agenti dosežejo modele skozi eno nadzorovano plast. Vsaka zahteva ima ceno in pripis, preverjena je na poti ven, da podatki ne uidejo, in na poti nazaj, da ne prevzame ničesar skritega.
Ljudje so si odprli lastne račune, ker je bilo treba delo opraviti, aplikacije pa so bile trdo vezane vsaka na svojega ponudnika. Danes nihče ne more povedati, kaj organizacija sprašuje AI, koliko to stane in kaj je zapustilo omrežje – prepoved pa vse to potisne le še dlje izpred oči.
Ena povezava za komercialne modele, modele z odprtimi utežmi in modele v lastnem gostovanju – Gateway usmerite na svoj vLLM ali Ollama, s ključem le, če ga vaš strežnik zahteva. Aplikacije niso več odvisne od enega samega ponudnika.
Usmerjanje glede na nalogo, kakovost, občutljivost in strošek, vrhunske modele pa prihranite za delo, ki jih zares potrebuje. Konzola pokaže, kaj je usmerjanje izbralo in zakaj.
Kako Gateway izbere model →Kaj velja za občutljivo in kaj za težko, določi model, ki ga poganjamo mi – ne ponudnik, ki mu zahtevo pošiljate. V paketu Enterprise v lastnem okolju teče na vaši strojni opremi in z nje ne gre nič.
Izpad ponudnika, izčrpana kvota ali omejitev števila zahtev – in zahtevo prevzame drug ponudnik iz istega razreda ali višje, le izmed modelov, ki jih ta aplikacija sme uporabljati. Odgovor navede model, ki ga je napisal.
Vsaka zahteva je označena z uporabnikom, ekipo, projektom ali aplikacijo, s trdimi in mehkimi omejitvami ter opozorili pred zgornjo mejo – tako je AI proračunska postavka in ne presenečenje na računu.
Občutljivo vsebino pregledamo ali blokiramo, preden zapusti vaše omrežje. Kaj velja za občutljivo, določi model, ki ga poganjamo mi – ne ponudnik, ki mu jo pošiljate. Kar ne prestane preverjanja, ne odide.
Kar koli vrne orodje – e-poštno sporočilo, spletno stran, zapis v CRM –, model bere kot podatke, ne kot nalogo. Isti model v istem prehodu prepozna navodilo, ki ga ni dal nihče; v načinu blokiranja sumljivo besedilo modela nikoli ne doseže. Isto preverjanje zajema tudi dogodke, ki jih Gateway posreduje vašim drugim aplikacijam.
Kako Gateway prepozna navodilo, ki ga ni dal nihče →Po vsaki zahtevi, modelu, odločitvi in strošku je mogoče pozneje poizvedovati za potrebe skladnosti ali pregleda incidenta. Pri vsakem klicu orodja je razvidno, kako je bil preverjen in kaj je preverjanje ugotovilo o njegovem rezultatu – celoten zapis zahteve pa se shrani kot en dokument, HTML ali PDF.
Ljudje obdržijo modele, na katere se zanašajo, a prek računa, ki ga organizacija vidi. Raba raste in izpostavljenost hkrati pada – nikomur ni treba opustiti orodja.
Občutljivo vsebino prestrežemo, preden odide, kar pride nazaj, pa preverimo, preden to prebere model – tako skrito navodilo najprej naleti na preverjanje, nato še na dovoljenja za orodja in točke odobritve, preden bi lahko koristen odgovor spremenilo v dejanje, ki ga ni nihče odobril.
Vsaka zahteva je pripisana ekipi, projektu ali aplikaciji, omejitve pa so nastavljene, preden pride račun, in ne pojasnjene, ko je že tu.
Največja izpostavljenost ne prihaja iz vaših aplikacij – prihaja od ljudi, ki svoje delo opravljajo prek računov, ki jih nihče ne vidi. Najprej postavite za AI Gateway svojo ekipo, nato aplikacije in agente.