A munkatársak, az alkalmazások és az ügynökök egyetlen ellenőrzött rétegen keresztül érik el a modelleket. Minden kérés árazott és hozzárendelt: kifelé menet ellenőrizzük, hogy ne szivárogjon adat, visszafelé pedig azért, hogy semmi rejtett ne vegye át az irányítást.
Az emberek saját fiókot nyitottak, mert a munkát el kellett végezni, az alkalmazásokba pedig egy-egy szolgáltató lett bedrótozva. Ma senki nem tudja megmondani, mit kérdez a szervezet az AI-tól, mennyibe kerül, és mi hagyta el a hálózatot – a tiltás pedig csak még láthatatlanabbá teszi.
Egyetlen csatlakozás a kereskedelmi, a nyílt súlyú és a saját üzemeltetésű modellekhez – a Gateway a saját vLLM- vagy Ollama-példányára is mutathat, kulcs pedig csak akkor kell, ha a szervere kéri. Az alkalmazások megszűnnek egyetlen szállítótól függeni.
Útválasztás feladat, minőség, érzékenység és költség szerint, a prémium modelleket pedig tartsa fenn annak a munkának, amelynek tényleg kellenek. A konzolon látszik, mit választott az útválasztás és miért.
Így választ modellt a Gateway →Azt, hogy mi számít érzékenynek és mi számít nehéznek, egy általunk üzemeltetett modell dönti el – nem az a szállító, amelyiknek a kérést küldi. Enterprise on-premise esetén az Ön hardverén fut, és semmi nem hagyja el azt.
Szolgáltatói kiesés, kimerült kvóta vagy sebességkorlát esetén a kérést egy másik szolgáltató veszi át, azonos vagy magasabb osztályból – kizárólag olyan modellekből, amelyeket az adott alkalmazás használhat. A válasz megnevezi a modellt, amelyik írta.
Minden kérés felhasználóhoz, csapathoz, projekthez vagy alkalmazáshoz van rendelve, kemény és puha korlátokkal, valamint a plafon előtti riasztásokkal – így az AI költségvetési sor, nem meglepetésszámla.
Az érzékeny tartalom ellenőrzése vagy blokkolása, mielőtt elhagyná a hálózatát. Azt, hogy mi számít érzékenynek, egy általunk üzemeltetett modell dönti el – nem az a szállító, amelyiknek a tartalmat küldi. Ami nem megy át, az nem távozik.
Amit egy eszköz visszahoz – egy e-mailt, egy weboldalt, egy CRM-rekordot –, azt a modell adatként olvassa, nem feladatként. Ugyanez a modell ugyanabban a menetben észreveszi az utasítást, amelyet senki nem adott; blokkolás módban a gyanús szöveg el sem jut a modellhez. Ugyanez az ellenőrzés vonatkozik azokra az eseményekre is, amelyeket a Gateway továbbad az Ön többi alkalmazásának.
Így veszi észre a Gateway az utasítást, amelyet senki nem adott →Minden kérés, modell, döntés és költség később lekérdezhető megfelelőségi vagy incidensvizsgálathoz. Minden eszközhívásnál látszik, hogyan ellenőriztük, és mit állapított meg az ellenőrzés az eredményéről – egy kérés teljes nyilvántartása pedig egyetlen dokumentumként menthető, HTML vagy PDF formátumban.
Az emberek megtartják azokat a modelleket, amelyekre támaszkodnak – csak olyan fiókon keresztül, amelyet a szervezet lát. A használat nő, a kitettség pedig ezzel egy időben csökken; senkinek nem kell lemondania egy eszközről.
Az érzékeny tartalmat még kimenet előtt elfogjuk, a visszaérkezőt pedig ellenőrizzük, mielőtt egy modell elolvasná – így egy rejtett utasítás előbb egy ellenőrzésbe, majd az eszközjogosultságokba és a jóváhagyási pontokba ütközik, mielőtt egy hasznos választ olyan műveletté változtathatna, amelyet senki nem hagyott jóvá.
Minden kérés csapathoz, projekthez vagy alkalmazáshoz kerül hozzárendelésre, a korlátokat pedig a számla megérkezése előtt állítja be – nem utólag magyarázza.
A kitettség nagyobb része nem az alkalmazásokból ered – hanem abból, hogy az emberek olyan fiókokon át dolgoznak, amelyeket senki nem lát. Előbb a csapatát tegye a Gateway mögé, utána az alkalmazásokat és az ügynököket.